[중앙뉴스= 이광재 기자] 2022년 11월 오픈AI의 챗GPT가 촉발한 전세계 ‘생성형 AI’ 경쟁으로 지난해는 그 어느때보다도 인공지능(AI)에 대한 관심이 지대한 한 해였다.

IT업계는 물론 산업 전반을 뜨겁게 달군 생성형 AI는 수년간 잠잠했던 AI 시장에 큰 충격을 가하며 다양한 ‘거대언어모델(LLM)’의 개발 및 출시 열풍을 불러 일으켰다.

LLM이 AI 업계의 화두로 떠오르며 성장, 발전을 더해가는 속도는 가히 기하급수적이다. 일반적인 산업이나 기술이 등장한 이후 성숙기까지 도달하는데 걸리는 시간 대비 품질 상승의 그래프가 매우 가파르다.

LLM과 이를 기반으로 한 생성형 AI 서비스의 고도화 경쟁이 본격적으로 시작된 지난해 주요 이슈를 톺아보고 올해는 어떠한 시장 지형도를 그려낼 지 알아보자.

지난해는 국내외 빅테크 기업들이 사활을 걸고 LLM을 개발 및 공개하며 서비스 상용화를 빠르게 추진하는 시기였다. 오픈 AI는 GPT-3(2020년)을 대화형 인터페이스로 고도화하고 지시 이행성을 높인 3.5 및 ChatGPT(2022년)을 출시하며 전세계에 충격을 준 이후 텍스트뿐만 아니라 이미지 정보를 이해하고 생성할 수 있는 멀티모달 모델인 GPT-4를 지난해 3월 공개했다. 이어서 멀티모달 성능을 강화한 GPT-4V(이미지분석), GPT-4 터보(처리량 증가)를 연달아 선보이며 기술 고도화에 박차를 가했다.

앤스로픽(Anthropic)도 책 한 권의 분량에 해당하는 약 7만5000개의 단어를 입력할 수 있는 생성형 AI ‘클로드2(Claude 2)’를 출시했다. 구글도 이에 지지 않고 지난해 말 최신 대규모 언어 모델(LLM) ‘제미나이(Gemini)’를 공개하면서 구글의 AI 챗봇인 바드에 탑재했다.

국내 기업도 외산 LLM에 대항해 한국어 데이터와 거대한 매개변수(파라미터)를 무기로 한 LLM을 내놓았다. 네이버는 지난 2021년 자체 개발한 국내 최초 초대규모 AI ‘하이퍼클로바’를 공개한 뒤 지난해에는 이를 더욱 고도화한 ‘하이퍼클로바X’를 출시했다. 하이퍼클로바X는 하이퍼클로바의 업그레이드 버전이자 한국어에 최적화된 LLM이다. KT의 초거대 AI ‘믿음(Mi:dm)’, LG ‘엑사원(EXAONE)’ 등 내로라하는 대기업들도 LLM을 선보이며 외산AI 대항에 나섰다.

지난해는 다양한 ‘sLLM(소형거대 언어모델)’도 등장하며 각축전을 벌인 한 해였다. sLLM은 LLM에 비해 매개변수를 줄여 학습을 위한 비용 및 시간 절감이 가능하며 보다 신속한 파인튜닝(미세조정)으로 정확도를 높일 수 있다. 또 특정 분야 및 기업에서 기존에 보유한 데이터를 활용해 파인튜닝과 고품질 학습을 통한 할루시네이션(환각) 현상을 줄일 수 있다는 장점이 있다.

메타(Meta)는 최근 sLLM 개발의 선두주자로 나서며 지난해 초 ‘라마(LLaMA)’를 공개했다. 해당 모델은 GPT-3의 1750억개 파라미터와 비교할 때 상대적으로 적은 약 700억개 파라미터를 가지고 있으며 적은 파라미터 수를 통해 더 유연한 파인튜닝이 가능하고 비용 효율적인 점에서 주목을 받았다. 이후 스탠포드대학은 메타의 라마를 기반으로 한 sLLM인 ‘알파카(Alpaca)’를 개발했다. 알파카는 라마의 기존 700억개 파라미터를 유지하면서 여기에 추가적으로 5만2000여개의 파라미터를 더한 방식이다. 알파카의 개발 비용이 600달러에 불과하다는 점도 큰 관심을 끌었다.

마이크로소프트(MS)도 오픈AI의 LLM 의존력을 줄이고 경쟁력을 확보하기 위해 27억개 매개변수로 구성된 강력한 성능의 sLLM ‘파이2(Phi-2)’를 지난해 말 공식 블로그를 통해 선보였다. 파이2는 경량화된 모델로 노트북이나 모바일 기기에서도 구동이 가능하다. MS는 오픈AI GPT-4나 메타의 라마2보다 적은 규모와 컴퓨팅 파워를 필요로 하면서도 높은 성능을 제공한다고 설명했다.

이후 다양한 sLLM이 공개되며 전세계적으로 sLLM 시장이 팽창하기 시작했다. 특히 우수한 기술력을 보유한 국내 스타트업들도 sLLM을 공개했다. 이는 오픈소스 생성 AI 모델의 바로미터로 꼽히는 허깅페이스의 ‘오픈 LLM 리더보드’의 역할이 컸다. 리더보드 순위경쟁에 참여하기 위해서는 모델을 오픈소스로 공개해야 하기 때문에 유수의 LLM 역시 오픈소스로 공개됐고 여러 기업들이 이를 학습해보며 자체적인 sLLM을 개발할 수 있게 된 것이다.

이렇게 공개된 오픈소스들 덕분에 스타트업들은 다양한 실험과 학습, 그리고 개발을 통해 sLLM을 만들 수 있게 됐다. 예시로 국내에서는 스켈터랩스의 ‘BELLA LLM’, 포티투마루 ’LLM42’ 등이 공개되거나 고도화를 예고하기도 했다. LLM 활용 니즈가 있지만 현실적인 비용 문제 등으로 도입을 고민하던 기업들의 선택지를 넓힌 한 해가 됐다.

LLM과 sLLM은 모르는 부분도 그럴싸하게 포장해 오답을 내놓는 ‘할루시네이션(환각)’이라는 고질적인 문제를 갖고 있다. 할루시네이션은 인간과 AI가 신뢰 관계로 나아가기 위해서 반드시 해결해야 할 현상이다.

업계에서 현재 할루시네이션을 줄이기 위해 사용되는 기술은 크게 ‘파인튜닝’과 ‘RAG(검색증강생성)’이 있다. 파인튜닝은 특정 도메인에 LLM이 접목될 경우 높은 답변 적합성을 위해 기존 LLM에 특정 데이터셋을 활용해 미세조정하는 작업을 의미한다. 다만 파인튜닝은 최신성과 적합성을 제고할 수는 있으나 데이터 용량 증가에 따른 높은 비용과 지속적인 업데이트의 어려움이 수반된다.

반면 RAG는 파인튜닝에 이어 전 세계적으로 주목받는 기술군으로 파인튜닝에 활용한 특정 데이터셋보다 보안성이 높고 최신의 데이터를 답변 생성에 사용한다. 답변 생성시 자체 데이터를 활용해 답변이 적합한지 확인하고 사용자에게 보여주는 피드백 과정이 추가돼 할루시네이션 방지에 더욱 유리하다. 모델이 사람의 언어를 이해하고 답변을 위한 검색을 하는 과정에서 기존 키워드 검색 방식과 문맥과 의미를 중요하게 생각하는 시맨틱 검색 방식의 혼합형인 하이브리드 검색 방식이 가능하기 때문이다.

최근 국내에서도 RAG를 활용해 LLM의 할루시네이션 현상을 줄이려는 움직임이 생겨났다. AI 스타트업인 스켈터랩스의 경우 국내 최고 수준의 대화형 AI 개발 경험을 바탕으로 RAG 기술을 적용한 제품을 출시했고 실제 사용 사례까지 성공적으로 구축했다.

지난해는 생성형 AI에 대한 관심과 수요가 업계의 전반을 지배한 한해였다. 지난해가 생성형 AI의 근간이 되는 다양한 LLM이 공개되고 또 고도화를 거듭한 한 해라면 올해 업계의 주요 과제는 무엇일까.

대화형 AI 기술기업인 스켈터랩스는 “올해는 ‘AI실용주의’라는 키워드가 더욱 중요시되는 해가 될 것”이라며 “2020년에는 GPT를 비롯한 LLM 개발의 서막이 오르고 지난해는 LLM의 다양화 및 고도화, 생성형 AI 출시 및 서비스 도입이 시작된 한 해라면 올해는 생성형AI 서비스가 산업 전반은 물론 실생활에서 본격적으로 널리 ‘활용’되는 시대가 열리게 될 것”이라 전망했다.

이어 “이를 위해 할루시네이션을 줄이는 RAG, 사용자의 편리함을 더욱 끌어올리는 자율 AI 에이전트 기술을 LLM에 접합하는 것이 업계의 주요 과제가 될 것”이라고 밝혔다.

또 “올해는 AI 실용주의에 입각해 다양한 도메인 접목과 활용이 더욱 활성화되고 이에 다양한 실증사례를 확보한 기업이 더욱 주목받게 될 것”이라고 전했다.