[중앙뉴스= 이광재 기자] 챗GPT를 선보이며 전세계 AI 열풍을 불러 일으킨 샘 알트만이 지난해 여름 국내 스타트업과 만나 간담회를 진행한 데 이어 올해도 한국을 방문했다.

지난해 간담회에 참석한 스켈터랩스 조원규 대표는 ‘챗GPT를 비즈니스 애플리케이션에 적용할 때 생기는 할루시네이션 문제에 대한 해결방안’에 대한 질문을 던졌고 이에 샘 알트만은 챗GPT에 질문을 할 때 문서를 함께 사용하는 기법을 언급한 바 있다.

오픈AI는 물론 유수의 인공지능 관련 기업들이 LLM 사용시 필연적으로 발생하고 있는 할루시네이션(환각) 현상을 줄이고 데이터의 최신성을 위해 총력을 기울이고 있다. 가장 주목받는 방안은 ‘RAG(Retrieval-Augmented Generation; 검색 증강 생성)’ 기술이다.

RAG는 LLM이 답변을 생성하기 전 외부 데이터베이스에서 질문과 관련된 정보를 검색하는 과정으로 할루시네이션 방지에 효과적인 것이 특징이다.

국내 역시 다양한 산업군에서 RAG를 통해 할루시네이션 현상을 줄이고 있다. 특히 정확한 정보 제공이 중요한 금융업계와 법조계는 물론 공공기관에서도 RAG를 적극 활용하고 있어 주목된다.

KB국민카드는 수백가지의 이벤트 정보를 고객에게 보다 정확하게 전달하기 위해 국내 대표 인공지능(AI) 기업 스켈터랩스가 개발한 GPT 기반의 질의응답 챗봇 솔루션 ‘벨라 큐나’를 활용해 ‘이벤트 Q&AI’ 서비스를 출시했다.

스켈터랩스의 ‘벨라 큐나’는 LLM 기반 기업 맞춤형 챗봇 솔루션으로 객관성과 시의성에 한계가 있었던 LLM을 RAG로 보강해 보다 정확하고 최신 데이터를 기반으로 답변을 생성한다.

KB국민카드의 이벤트 Q&AI 서비스는 벨라 큐나와 KB국민카드의 기업 이벤트 정보를 API로 연동하는 방식으로 진행됐다. 해당 서비스는 RAG를 활용해 매일 변화하는 최신 이벤트 정보를 간편하게 업데이트하고 이를 기반으로 답변을 생성한다. 정보의 최신성을 강화하고 할루시네이션 현상을 최소화한 고객 친화적인 맞춤형 서비스인 셈이다.

리걸테크 기업인 로앤굿은 지난해 10월 열린 리걸 테크 AI 포럼에서 자연어 검색이 가능한 변호사용 인공지능(AI) 챗봇 시제품인 ‘로앤봇’을 공개한 바 있다. 해당 프로토타입은 문장에서 의미와 문맥을 알아서 이해해 키워드 없이도 유사내용을 검색할 수 있다. 또 지난 5년간 개인정보가 법률적으로 연결된 부분을 학습하는 식으로 구동 가능하다.

로앤굿에 따르면 로앤봇은 개인정보 포털에 공개된 최근 5년간 총 4360페이지에 달하는 결정문·심결례·가이드라인·판례집 등을 학습했으며 RAG를 활용해 국내법에 특화된 챗봇으로 구현했다.

로톡 운영사인 로앤컴퍼니도 빅케이스GPT를 공개했다. GPT 기반의 빅케이스GPT는 국내 판례 약 329만건 분량의 자체적인 빅케이스 데이터를 활용한 RAG 모델을 적용했다. 로앤컴퍼니는 서비스에 변호사 상담 전 작성하는 상담글을 요약 정리하고 변호사에게 예상되는 법률분야를 제안하고 분류해주는 기능을 추가했다.

빅케이스GPT에도 판결문 내 ‘AI 요점 보기’, ‘AI 유사판례’, ‘쟁점별 판례 보기’ 등 AI를 이용한 서비스로 활용도를 높였다.

공공기관 역시 인공지능을 도입해 디지털 전환에 박차를 가하고 있다. 최근 통계청은 RAG가 적용된 인공지능 기반 통계 챗봇 서비스를 선보일 예정이라고 밝혔다.

올해 하반기 대국민 서비스를 목표로 주요 통계에 대해 통계 추천과 전문적 질의응답이 가능한 초거대 AI 기반 통계 챗봇 서비스를 구축한다. 그동안 국가통계포털(KOSIS)에 챗봇 서비스가 제공되고 있으나 정확한 통계용어를 사용하지 않는 경우 제대로 된 답변을 받기 어려웠다.

초거대 AI 기반 통계 챗봇 서비스는 일상언어로 질문하는 통계도 맥락과 의도를 파악해 이용자가 궁금한 사항을 대답할 수 있게 된다.

환각 현상을 예방하기 위해 RAG 방식이 적용된 팩트체크 로직을 구현할 계획이다. 언어를 이해하고 표현하는 능력은 민간의 검증된 초거대 AI 언어모델을 활용하되 실제로 정보를 검색하고 답변을 생성하는 부분은 전문적인 통계문서를 고차원적인 벡터로 저장한 통계학습 데이터베이스에서만 찾아오도록 설계할 계획이다.