Contextual AI, 새로운 AI 모델로 GPT-4o 정확도 뛰어넘다
Contextual AI (컨텍스추얼 에이아이)가 새로운 GLM (Grounded Language Model, 그라운디드 랭귀지 모델)을 발표했는데, 사실적 정확도 면에서 업계 최고 수준이라고 주장하고 있습니다. 구글(Google), Anthropic (앤트로픽), OpenAI (오픈에이아이) 등 주요 AI 시스템을 능가하는 성과를 보였다고 해요.
GLM의 놀라운 성능
Retrieval-Augmented Generation (RAG) 기술의 선구자들이 설립한 이 스타트업은 GLM이 FACTS 벤치마크에서 88%의 사실성 점수를 기록했다고 밝혔습니다. 이는 구글의 Gemini 2.0 Flash (제미니 2.0 플래시)의 84.6%, 앤트로픽의 Claude 3.5 Sonnet (클로드 3.5 소넷)의 79.4%, OpenAI의 GPT-4o의 78.8%보다 높은 수치입니다.
기업용 소프트웨어의 과제, ‘환각’ 현상
대규모 언어 모델이 기업용 소프트웨어를 혁신했지만, 사실적 부정확성, 즉 ‘환각(hallucinations)’ 현상은 여전히 비즈니스 도입에 있어 중요한 과제로 남아있습니다. Contextual AI는 정확성이 가장 중요한 엔터프라이즈 RAG 애플리케이션에 최적화된 모델을 만들어 이 문제를 해결하고자 합니다.
Contextual AI의 CEO이자 공동 창립자인 Douwe Kiela (다우 키엘라)는 “해결책의 일부는 RAG라는 기술이 될 것이라는 것을 알았습니다. RAG는 원래 제 아이디어이기 때문입니다. 이 회사의 목표는 RAG를 올바른 방식으로, 다음 단계로 끌어올리는 것입니다.”라고 말했습니다.
범용 모델과의 차별점
Contextual AI의 초점은 창작 글쓰기부터 기술 문서까지 모든 것을 처리하도록 설계된 ChatGPT (챗GPT)나 Claude (클로드)와 같은 범용 모델과는 크게 다릅니다. 대신, 사실적 정확성이 창의적 유연성보다 중요한 고위험 엔터프라이즈 환경을 목표로 합니다.
키엘라는 “RAG 문제가 있고 규제가 엄격한 산업의 엔터프라이즈 환경에 있다면 환각 현상에 대한 내성이 전혀 없을 것입니다. 마케팅 부서에 유용한 것과 동일한 범용 언어 모델은 실수에 훨씬 더 민감한 엔터프라이즈 환경에서는 적합하지 않습니다.”라고 설명했습니다.
‘그라운디드니스’, 엔터프라이즈 언어 모델의 새로운 기준
“그라운디드니스(groundedness)”라는 개념은 AI 응답이 컨텍스트에서 명시적으로 제공된 정보에만 엄격하게 의존하도록 보장하는 것으로, 엔터프라이즈 AI 시스템의 중요한 요구 사항으로 부상했습니다. 금융, 의료, 통신과 같은 규제 산업에서 기업은 정확한 정보를 제공하거나 모르는 경우 명시적으로 인정하는 AI가 필요합니다.
키엘라는 이러한 엄격한 그라운디드니스가 어떻게 작동하는지에 대한 예를 제시했습니다. “표준 언어 모델에 레시피나 공식을 제공하고 어딘가에 ‘이것은 대부분의 경우에만 해당됩니다’라고 말하면 대부분의 언어 모델은 여전히 그것이 사실이라고 가정하고 레시피를 제공할 것입니다. 그러나 우리 언어 모델은 ‘사실, 이것은 대부분의 경우에만 해당된다고 말합니다.’라고 말합니다. 추가적인 뉘앙스를 포착하는 것이죠.”
“모르겠습니다”라고 말할 수 있는 능력은 엔터프라이즈 환경에서 매우 중요한 기능입니다. 키엘라는 “엔터프라이즈 환경에서 생각해보면 정말 강력한 기능입니다.”라고 덧붙였습니다.
Contextual AI의 RAG 2.0: 회사 정보 처리의 통합적인 방법
Contextual AI의 플랫폼은 단순히 기성품 구성 요소를 연결하는 것을 넘어선 “RAG 2.0″이라는 접근 방식을 기반으로 구축되었습니다.
회사 성명에 따르면 “일반적인 RAG 시스템은 임베딩을 위한 고정된 기성품 모델, 검색을 위한 벡터 데이터베이스, 생성을 위한 블랙박스 언어 모델을 사용하여 프롬프팅 또는 오케스트레이션 프레임워크를 통해 함께 연결합니다. 이는 생성형 AI의 ‘프랑켄슈타인 괴물’로 이어집니다. 개별 구성 요소는 기술적으로 작동하지만 전체는 최적이 아닙니다.”
대신 Contextual AI는 시스템의 모든 구성 요소를 공동으로 최적화합니다. 키엘라는 “우리는 지능적인 검색을 수행하는 방법인 검색기 구성 요소의 혼합을 가지고 있습니다. 질문을 보고, 본질적으로 최신 세대의 모델처럼 먼저 검색 전략을 계획합니다.”라고 설명했습니다.
이 전체 시스템은 키엘라가 “세계 최고의 재정렬기(re-ranker)”라고 부르는 것과 협력하여 작동하며, 그라운디드 언어 모델에 보내기 전에 가장 관련성이 높은 정보의 우선 순위를 지정하는 데 도움이 됩니다.
일반 텍스트를 넘어: 차트 읽기 및 데이터베이스 연결
새롭게 발표된 GLM은 텍스트 생성에 중점을 두고 있지만, Contextual AI의 플랫폼은 최근 BigQuery (빅쿼리), Snowflake (스노우플레이크), Redshift (레드쉬프트), Postgres (포스트그레스)와 같은 인기 있는 플랫폼의 차트, 다이어그램 및 구조화된 데이터를 포함한 멀티모달 콘텐츠에 대한 지원을 추가했습니다.
키엘라는 “기업에서 가장 어려운 문제는 비정형 데이터와 구조화된 데이터의 교차점에 있습니다. 제가 가장 기대하는 것은 구조화된 데이터와 비정형 데이터의 교차점입니다. 대기업에서 정말 흥미로운 문제의 대부분은 구조화된 데이터와 비정형 데이터의 교차점에 있으며, 일부 데이터베이스 기록, 일부 트랜잭션, 일부 정책 문서, 아마도 다른 많은 것들이 있을 것입니다.”라고 언급했습니다.
키엘라에 따르면 이 플랫폼은 이미 반도체 산업의 회로 다이어그램을 포함하여 다양한 복잡한 시각화를 지원합니다.
Contextual AI의 향후 계획: 일상적인 비즈니스를 위한 더욱 신뢰할 수 있는 도구 만들기
Contextual AI는 GLM 출시 직후 특수 재정렬기 구성 요소를 출시하고 문서 이해 기능을 확장할 계획입니다. 또한 에이전트 기능을 위한 실험적인 기능도 개발 중입니다.
2023년 키엘라와 Meta (메타)의 Fundamental AI Research (FAIR) 팀과 Hugging Face (허깅 페이스)에서 근무했던 Amanpreet Singh (아만프리트 싱)이 설립한 Contextual AI는 HSBC, Qualcomm (퀄컴), The Economist (이코노미스트)를 포함한 고객을 확보했습니다. 이 회사는 기업이 AI 투자에서 구체적인 수익을 실현하도록 돕는 데 주력하고 있습니다.
키엘라는 “이는 AI에서 ROI를 제공해야 한다는 압박을 받고 있는 기업이 실제로 문제를 해결하는 보다 전문화된 솔루션을 살펴보기 시작할 수 있는 기회입니다. 그리고 그 일부는 표준 언어 모델보다 약간 더 지루하지만 컨텍스트에 기반을 두고 작업을 수행할 수 있다고 신뢰할 수 있도록 하는 데 정말 능숙한 그라운디드 언어 모델을 갖는 것입니다.”라고 말했습니다.