| 카페24, AI 모델 통합 관리 'LLM 라우터' 출시 | |
 
|
|
| 2026/06/23 | |
|
|
|
 카페24가 다양한 생성형 AI 모델을 하나의 환경에서 통합 관리할 수 있는 AI 운용 인프라 서비스를 선보이며 기업들의 AI 활용 편의성 향상에 나섰다. 카페24는 120개 이상의 AI 모델을 하나의 API로 연결해 활용할 수 있는 AI 운용 인프라 서비스 'LLM 라우터(LLM Router)'를 출시했다고 밝혔다. LLM 라우터는 ChatGPT, Claude, Gemini를 비롯해 DeepSeek, Qwen, Llama 등 주요 AI 모델을 하나의 플랫폼에서 연동해 사용할 수 있도록 지원하는 서비스다. 사용자가 입력한 요청에 따라 적합한 AI 모델을 자동으로 선택하고 분배하는 '오케스트레이터(Orchestrator)' 역할을 수행해 복잡한 AI 운영 환경을 효율적으로 관리할 수 있도록 돕는다. 최근 생성형 AI 활용이 확산되면서 여러 AI 플랫폼을 목적에 따라 함께 사용하는 '멀티호밍(Multihoming)' 이용 형태가 증가하고 있다. 과기정통부가 발표한 '2025년 부가통신사업 실태조사'에 따르면 생성형 AI 이용자의 53.2%가 2개 이상의 AI 플랫폼을 함께 사용하는 것으로 나타났다. 코딩과 검색, 번역, 요약, 콘텐츠 제작 등 업무 목적에 따라 최적화된 AI를 선택하는 방식이 일반화되고 있는 것이다. 그러나 활용하는 AI 모델이 늘어날수록 계정 관리와 비용 정산, 서비스 연동 및 운영 부담도 함께 증가한다. 카페24는 이러한 문제를 해결하기 위해 다양한 AI 모델을 하나의 통합 환경에서 관리할 수 있는 LLM 라우터를 개발했다고 설명했다. 서비스의 핵심은 사용자의 요청 내용을 분석해 가장 적합한 AI 모델을 자동 연결하는 라우팅 엔진이다. 코딩, 추론, 번역, 창작 등 작업 유형에 따라 최적의 모델을 선택하며, 사용자가 사전에 지정한 모델 범위 내에서만 자동 연결이 이뤄져 운영 편의성을 높였다. 또한 비용과 속도, 처리량 등 사용자가 설정한 기준에 따라 AI 서비스 제공사를 자동 선택하는 기능도 제공한다. 동일한 AI 모델이라도 가장 비용 효율적인 제공사나 가장 빠른 응답 속도를 제공하는 서비스로 자동 연결할 수 있어 운영 최적화가 가능하다. 서비스 안정성을 높이기 위한 자동 전환 기능(Auto Fallback)도 지원한다. 특정 AI 모델이 응답하지 않을 경우 미리 설정한 대체 모델이 자동으로 작업을 이어받아 서비스 중단을 최소화할 수 있다. 이와 함께 실시간 대시보드를 통해 요청 수와 비용, 토큰 사용량, 모델별 사용 비중, 성공·실패 비율 등을 한 화면에서 확인할 수 있으며, 프로젝트 및 팀별 사용량 분석 기능도 제공해 AI 운영 현황을 체계적으로 관리할 수 있도록 했다. 사용자가 이미 보유한 AI 모델 API 키를 연결해 사용할 수 있는 BYOK(Bring Your Own Key) 기능도 지원한다. GPT, Claude, Gemini 등 기존에 사용하던 AI 모델을 LLM 라우터 환경에 연동해 활용할 수 있어 비용 관리의 유연성을 높였다는 설명이다. 카페24는 향후 신규 AI 모델과 서비스 제공사 지원 범위를 지속 확대하고 AI 운영 효율성을 높이는 기능도 추가 고도화할 계획이다. 카페24 이재석 대표는 "AI 모델의 종류가 빠르게 늘어나면서 이를 효율적으로 연결하고 운영하는 것이 새로운 과제로 떠오르고 있다"며, "앞으로도 사용자가 다양한 AI를 보다 편리하게 활용할 수 있도록 관련 인프라 역할을 강화해 나가겠다"고 말했다. 한편, LLM 라우터는 사용량에 따라 비용을 지불하는 크레딧 종량제 방식으로 운영되며, 신규 가입자에게는 무료 크레딧이 제공돼 서비스를 직접 체험할 수 있다. |
| 
|
