노타, 금융권 특화 AI 코딩 에이전트용 최적화 LLM·서버 공급…"동일 GPU 처리량 최대 95%↑"

외부 통신 없는 폐쇄망 운영 지원…소스코드와 내부 업무 정보의 외부 전송 없이 AI 활용

외부 통신 없는 폐쇄망 운영 지원…소스코드와 내부 업무 정보의 외부 전송 없이 AI 활용

ⓒ 각 사

[프라임경제] AI 추론 효율화 기업 노타(486990)가 금융 IT 기업 두베와 금융권 특화 온프레미스 AI 코딩 에이전트 사업을 위한 최적화 LLM 및 서버 공급 계약을 체결하고 납품을 완료했다고 16일 밝혔다.

노타는 이번 계약을 통해 두베의 AI 코딩 에이전트에 맞춰 AI 모델 경량화부터 추론·서빙 환경 최적화, 서버 구성까지 통합 공급한다. 

특히 동일한 그래픽처리장치(GPU) 환경에서 최적화 적용 전 대비 분당 처리 요청 수를 최대 95% 높이고, 첫 답변 대기시간을 절반 이하로 줄이는 성능 개선을 확인했다. 이를 기반으로 외부 데이터 전송이 제한되는 금융권 등 보안 중심 기업 환경에서 AI 에이전트 도입을 지원할 계획이다. 

두베는 금융권 SI 개발 사업 전문 기업으로, 금융기관에 AI 코딩 에이전트를 공급하고 있다. 두베의 코딩 에이전트는 개발 요건 분석, 정리부터 화면, 인터페이스 등 개발 관련 전 업무를 지원하며 고객사의 개발 환경에 맞춘 코딩 규칙과 사내 라이브러리를 반영할 수 있다.

금융권은 개발시 소스코드와 내부 업무 정보의 외부 전송을 제한하는 폐쇄망을 이용해야 해서 클라우드 기반 AI 코딩 도구 도입에 제약이 있다. 

노타와 두베가 함께 제공하는 온프레미스 AI 코딩 에이전트는 고객사 내부 서버에서 LLM을 실행하는 방식으로, 외부 AI API 호출 없이도 AI 기반 개발 업무를 지원한다. 이를 통해 기업은 민감한 개발 정보를 내부 환경에서 관리하면서 AI 코딩 도구를 활용할 수 있다. 

노타는 대량의 코드와 개발 지침을 반복적으로 처리하는 코딩 에이전트의 특성에 맞춰 최적화를 적용했다. 한 번의 요청에 수만 토큰의 입력이 포함되는 환경에서는 동시 사용자가 늘어날수록 메모리 사용량과 응답 지연이 커질 수 있다. 

노타는 양자화 기술로 LLM의 메모리 요구량을 줄이고, 답변을 생성하는 추론 과정과 여러 요청을 처리하는 서빙 환경을 함께 최적화했다.

최적화 결과, 동일한 GPU 구성에서 최적화 적용 전 대비 분당 처리 요청 수가 약 58~95% 증가했으며 답변 요청 후 첫 토큰 생성까지의 대기시간은 절반 이하로 줄었다. 

이는 동일한 하드웨어 자원으로 더 많은 동시 요청을 처리하고 사용자 응답 대기시간을 줄일 수 있음을 의미한다. 기업 고객 입장에서는 AI 에이전트의 사용자 수가 늘어날 때 추가적인 GPU 증설 부담을 완화할 수 있는 기술적 기반이 된다. 

이번 계약은 노타가 AI 모델 최적화 기술을 파트너의 업무용 애플리케이션과 결합해 기업 고객에게 공급하는 사례다. 노타는 두베와 함께 금융권 고객을 대상으로 온프레미스 AI 코딩 에이전트 도입을 제안하고, 고객별 사용자 규모와 보안·운영 조건에 맞춘 최적화 LLM 및 서버 공급 기회를 확대할 계획이다. 

이를 통해 금융권을 비롯해 외부 클라우드 활용이 제한되는 기업 환경에서도 AI 추론·서빙 최적화 기술의 사업화를 추진한다. 

채명수 노타 대표는 "기업용 AI 에이전트 시장이 확대되면서 모델의 성능뿐 아니라 제한된 GPU 자원에서 얼마나 많은 요청을 안정적으로 처리할 수 있는지가 실제 도입 비용과 운영 효율을 결정하는 핵심 요소가 되고 있다"고 말했다.

이어 "이번 계약은 노타의 AI 모델 경량화 및 추론·서빙 최적화 기술을 실제 기업용 AI 애플리케이션과 결합해 공급한다는 점에서 의미가 크다"고 전했다.

또한 "금융권처럼 보안과 인프라 운영 제약이 높은 환경에서도 AI 에이전트를 효율적으로 활용할 수 있도록 지원하고, 다양한 산업 파트너들과 협력해 최적화 소프트웨어 및 AI 실행 환경 공급 사업을 확대해 나가겠다"고 강조했다.