From-scratch Foundation Model 클레비 AI(ivy)

“작은 회사가 어떻게 세계 최고 수준의 초거대 AI 언어모델을 만들 수 있었나요?”

소규모 스타트업에서, 어떻게 초거대 언어모델을 만들었나?

클레비가 1.4조 파라미터 규모의 Foundation 모델을 공개한 이후, 가장 많이 받은 질문입니다.

많은 기업들이 오픈소스 모델을 단순 파인튜닝하는 것과 달리, 클레비는 데이터 수집부터 모델 설계, 대규모 분산 학습, 품질 검증까지 모든 과정을 독자적으로 수행했습니다.

그 비결과 경쟁력을 아래에서 자세히 소개합니다.

1. 작은 회사가 초거대 언어 모델을 만든다?

2025년 7월, 클레비가 자체 개발한 초거대 언어모델을 시장에 공개하자, 수많은 고객(사용자)들은 놀라움과 의구심으로 술렁였습니다. “정말 자체 개발이 맞나?” “오픈소스 모델을 살짝 바꾼 것 아니냐?”

실제로 국내외 많은 기업들이 오픈소스 모델을 단순히 전이학습(fine-tuning)만 하고, 이를 자체 모델로 홍보하는 경우가 많았습니다.

하지만 클레비는 **‘From-scratch Foundation Model’**을 내세웠습니다.

즉, 데이터 수집부터 모델 설계, 대규모 분산 학습, 품질 검증까지 모든 과정을 직접 설계하고 실행했습니다.

2. 초거대 언어 모델 개발이 어려운 이유

From-Scratch Foundation Model을 학습 시키기 위해서는 아래 항목들을 모두 학습해야합니다.

대규모의 고품질 데이터셋이 필요

• 다양성: 언어, 도메인, 형식(텍스트, 이미지 등) 다양성 확보
• 정제: 노이즈 제거, 품질 관리, 중봅/유해 데이터 필터링
• 라이선스: 저작권 및 데이터 사용권 명확화

대규모 컴퓨팅 인프라

• 고성능 GPU/TPU 클러스터: 수천~수만 노드의 장비를 통합하여 대용량 분산 학습 지원 기술
• 효율적 분산 학습 프레임워크: DeepSpeed, Megatron-LM, Ray 등
• 스토리지/네트워크: 대용량 데이터 입출력, 빠른 네트워크 환경

모델 아키텍처 설계

• 최신 구조 반영: Transformer, MoE(Mixture of Experts), 멀티모달 등
• 스케일러빌리티: 파라미터 수, 레이어 수, 입력 길이 등 확장성 고려
• 효율성: 학습/추론 속도, 메모리 사용 최적화

학습 전략 및 알고리즘

• 프리트레이닝 목표: 언어모델(예: next token prediction), 멀티모달(예: contrastive learning) 등
• 최적화 기법: mixed precision, gradient accumulation, learning rate schedule 등
• 정규화/안정화: dropout, layer norm, weight decay 등

평가 및 검증 체계

• 벤치마크 세트: 표준 데이터셋(Benchmarks) 활용
• 내부 평가: 실제 사용 시나리오 기반 평가
• 지속적 모니터링: 학습 중/후 품질, 편향, 안전성 점검

인력 및 조직 역량

• AI/ML 연구자: 모델 설계, 알고리즘 개발
• 데이터 엔지니어: 데이터 수집/정제/관리
• 인프라 엔지니어: 분산 시스템, 클라우드/온프레미스 관리
• 프로젝트 매니저: 일정, 예산, 품질 관리

윤리·법률·보안 고려

• AI 윤리: 편향, 안전성, 투명성, 책임성
• 법적 준수: 개인정보, 저작권, 데이터 주권
• 보안: 데이터/모델 유출 방지, 접근 통제

현재 전 세계 AI 연구 인력은 약 2,000명 수준이며, 이마저도 대부분이 META, Google, XAI 등 빅테크 기업에 집중되어 있습니다. 국내에서 데이터 수집부터 대규모 학습 인프라까지 직접 설계해 Foundation 모델을 만들 수 있는 팀은 극히 드뭅니다.

3. 적은 인력으로 초거대 언어 모델을 만들다.

이환호 대표는 10년 이상 딥러닝과 머신러닝을 연구한 경험을 바탕으로, 3년 전 “세계 최고 AI를 만들겠다”는 목표로 회사(클레비)를 설립했습니다.

회사 자체의 데이터 파이프라인 구축, 대규모 분산 딥러닝 인프라 설계, 모델 아키텍처 개발, 품질 검증 등 모든 과정을 직접 설계하여 Foundation Model 개발에 필요한 역량을 갖추었습니다.

여러 차례 모델을 학습 시킨 결과, 현재는 세계 최고 수준의 모델들과 견줄 수 있는 Clevi-5-x 모델을 보유하게 되었습니다.

초거대 언어모델을 효과적으로 학습시키기 위해서는 수백에서 수천 대에 이르는 GPU를 클러스터로 연결하여, 초당 수경 번에 달하는 연산을 동시에 처리할 수 있는 인프라가 필요합니다. 이 과정에서, 대규모 분산 환경에서의 연산 동기화와 통신 지연을 최소화하는 기술이 핵심적입니다. 지금까지 국내에서는 “정밀 제어 알고리즘”이 없어 대부분의 기업이 모델을 제대로 학습시키지 못했습니다. 클레비 이환호 대표는 이러한 독자적인 분산 연산 제어 알고리즘을 자체 개발함으로써, 국내 최초로 1.4조(1.4 Trillion) 파라미터 규모의 초거대 언어모델 학습에 성공하였습니다.

4. 소수 개발 인력으로 다양한 모델을 개발할 수 있던 이유

대부분의 빅테크 기업들에서도 대규모 인프라 제어와 데이터 정제 기술을 갖추고 있습니다.

이를 관리하기 위해서는 수백 ~ 수천 명의 연구 인력이 필요합니다.

하지만, 클레비는 적은 연구 인력으로 다양한 모델을 개발·보유하고 있습니다.

어떻게 가능했을까요?

클레비는 Teacher-Student Model(Knowledge Distilation) 기술을 통해 소수의 인력으로 다양한 모델을 개발 보유하고 있습니다.

그렇다면 Teacher-Student 기술에 대해서 살펴보겠습니다.

Teacher-Student(지식 증류)

Teacher-Student 기술은 쉽게 말해 초거대 언어 모델(Teacher Model)을 통해 자식 모델(Student Model)을 평가·피드백함으로써 소수 인력으로도 수백 명의 연구 인력을 대체하여 다양한 모델을 빠르게 개발하는 기술입니다.

• Mother Model(초거대 모델)이 다양한 분야의 모델을 평가·피드백하며, 수백 명의 연구 인력을 대체합니다.
• 이 방식으로 Clevi-x-platform을 통해 학습을 진행한다면 Reasoning, VLM, Physical AI, Coding Agent 등 고성능 모델을 10~15일 만에 학습·배포할 수 있습니다.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Vision Language Model

보안 에이전트

5. Clevi-x-platform 기술·품질의 차별성

모델 성능·확장성

• 추론(CoT/Reasoning) 우위: cip-5-x 는 단계적 논리 전개와 근거 제시를 설계 철학에 포함, 과학·수학·엔지니어링 문제 해결에서 높은 신뢰도의 계산과 해석 능력을 보여줍니다. 내부 벤치마크 기준으로 GPT-5 급 이상의 성능역량을 목표로 설계·운영 중이며, 동일 프롬프트 조건의 재현성/검증 가능성을 핵심 품질지표로 관리합니다.

• 멀티모달 전 스펙트럼: 목적지향 VLM(cip-5-vision)과 대용량 멀티모달 처리모델(ivy-4-mm), 경량 온디바이스(ivy-3-text)를 한 플랫폼에서 생산·조합해 과업 특성(검색/분류/요약 vs. 추론/설명/실행)에 맞춘 최적 조합이 가능합니다.

엔터프라이즈 적용성

• 온프레미스 보안·가용성: 폐쇄망 전 구간(투입-학습-서비스-백업) 내 운영, HA 설계, 모듈형 확장, SVCE(격리형 안전 실행환경)로 데이터·모델 파라미터를 분리 보호합니다.
• 빠른 도입·확장: Ivy Chat(업무형 멀티모달 대화/에이전트), API Platform(글로벌 표준 SaaS)로 신속 적용·운영을 지원합니다.

물리 AI(Physical AI) 차별성

• NVIDIA Isaac 기반 시뮬레이션과 진화기반 강화학습(Evolutionary RL) 결합, Sim2Real 전이와 합성데이터 병렬 학습으로 학습효율·현장 적응력을 높였다. 디지털-로보틱스 학습-배포까지 커버하는 점은 대체재가 희소합니다.

서비스 품질·거버넌스

• 모델/프롬프트/도구 버전관리, 평가수트(국·영문 지식, 산업별 태스크, 환각·안전성 지표), 변경관리(SLO/SLA), 운영관측(레이턴시·성공률·TCO)을 단일 플랫폼 절차로 관리합니다.

현재 국내에는 약 300개 이상의 AI 모델 서비스 기업이 존재하지만,

고성능의 독자적인 파운데이션 모델을 통해 온프레미스와 클라우드 서비스를 동시에 제공할 수 있는 곳은 클레비가 유일합니다.

6. 언어 모델을 산업에 활용하는 방법

AI 도입은 막대한 투자와 철저한 검증이 필요한 만큼, 실제로 기업에 도움이 되는 솔루션인지 직접 비교·체험하는 과정이 필수적입니다.

• 클레비는 단순히 모델을 만드는 데 그치지 않고, 실제 산업 현장에 적용 가능한 AI 솔루션을 제공합니다.
• 예를 들어, Ivy Chat Platform, Clevi API Platform, 산업별 커스터마이징, 보안 요건 대응 등 엔터프라이즈 채널을 완비했습니다.
• 물리 AI, 로보틱스, 멀티모달 데이터 처리 등 국내외에서 찾아보기 힘든 기술적 역량을 갖추고 있습니다.

클레비는 AI를 ‘목적’이 아닌 ‘수단’으로, 실제 업무 효율과 산업 혁신에 기여하는 실체적 AI 솔루션을 제공합니다.진짜 From-scratch Foundation 모델의 차별성을 직접 경험해보세요.

문의 및 데모 요청: [email protected]

Copyright© 2025 Clevi Inc. All rights reserved.