From-scratch Foundation Model de CLEVI AI (ivy)

“¿Cómo pudo una empresa pequeña crear un modelo de lenguaje de IA de gran escala de clase mundial?”

¿Cómo creó una startup pequeña un modelo de lenguaje de gran escala?

Esta es la pregunta que más hemos recibido desde que CLEVI presentó su modelo Foundation de 1.4 billones de parámetros.

A diferencia de muchas empresas que simplemente ajustan modelos de código abierto, CLEVI llevó a cabo de manera independiente todo el proceso, desde la recopilación de datos y el diseño del modelo hasta el entrenamiento distribuido a gran escala y la verificación de calidad.

A continuación, presentamos en detalle el secreto detrás de este logro y sus ventajas competitivas.

1. ¿Una empresa pequeña puede crear un modelo de lenguaje de gran escala?

En julio de 2025, cuando CLEVI presentó al mercado su propio modelo de lenguaje de gran escala, numerosos clientes (usuarios) reaccionaron con sorpresa y escepticismo. “¿De verdad fue desarrollado internamente?” “¿No será que modificaron ligeramente un modelo de código abierto?”

De hecho, muchas empresas nacionales e internacionales solo realizan transferencia de aprendizaje (fine-tuning) en modelos de código abierto y los promocionan como modelos propios.

Sin embargo, CLEVI presentó un **‘From-scratch Foundation Model’**.

Es decir, diseñó y ejecutó directamente todo el proceso, desde la recopilación de datos y el diseño del modelo hasta el entrenamiento distribuido a gran escala y la verificación de calidad.

2. Por qué es difícil desarrollar un modelo de lenguaje de gran escala

Para entrenar un From-Scratch Foundation Model, es necesario abordar todos los siguientes elementos.

Se necesita un conjunto de datos grande y de alta calidad

• Diversidad: garantizar diversidad de idiomas, dominios y formatos (texto, imágenes, etc.)
• Depuración: eliminar el ruido, controlar la calidad y filtrar datos duplicados o dañinos
• Licencias: aclarar los derechos de autor y los derechos de uso de los datos

Infraestructura informática a gran escala

• Clústeres de GPU/TPU de alto rendimiento: tecnología para integrar equipos de miles o decenas de miles de nodos y permitir el entrenamiento distribuido de grandes volúmenes de datos
• Frameworks eficientes de entrenamiento distribuido: DeepSpeed, Megatron-LM, Ray, etc.
• Almacenamiento/red: entrada y salida de grandes volúmenes de datos y un entorno de red de alta velocidad

Diseño de la arquitectura del modelo

• Reflejo de las arquitecturas más recientes: Transformer, MoE (Mixture of Experts), multimodalidad, entre otras
• Escalabilidad: considerar la expansión del número de parámetros, capas, longitud de entrada, etc.
• Eficiencia: optimización de la velocidad de entrenamiento/inferencia y del uso de memoria

Estrategias y algoritmos de entrenamiento

• Objetivos del preentrenamiento: modelos de lenguaje (p. ej., next token prediction), multimodalidad (p. ej., contrastive learning), etc.
• Técnicas de optimización: mixed precision, gradient accumulation, learning rate schedule, etc.
• Normalización/estabilización: dropout, layer norm, weight decay, etc.

Sistema de evaluación y validación

• Conjuntos de benchmarks: uso de conjuntos de datos estándar (Benchmarks)
• Evaluación interna: evaluación basada en escenarios de uso reales
• Monitoreo continuo: revisión de la calidad, los sesgos y la seguridad durante y después del entrenamiento

Talento y capacidades organizacionales

• Investigadores de AI/ML: diseño de modelos y desarrollo de algoritmos
• Ingenieros de datos: recopilación, depuración y gestión de datos
• Ingenieros de infraestructura: gestión de sistemas distribuidos y entornos de nube/on-premises
• Project managers: gestión de cronogramas, presupuestos y calidad

Consideraciones éticas, legales y de seguridad

• Ética de la AI: sesgos, seguridad, transparencia y responsabilidad
• Cumplimiento legal: privacidad, derechos de autor y soberanía de los datos
• Seguridad: prevención de filtraciones de datos/modelos y control de acceso

Actualmente, el personal de investigación en AI en todo el mundo suma aproximadamente 2,000 personas, y la mayoría se concentra en empresas de tecnología como META, Google y XAI. En Corea del Sur son muy pocos los equipos capaces de diseñar directamente todo, desde la recopilación de datos hasta la infraestructura de entrenamiento a gran escala, para crear un modelo Foundation.

3. Crear un modelo de lenguaje de gran escala con un equipo pequeño.

Con más de 10 años de experiencia en investigación de deep learning y machine learning, hace 3 años el CEO Lee Hwan-ho fundó la empresa (CLEVI) con el objetivo de “crear la mejor AI del mundo”.

Diseñó directamente cada proceso, incluida la construcción del propio pipeline de datos de la empresa, el diseño de infraestructura distribuida de deep learning a gran escala, el desarrollo de la arquitectura del modelo y la validación de la calidad, adquiriendo así las capacidades necesarias para desarrollar un Foundation Model.

Después de entrenar el modelo en varias ocasiones, ahora cuenta con el modelo Clevi-5-x, capaz de competir con los modelos de más alto nivel del mundo.

Para entrenar eficazmente modelos de lenguaje de gran escala, se requiere una infraestructura capaz de conectar cientos o miles de GPU en un clúster y procesar simultáneamente varios cuatrillones de operaciones por segundo. En este proceso, las tecnologías que minimizan la sincronización de operaciones y la latencia de comunicación en entornos distribuidos a gran escala son fundamentales. Hasta ahora, en Corea del Sur, la mayoría de las empresas no podía entrenar modelos adecuadamente debido a la ausencia de un “algoritmo de control preciso”. El CEO de Clevi, Lee Hwan-ho, desarrolló internamente este algoritmo propio de control de operaciones distribuidas y logró, por primera vez en Corea del Sur, entrenar un modelo de lenguaje de gran escala con 1.4 billones (1.4 Trillion) de parámetros.

4. La razón por la que fue posible desarrollar diversos modelos con un equipo reducido de desarrolladores

La mayoría de las empresas de big tech también cuentan con tecnologías para el control de infraestructura a gran escala y la depuración de datos.

Para gestionar esto, se necesitan cientos o miles de investigadores.

Sin embargo, Clevi desarrolla y posee diversos modelos con un equipo reducido de investigadores.

¿Cómo fue posible?

Clevi desarrolla y posee diversos modelos con un equipo reducido de personal mediante la tecnología Teacher-Student Model(Knowledge Distilation).

Veamos entonces la tecnología Teacher-Student.

Teacher-Student (destilación de conocimiento)

La tecnología Teacher-Student es, en términos sencillos, una tecnología que permite desarrollar rápidamente diversos modelos con un equipo reducido, reemplazando a cientos de investigadores mediante la evaluación y retroalimentación del modelo hijo (Student Model) a través de un modelo de lenguaje de gran escala (Teacher Model).

• El Mother Model (modelo de gran escala) evalúa y proporciona retroalimentación sobre modelos de diversas áreas, reemplazando a cientos de investigadores.
• Si el entrenamiento se lleva a cabo de esta manera mediante Clevi-x-platform, es posible entrenar y desplegar modelos de alto rendimiento, como Reasoning, VLM, Physical AI y Coding Agent, en tan solo 10 a 15 días.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Vision Language Model

Agente de seguridad

5. Diferenciación tecnológica y de calidad de Clevi-x-platform

Rendimiento y escalabilidad del modelo

• Ventaja en razonamiento (CoT/Reasoning): cip-5-x incorpora el desarrollo lógico paso a paso y la presentación de fundamentos en su filosofía de diseño, y demuestra capacidades de cálculo e interpretación de alta confiabilidad para resolver problemas científicos, matemáticos y de ingeniería. Con base en benchmarks internos, está diseñado y operado con el objetivo de alcanzar un nivel de desempeño igual o superior al de GPT-5, y gestiona la reproducibilidad y verificabilidad bajo las mismas condiciones del prompt como indicadores clave de calidad.

• Espectro multimodal completo: al producir y combinar en una sola plataforma el VLM orientado a objetivos (cip-5-vision), el modelo de procesamiento multimodal de gran escala (ivy-4-mm) y el modelo ligero en el dispositivo (ivy-3-text), es posible elegir la combinación óptima según las características de la tarea (búsqueda/clasificación/resumen frente a razonamiento/explicación/ejecución).

Aplicabilidad empresarial

• Seguridad y disponibilidad on-premises: opera en todo el entorno de red aislada (entrada-entrenamiento-servicio-respaldo), con diseño de alta disponibilidad (HA), expansión modular y SVCE (entorno seguro de ejecución aislado) para proteger por separado los datos y los parámetros del modelo.
• Implementación y expansión rápidas: Ivy Chat (conversación multimodal/agente orientado a tareas empresariales) y API Platform (SaaS estándar global) permiten una implementación y operación rápidas.

Diferenciación de la IA física (Physical AI)

• La combinación de simulación basada en NVIDIA Isaac y aprendizaje por refuerzo evolutivo (Evolutionary RL), junto con la transferencia Sim2Real y el aprendizaje paralelo con datos sintéticos, aumenta la eficiencia del entrenamiento y la capacidad de adaptación en campo. Son escasas las alternativas que cubren desde el aprendizaje digital y robótico hasta la implementación.

Calidad del servicio y gobernanza

• La gestión de versiones de modelos/prompts/herramientas, la suite de evaluación (conocimientos en coreano e inglés, tareas por industria, métricas de alucinación y seguridad), la gestión de cambios (SLO/SLA) y la observabilidad operativa (latencia, tasa de éxito y TCO) se administran mediante procedimientos de una sola plataforma.

Actualmente, existen en Corea del Sur más de aproximadamente 300 empresas de servicios de modelos de IA, pero

CLEVI es la única empresa que puede ofrecer simultáneamente servicios on-premises y en la nube mediante un modelo fundacional propio de alto rendimiento.

6. Cómo utilizar los modelos de lenguaje en la industria

Dado que la adopción de IA requiere una inversión considerable y una validación exhaustiva, es esencial comparar y probar directamente si se trata de una solución que realmente beneficie a la empresa.

• CLEVI no se limita a crear modelos, sino que ofrece soluciones de IA aplicables en entornos industriales reales.
• Por ejemplo, cuenta con canales empresariales completos, como Ivy Chat Platform, Clevi API Platform, personalización por industria y cumplimiento de requisitos de seguridad.
• Cuenta con capacidades tecnológicas difíciles de encontrar, tanto a nivel nacional como internacional, en áreas como la IA física, la robótica y el procesamiento de datos multimodales.

CLEVI ofrece soluciones de IA concretas que contribuyen a la eficiencia real del trabajo y a la innovación industrial, utilizando la IA como un ‘medio’ y no como un ‘fin’. Experimente directamente la diferenciación de un verdadero modelo From-scratch Foundation.

Solicitudes de información y demostraciones: [email protected]

Copyright© 2025 Clevi Inc. Todos los derechos reservados.