From-scratch Foundation Model CLEVI AI(ivy)

“¿Cómo pudo una empresa pequeña crear un modelo de lenguaje de IA de gran escala de nivel mundial?”

¿Cómo creó una pequeña startup un modelo de lenguaje de gran escala?

Esta es la pregunta que CLEVI ha recibido con mayor frecuencia desde que presentó su Foundation Model de 1,4 billones de parámetros.

A diferencia de muchas empresas, que simplemente ajustan modelos de código abierto, CLEVI llevó a cabo de forma independiente todo el proceso, desde la recopilación de datos y el diseño del modelo hasta el entrenamiento distribuido a gran escala y la verificación de calidad.

A continuación, presentamos en detalle el secreto de su éxito y sus ventajas competitivas.

1. ¿Una empresa pequeña crea un modelo de lenguaje de gran escala?

En julio de 2025, cuando CLEVI presentó en el mercado su propio modelo de lenguaje de IA de gran escala, numerosos clientes (usuarios) reaccionaron con sorpresa y escepticismo. “¿De verdad se desarrolló internamente?” “¿No será simplemente una versión ligeramente modificada de un modelo de código abierto?”

De hecho, muchas empresas nacionales e internacionales se limitan a realizar un ajuste fino (fine-tuning) de modelos de código abierto y luego los promocionan como modelos propios.

Sin embargo, CLEVI presentó su **‘From-scratch Foundation Model’**.

Es decir, diseñó y ejecutó directamente todo el proceso, desde la recopilación de datos y el diseño del modelo hasta el entrenamiento distribuido a gran escala y la verificación de calidad.

2. Por qué es difícil desarrollar un modelo de lenguaje de gran escala

Para entrenar un From-Scratch Foundation Model, es necesario abordar todos los siguientes aspectos.

Se necesita un conjunto de datos de alta calidad a gran escala

• Diversidad: garantizar la diversidad de idiomas, dominios y formatos (texto, imágenes, etc.)
• Depuración: eliminar el ruido, controlar la calidad y filtrar datos duplicados o perjudiciales
• Licencias: aclarar los derechos de autor y los derechos de uso de los datos

Infraestructura informática a gran escala

• Clústeres de GPU/TPU de alto rendimiento: tecnología para integrar equipos de miles o decenas de miles de nodos y permitir el entrenamiento distribuido de grandes volúmenes
• Frameworks eficientes de entrenamiento distribuido: DeepSpeed, Megatron-LM, Ray, etc.
• Almacenamiento/red: entrada y salida de grandes volúmenes de datos y un entorno de red de alta velocidad

Diseño de la arquitectura del modelo

• Reflejo de las estructuras más recientes: Transformer, MoE (Mixture of Experts), multimodalidad, etc.
• Escalabilidad: consideración de la ampliación del número de parámetros, capas, longitud de entrada, etc.
• Eficiencia: optimización de la velocidad de entrenamiento/inferencia y del uso de memoria

Estrategias y algoritmos de entrenamiento

• Objetivos del preentrenamiento: modelos de lenguaje (p. ej., next token prediction), multimodalidad (p. ej., contrastive learning), etc.
• Técnicas de optimización: mixed precision, gradient accumulation, learning rate schedule, etc.
• Normalización/estabilización: dropout, layer norm, weight decay, etc.

Sistemas de evaluación y validación

• Conjuntos de referencia: uso de conjuntos de datos estándar (Benchmarks)
• Evaluación interna: evaluación basada en escenarios de uso reales
• Monitoreo continuo: revisión de la calidad, los sesgos y la seguridad durante y después del entrenamiento

Capacidades del personal y la organización

• Investigadores de AI/ML: diseño de modelos y desarrollo de algoritmos
• Ingenieros de datos: recopilación, depuración y gestión de datos
• Ingenieros de infraestructura: gestión de sistemas distribuidos y entornos cloud/on-premise
• Project managers: gestión de plazos, presupuesto y calidad

Consideraciones éticas, legales y de seguridad

• Ética de la AI: sesgos, seguridad, transparencia y responsabilidad
• Cumplimiento legal: privacidad, derechos de autor y soberanía de los datos
• Seguridad: prevención de filtraciones de datos/modelos y control de acceso

Actualmente, el número de investigadores de AI en todo el mundo ronda los 2.000, y la mayoría se concentra en grandes empresas tecnológicas como META, Google y XAI. En Corea del Sur, son extremadamente escasos los equipos capaces de diseñar directamente todo el proceso, desde la recopilación de datos hasta la infraestructura de entrenamiento a gran escala, para crear un modelo Foundation.

3. Crear un modelo de lenguaje de gran escala con un equipo reducido.

Basándose en más de 10 años de experiencia investigando deep learning y machine learning, hace 3 años el CEO Lee Hwan-ho fundó la empresa (CLEVI) con el objetivo de “crear la mejor AI del mundo”.

Diseñó directamente todos los procesos, incluida la creación de la propia canalización de datos de la empresa, el diseño de la infraestructura de deep learning distribuido a gran escala, el desarrollo de la arquitectura del modelo y la validación de la calidad, adquiriendo las capacidades necesarias para desarrollar un Foundation Model.

Como resultado de entrenar el modelo en varias ocasiones, actualmente cuenta con el modelo Clevi-5-x, capaz de competir con los modelos de más alto nivel del mundo.

Para entrenar eficazmente modelos de lenguaje de gran escala, se necesita una infraestructura que conecte cientos o miles de GPU en un clúster y pueda procesar simultáneamente cálculos del orden de decenas de cuatrillones por segundo. En este proceso, las tecnologías que minimizan la sincronización de los cálculos y la latencia de comunicación en entornos distribuidos a gran escala son fundamentales. Hasta ahora, en Corea del Sur, la mayoría de las empresas no podía entrenar modelos adecuadamente debido a la ausencia de “algoritmos de control preciso”. El CEO de CLEVI, Lee Hwan-ho, desarrolló internamente este algoritmo independiente de control de cálculos distribuidos y logró, por primera vez en Corea del Sur, entrenar con éxito un modelo de lenguaje de gran escala con 1,4 billones (1.4 Trillion) de parámetros.

4. Razones por las que fue posible desarrollar diversos modelos con un equipo reducido de desarrolladores

La mayoría de las empresas de big tech también cuentan con tecnologías de control de infraestructuras a gran escala y depuración de datos.

Para gestionarlas, se necesitan cientos o miles de investigadores.

Sin embargo, CLEVI desarrolla y posee diversos modelos con un equipo reducido de investigadores.

¿Cómo fue posible?

CLEVI desarrolla y posee diversos modelos con un equipo reducido de personal mediante la tecnología Teacher-Student Model (Knowledge Distilation).

Veamos entonces la tecnología Teacher-Student.

Teacher-Student (destilación de conocimiento)

La tecnología Teacher-Student es, en pocas palabras, una tecnología que permite evaluar y proporcionar retroalimentación al modelo hijo (Student Model) mediante un modelo de lenguaje de gran escala (Teacher Model), sustituyendo a cientos de investigadores y desarrollando rápidamente diversos modelos con un equipo reducido.

• El Mother Model (modelo de gran escala) evalúa y proporciona retroalimentación a modelos de diversos campos, sustituyendo a cientos de investigadores.
• Si se lleva a cabo el entrenamiento mediante Clevi-x-platform de esta manera, es posible entrenar y desplegar modelos de alto rendimiento, como Reasoning, VLM, Physical AI y Coding Agent, en tan solo 10–15 días.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Vision Language Model

Agente de seguridad

5. Diferenciación tecnológica y de calidad de Clevi-x-platform

Rendimiento y escalabilidad del modelo

• Superioridad en razonamiento (CoT/Reasoning): cip-5-x incorpora el desarrollo lógico paso a paso y la presentación de fundamentos en su filosofía de diseño, y demuestra capacidades de cálculo e interpretación de alta fiabilidad en la resolución de problemas científicos, matemáticos y de ingeniería. Según los benchmarks internos, está diseñado y operado con el objetivo de alcanzar un nivel de rendimiento igual o superior al de GPT-5, y la reproducibilidad y verificabilidad bajo condiciones de prompts idénticas se gestionan como indicadores clave de calidad.

• Espectro multimodal completo: la producción y combinación en una única plataforma de un VLM orientado a objetivos (cip-5-vision), un modelo de procesamiento multimodal de gran capacidad (ivy-4-mm) y un modelo ligero para dispositivos (ivy-3-text) permite seleccionar la combinación óptima según las características de la tarea (búsqueda/clasificación/resumen frente a razonamiento/explicación/ejecución).

Aplicabilidad empresarial

• Seguridad y disponibilidad on-premises: operación en todo el entorno de red aislado (entrada-entrenamiento-servicio-copia de seguridad), diseño de alta disponibilidad (HA), expansión modular y protección separada de los datos y los parámetros del modelo mediante SVCE (entorno seguro de ejecución aislado).
• Adopción y expansión rápidas: Ivy Chat (conversación/agente multimodal orientado al trabajo) y API Platform (SaaS estándar global) permiten una implementación y operación rápidas.

Diferenciación de la IA física (Physical AI)

• La combinación de simulación basada en NVIDIA Isaac y aprendizaje por refuerzo evolutivo (Evolutionary RL), junto con la transferencia Sim2Real y el entrenamiento paralelo con datos sintéticos, ha mejorado la eficiencia del aprendizaje y la capacidad de adaptación en campo. Son escasas las alternativas que cubren desde el aprendizaje digital y robótico hasta el despliegue.

Calidad del servicio y gobernanza

• La gestión de versiones de modelos/prompts/herramientas, la suite de evaluación (conocimiento en coreano e inglés, tareas por industria, métricas de alucinación y seguridad), la gestión de cambios (SLO/SLA) y la observabilidad operativa (latencia/tasa de éxito/TCO) se realizan mediante procedimientos de una única plataforma.

Actualmente, existen en Corea del Sur más de 300 empresas de servicios de modelos de IA, pero

CLEVI es la única empresa que puede ofrecer simultáneamente servicios on-premises y en la nube mediante modelos fundacionales propios de alto rendimiento.

6. Cómo utilizar los modelos de lenguaje en la industria

Dado que la adopción de la IA requiere una inversión considerable y una verificación exhaustiva, es esencial comparar y probar directamente si la solución realmente ayuda a la empresa.

• CLEVI no se limita a crear modelos, sino que ofrece soluciones de IA aplicables en entornos industriales reales.
• Por ejemplo, cuenta con canales empresariales completos, como Ivy Chat Platform, Clevi API Platform, personalización por sector y adaptación a los requisitos de seguridad.
• Posee capacidades tecnológicas difíciles de encontrar tanto en Corea como en el extranjero, como la IA física, la robótica y el procesamiento de datos multimodales.

CLEVI ofrece soluciones de IA tangibles que contribuyen a la eficiencia del trabajo real y a la innovación industrial, utilizando la IA como «medio» y no como «fin». Experimente directamente la diferenciación de los modelos Foundation realmente From-scratch.

Consultas y solicitudes de demostración: [email protected]

Copyright© 2025 Clevi Inc. All rights reserved.