Model podstawowy tworzony od podstaw — CLEVI AI (ivy)

„Jak małej firmie udało się stworzyć wielkoskalowy model językowy AI na światowym poziomie?”

Jak mały startup stworzył wielkoskalowy model językowy?

To pytanie, które najczęściej zadawano po tym, jak CLEVI udostępniło stworzony przez siebie model podstawowy o skali 1,4 biliona parametrów.

W przeciwieństwie do wielu firm, które jedynie dostrajają modele open source, CLEVI samodzielnie przeprowadziło cały proces — od gromadzenia danych, przez projektowanie modelu i wielkoskalowe uczenie rozproszone, po weryfikację jakości.

Poniżej szczegółowo przedstawiamy sekret tego sukcesu i przewagę konkurencyjną.

1. Mała firma tworzy wielkoskalowy model językowy?

W lipcu 2025 roku, gdy CLEVI udostępniło na rynku opracowany przez siebie wielkoskalowy model językowy, wielu klientów (użytkowników) zareagowało zaskoczeniem i niedowierzaniem. „Czy to naprawdę model opracowany samodzielnie?” „Czy nie jest to tylko nieznacznie zmodyfikowany model open source?”

W rzeczywistości wiele firm w kraju i za granicą jedynie stosuje dostrajanie (fine-tuning) modeli open source, a następnie promuje je jako własne modele.

Jednak CLEVI postawiło na **„From-scratch Foundation Model”**.

Oznacza to, że samodzielnie zaprojektowało i przeprowadziło cały proces — od gromadzenia danych, przez projektowanie modelu i wielkoskalowe uczenie rozproszone, po weryfikację jakości.

2. Dlaczego opracowanie wielkoskalowego modelu językowego jest trudne

Aby wytrenować From-Scratch Foundation Model, należy opanować wszystkie poniższe obszary.

Potrzebny jest wielkoskalowy zbiór danych wysokiej jakości

• Różnorodność: zapewnienie różnorodności języków, dziedzin i formatów (tekst, obrazy itp.)
• Oczyszczanie: usuwanie szumu, kontrola jakości, filtrowanie zduplikowanych i szkodliwych danych
• Licencje: jasne określenie praw autorskich i praw do korzystania z danych

Wielkoskalowa infrastruktura obliczeniowa

• Wydajne klastry GPU/TPU: technologia integrująca urządzenia obejmujące od tysięcy do dziesiątek tysięcy węzłów w celu obsługi wielkoskalowego uczenia rozproszonego
• Wydajny framework do uczenia rozproszonego: DeepSpeed, Megatron-LM, Ray itp.
• Pamięć masowa/sieć: środowisko umożliwiające obsługę wejścia i wyjścia dużych ilości danych oraz szybką komunikację sieciową

Projektowanie architektury modelu

• Uwzględnienie najnowszej architektury: Transformer, MoE(Mixture of Experts), multimodalność itp.
• Skalowalność: uwzględnienie możliwości skalowania liczby parametrów, warstw, długości wejścia itp.
• Wydajność: optymalizacja szybkości uczenia/wnioskowania i zużycia pamięci

Strategie i algorytmy uczenia

• Cele pretrainingu: modele językowe (np. next token prediction), multimodalność (np. contrastive learning) itp.
• Techniki optymalizacji: mixed precision, gradient accumulation, learning rate schedule itp.
• Normalizacja/stabilizacja: dropout, layer norm, weight decay itp.

System oceny i walidacji

• Zestawy benchmarków: wykorzystanie standardowych zbiorów danych (Benchmarks)
• Ocena wewnętrzna: ocena oparta na rzeczywistych scenariuszach użytkowania
• Ciągłe monitorowanie: kontrola jakości, uprzedzeń i bezpieczeństwa w trakcie i po zakończeniu uczenia

Kompetencje personelu i organizacji

• Badacze AI/ML: projektowanie modeli, opracowywanie algorytmów
• Inżynierowie danych: gromadzenie, oczyszczanie i zarządzanie danymi
• Inżynierowie infrastruktury: systemy rozproszone, zarządzanie chmurą/on-premise
• Kierownicy projektów: zarządzanie harmonogramem, budżetem i jakością

Kwestie etyczne, prawne i bezpieczeństwa

• Etyka AI: uprzedzenia, bezpieczeństwo, przejrzystość, odpowiedzialność
• Zgodność z prawem: prywatność, prawa autorskie, suwerenność danych
• Bezpieczeństwo: zapobieganie wyciekom danych/modeli, kontrola dostępu

Obecnie na całym świecie pracuje około 2 000 osób zajmujących się badaniami nad AI, z czego większość koncentruje się w firmach big tech, takich jak META, Google i XAI. W Korei Południowej niezwykle rzadko spotyka się zespoły, które są w stanie samodzielnie zaprojektować wszystko — od gromadzenia danych po infrastrukturę do trenowania na dużą skalę — i stworzyć Foundation Model.

3. Tworzenie wielkoskalowego modelu językowego przy ograniczonych zasobach kadrowych.

Opierając się na ponad 10 latach doświadczenia w badaniach nad deep learningiem i machine learningiem, dyrektor generalny Lee Hwan-ho założył 3 lata temu firmę (CLEVI) z celem „stworzenia najlepszej AI na świecie”.

Samodzielnie zaprojektował cały proces — od budowy własnego potoku danych firmy, przez projektowanie wielkoskalowej, rozproszonej infrastruktury deep learningu i opracowanie architektury modelu, po weryfikację jakości — zdobywając kompetencje niezbędne do opracowywania Foundation Model.

W wyniku wielokrotnego trenowania modeli obecnie posiadamy model Clevi-5-x, który może konkurować z najlepszymi modelami na świecie.

Aby skutecznie trenować wielkie modele językowe, potrzebna jest infrastruktura, w której od setek do tysięcy procesorów GPU jest połączonych w klaster, umożliwiając jednoczesne wykonywanie obliczeń na poziomie dziesiątek biliardów operacji na sekundę. W tym procesie kluczowe znaczenie mają technologie minimalizujące opóźnienia w synchronizacji obliczeń i komunikacji w dużych środowiskach rozproszonych. Do tej pory w Korei większość firm nie była w stanie prawidłowo trenować modeli z powodu braku „algorytmów precyzyjnego sterowania”. CEO Clevi, Lee Hwan-ho, samodzielnie opracował ten unikalny algorytm sterowania obliczeniami rozproszonymi, dzięki czemu jako pierwsza firma w Korei pomyślnie przeprowadziła trenowanie wielkiego modelu językowego o skali 1,4 biliona (1.4 Trillion) parametrów.

4. Dlaczego niewielki zespół programistów może tworzyć różnorodne modele

Większość firm big tech również dysponuje technologiami sterowania dużą infrastrukturą i oczyszczania danych.

Zarządzanie nimi wymaga od kilkuset do kilku tysięcy pracowników naukowych.

Jednak Clevi, dysponując niewielkim zespołem badawczym, opracowuje i posiada różnorodne modele.

Jak było to możliwe?

Dzięki technologii Teacher-Student Model (Knowledge Distilation) Clevi opracowuje i posiada różnorodne modele przy udziale niewielkiego zespołu.

Przyjrzyjmy się zatem technologii Teacher-Student.

Teacher-Student (destylacja wiedzy)

Technologia Teacher-Student polega w skrócie na tym, że wielki model językowy (Teacher Model) ocenia i przekazuje informacje zwrotne dotyczące modelu potomnego (Student Model), umożliwiając szybkie opracowywanie różnorodnych modeli przy udziale niewielkiego zespołu, który zastępuje setki pracowników naukowych.

• Model Mother Model (model wielki) ocenia różnorodne modele z różnych dziedzin i przekazuje im informacje zwrotne, zastępując setki pracowników naukowych.
• Jeśli trenowanie odbywa się w ten sposób za pośrednictwem Clevi-x-platform, wysokowydajne modele, takie jak Reasoning, VLM, Physical AI i Coding Agent, można wytrenować i wdrożyć w ciągu 10–15 dni.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Model widzenia językowego

Agent bezpieczeństwa

5. Wyróżniki technologiczne i jakościowe platformy Clevi-x-platform

Wydajność i skalowalność modeli

• Przewaga wnioskowania (CoT/Reasoning): cip-5-x uwzględnia etapowe rozwijanie logiki i przedstawianie uzasadnienia w swojej filozofii projektowej, zapewniając wysoką wiarygodność obliczeń i zdolności interpretacyjne w rozwiązywaniu problemów naukowych, matematycznych i inżynieryjnych. Na podstawie wewnętrznych benchmarków jest projektowany i eksploatowany z celem osiągnięcia wydajności na poziomie GPT-5 lub wyższej, a powtarzalność i możliwość weryfikacji w warunkach identycznych promptów są zarządzane jako kluczowe wskaźniki jakości.

• Pełne spektrum multimodalności: dzięki produkcji i łączeniu na jednej platformie zadaniowego VLM (cip-5-vision), wielkoskalowego modelu przetwarzania multimodalnego (ivy-4-mm) oraz lekkiego modelu on-device (ivy-3-text), możliwy jest optymalny dobór kombinacji dopasowanej do charakterystyki zadania (wyszukiwanie/klasyfikacja/podsumowanie vs. wnioskowanie/wyjaśnianie/wykonywanie).

Zastosowanie w przedsiębiorstwach

• Bezpieczeństwo i dostępność on-premise: działanie w całej zamkniętej sieci (wprowadzanie–uczenie–usługi–kopie zapasowe), projektowanie HA, modułowa rozbudowa oraz SVCE (izolowane bezpieczne środowisko wykonywania) zapewniają oddzielną ochronę danych i parametrów modeli.
• Szybkie wdrożenie i skalowanie: Ivy Chat (multimodalna konwersacja/agent do zadań biznesowych) oraz API Platform (globalny standard SaaS) wspierają szybkie zastosowanie i eksploatację.

Wyróżniki Physical AI

• Połączenie symulacji opartej na NVIDIA Isaac ze wzmocnieniem opartym na ewolucji (Evolutionary RL), transfer Sim2Real oraz równoległe uczenie na danych syntetycznych zwiększyły efektywność uczenia i zdolność adaptacji w warunkach rzeczywistych. Niewiele jest alternatyw obejmujących cały proces od uczenia cyfrowego i robotycznego po wdrożenie.

Jakość usług i zarządzanie

• Zarządzanie wersjami modeli/promptów/narzędzi, zestawem ewaluacyjnym (wiedza w języku koreańskim i angielskim, zadania branżowe, wskaźniki halucynacji i bezpieczeństwa), zarządzaniem zmianami (SLO/SLA) oraz obserwowalnością operacyjną (opóźnienia, wskaźnik powodzenia, TCO) odbywa się zgodnie z procedurami jednej platformy.

Obecnie w Korei Południowej istnieje ponad 300 firm świadczących usługi modeli AI, jednak

CLEVI jest jedyną firmą, która dzięki wysokowydajnemu, autorskiemu modelowi bazowemu może jednocześnie świadczyć usługi on-premise i w chmurze.

6. Jak wykorzystywać modele językowe w przemyśle

Ponieważ wdrożenie AI wymaga znacznych inwestycji i rygorystycznej weryfikacji, bezpośrednie porównanie i przetestowanie rozwiązań w celu sprawdzenia, czy rzeczywiście przynoszą korzyści przedsiębiorstwu, jest niezbędne.

• CLEVI nie ogranicza się do tworzenia modeli, lecz dostarcza rozwiązania AI, które można wdrożyć w rzeczywistych środowiskach przemysłowych.
• Przykładowo oferuje kompletny zestaw kanałów dla przedsiębiorstw, w tym Ivy Chat Platform, Clevi API Platform, dostosowanie do poszczególnych branż oraz spełnienie wymogów bezpieczeństwa.
• Dysponuje również wyjątkowymi kompetencjami technologicznymi, trudnymi do znalezienia w kraju i za granicą, w zakresie fizycznej AI, robotyki oraz multimodalnego przetwarzania danych.

CLEVI dostarcza rzeczywiste rozwiązania AI, które traktują AI nie jako „cel”, lecz jako „narzędzie”, przyczyniając się do poprawy efektywności pracy i innowacji przemysłowych. Poznaj bezpośrednio przewagę prawdziwego modelu From-scratch Foundation.

Zapytania i prośby o demo: [email protected]

Copyright© 2025 Clevi Inc. Wszelkie prawa zastrzeżone.