From-scratch Foundation Model კლევი AI(ivy)

“როგორ შეძლო პატარა კომპანიამ მსოფლიო დონის გიგანტური AI ენობრივი მოდელის შექმნა?”

როგორ შექმნა პატარა სტარტაპმა გიგანტური ენობრივი მოდელი?

ეს არის კითხვა, რომელსაც ყველაზე ხშირად სვამენ მას შემდეგ, რაც კლევიმ 1.4 ტრილიონი პარამეტრის მასშტაბის Foundation მოდელი გამოაქვეყნა.

ბევრი კომპანიისგან განსხვავებით, რომლებიც ღია კოდის მოდელებს უბრალოდ ფაინ-თიუნინგს უტარებენ, კლევიმ დამოუკიდებლად განახორციელა მთელი პროცესი — მონაცემთა შეგროვებიდან, მოდელის დიზაინიდან და მასშტაბური განაწილებული სწავლიდან დაწყებული, ხარისხის შემოწმებით დამთავრებული.

ქვემოთ დეტალურად წარმოგიდგენთ ამ საიდუმლოსა და კონკურენტულ უპირატესობას.

1. პატარა კომპანია ქმნის გიგანტურ ენობრივ მოდელს?

2025 წლის ივლისში, როდესაც კლევიმ ბაზარზე საკუთარი ძალებით შემუშავებული გიგანტური ენობრივი მოდელი გამოაქვეყნა, უამრავი მომხმარებელი გაოცებითა და ეჭვით შეხვდა ამ ამბავს. “ნამდვილად თავად არის შემუშავებული?” “ხომ არ არის ეს უბრალოდ ღია კოდის მოდელის ოდნავ შეცვლილი ვერსია?”

ფაქტობრივად, ადგილობრივ და უცხოურ კომპანიებს შორის ბევრი ისეთი შემთხვევაა, როდესაც ისინი ღია კოდის მოდელებზე მხოლოდ ტრანსფერულ სწავლებას (fine-tuning) ახორციელებენ და შემდეგ მათ საკუთარ მოდელებად ასაღებენ.

თუმცა კლევიმ წარადგინა **‘From-scratch Foundation Model’**.

სხვა სიტყვებით, მან თავად დაგეგმა და განახორციელა მთელი პროცესი — მონაცემთა შეგროვებიდან, მოდელის დიზაინიდან და მასშტაბური განაწილებული სწავლიდან დაწყებული, ხარისხის შემოწმებით დამთავრებული.

2. რატომ არის გიგანტური ენობრივი მოდელის შემუშავება რთული

From-Scratch Foundation Model-ის სასწავლად საჭიროა ყველა ქვემოთ ჩამოთვლილი კომპონენტის მომზადება.

საჭიროა ფართომასშტაბიანი, მაღალი ხარისხის მონაცემთა ნაკრები

• მრავალფეროვნება: ენების, დომენებისა და ფორმატების (ტექსტი, სურათები და სხვ.) მრავალფეროვნების უზრუნველყოფა
• დახვეწა: ხმაურის მოცილება, ხარისხის მართვა, დუბლირებული/მავნე მონაცემების გაფილტვრა
• ლიცენზია: საავტორო უფლებებისა და მონაცემთა გამოყენების უფლებების მკაფიო განსაზღვრა

ფართომასშტაბიანი გამოთვლითი ინფრასტრუქტურა

• მაღალი წარმადობის GPU/TPU კლასტერი: ათასობით~ათეულობით ათასი კვანძის მოწყობილობების ინტეგრირება და მასშტაბური განაწილებული სწავლების მხარდაჭერა
• ეფექტური განაწილებული სწავლების ფრეიმვორკები: DeepSpeed, Megatron-LM, Ray და სხვ.
• საცავი/ქსელი: დიდი მოცულობის მონაცემთა შეყვანა-გამოტანა და სწრაფი ქსელური გარემო

მოდელის არქიტექტურის დიზაინი

• უახლესი არქიტექტურის ასახვა: Transformer, MoE(Mixture of Experts), მულტიმოდალობა და სხვა
• მასშტაბირებადობა: პარამეტრების რაოდენობის, ფენების რაოდენობის, შეყვანის სიგრძისა და სხვა მასშტაბირების შესაძლებლობების გათვალისწინება
• ეფექტიანობა: სწავლებისა და დასკვნის სიჩქარის, მეხსიერების გამოყენების ოპტიმიზაცია

სწავლების სტრატეგიები და ალგორითმები

• წინასწარი სწავლების მიზანი: ენის მოდელი (მაგ.: next token prediction), მულტიმოდალობა (მაგ.: contrastive learning) და სხვა
• ოპტიმიზაციის მეთოდები: mixed precision, gradient accumulation, learning rate schedule და სხვა
• ნორმალიზაცია/სტაბილიზაცია: dropout, layer norm, weight decay და სხვა

შეფასებისა და ვალიდაციის სისტემა

• ბენჩმარკების ნაკრები: სტანდარტული მონაცემთა ნაკრებების (Benchmarks) გამოყენება
• შიდა შეფასება: რეალურ გამოყენების სცენარებზე დაფუძნებული შეფასება
• უწყვეტი მონიტორინგი: ხარისხის, მიკერძოებისა და უსაფრთხოების შემოწმება სწავლების დროს/შემდეგ

ადამიანური რესურსები და ორგანიზაციული შესაძლებლობები

• AI/ML მკვლევრები: მოდელების დიზაინი, ალგორითმების შემუშავება
• მონაცემთა ინჟინრები: მონაცემთა შეგროვება/გასუფთავება/მართვა
• ინფრასტრუქტურის ინჟინრები: განაწილებული სისტემები, cloud/on-premises გარემოების მართვა
• პროექტის მენეჯერები: ვადების, ბიუჯეტისა და ხარისხის მართვა

ეთიკის, სამართლისა და უსაფრთხოების საკითხები

• AI-ის ეთიკა: მიკერძოება, უსაფრთხოება, გამჭვირვალობა, ანგარიშვალდებულება
• სამართლებრივი შესაბამისობა: პერსონალური მონაცემები, საავტორო უფლებები, მონაცემთა სუვერენიტეტი
• უსაფრთხოება: მონაცემებისა და მოდელების გაჟონვის პრევენცია, წვდომის კონტროლი

ამჟამად მსოფლიოში AI-ის კვლევითი პერსონალის რაოდენობა დაახლოებით 2,000-ს შეადგენს და მათი უმეტესობაც META, Google, XAI და სხვა ტექნოლოგიურ გიგანტებშია კონცენტრირებული. ადგილობრივად უკიდურესად იშვიათია გუნდები, რომლებსაც მონაცემთა შეგროვებიდან ფართომასშტაბიანი სწავლების ინფრასტრუქტურამდე ყველაფრის დამოუკიდებლად დაპროექტება და Foundation მოდელის შექმნა შეუძლიათ.

3. მცირე ადამიანური რესურსით უზარმაზარი ენობრივი მოდელის შექმნა.

10 წელზე მეტი ხნის განმავლობაში deep learning-სა და machine learning-ს კვლევის გამოცდილებაზე დაყრდნობით, აღმასრულებელმა დირექტორმა ლი ჰვანჰომ 3 წლის წინ დააარსა კომპანია (CLEVI) მიზნად, რომ „მსოფლიოში საუკეთესო AI შეექმნა“.

კომპანიის საკუთარი მონაცემთა პაიპლაინის 구축, ფართომასშტაბიანი განაწილებული deep learning-ის ინფრასტრუქტურის დიზაინი, მოდელის არქიტექტურის შემუშავება, ხარისხის ვალიდაცია და ყველა სხვა პროცესი თავად დააპროექტა, რითაც Foundation Model-ის შესაქმნელად საჭირო შესაძლებლობები შეიძინა.

მოდელის რამდენჯერმე სწავლების შედეგად, ამჟამად მას აქვს Clevi-5-x მოდელი, რომელსაც მსოფლიოს უმაღლესი დონის მოდელებთან კონკურენცია შეუძლია.

დიდი ენობრივი მოდელების ეფექტურად გასაწვრთნელად საჭიროა ინფრასტრუქტურა, რომელიც ასობითიდან ათასობით GPU-ს კლასტერში აერთიანებს და წამში კვადრილიონობით გამოთვლის ერთეულის ერთდროულად დამუშავებას უზრუნველყოფს. ამ პროცესში გადამწყვეტი მნიშვნელობა აქვს ტექნოლოგიებს, რომლებიც ფართომასშტაბიან განაწილებულ გარემოში გამოთვლების სინქრონიზაციასა და კომუნიკაციის დაყოვნებას ამცირებს. აქამდე, ადგილობრივად „ზუსტი მართვის ალგორითმის“ არარსებობის გამო, კომპანიების უმეტესობა მოდელებს სათანადოდ ვერ წვრთნიდა. CLEVI-ს აღმასრულებელმა დირექტორმა, ჰვანჰო იჰვანმა, ასეთი უნიკალური განაწილებული გამოთვლების მართვის ალგორითმი თავად შეიმუშავა და შედეგად, ადგილობრივად პირველმა შეძლო 1.4 ტრილიონი (1.4 Trillion) პარამეტრის მქონე დიდი ენობრივი მოდელის გაწვრთნა.

4. რატომ შეგვეძლო მრავალფეროვანი მოდელების შექმნა დეველოპერების მცირე გუნდით

ბიგტექის კომპანიების უმეტესობასაც გააჩნია ფართომასშტაბიანი ინფრასტრუქტურის მართვისა და მონაცემთა გაწმენდის ტექნოლოგიები.

მათ სამართავად ასობითიდან ათასობით მკვლევარამდეა საჭირო.

თუმცა CLEVI მცირე კვლევითი გუნდით მრავალფეროვან მოდელებს ქმნის და ფლობს.

როგორ იყო ეს შესაძლებელი?

CLEVI Teacher-Student Model(Knowledge Distilation) ტექნოლოგიის მეშვეობით მცირე გუნდით მრავალფეროვან მოდელებს ქმნის და ფლობს.

მაშინ განვიხილოთ Teacher-Student ტექნოლოგია.

Teacher-Student(ცოდნის დისტილაცია)

Teacher-Student ტექნოლოგია, მარტივად რომ ვთქვათ, არის ტექნოლოგია, რომელიც დიდი ენობრივი მოდელის (Teacher Model) მეშვეობით შვილობილ მოდელს (Student Model) აფასებს და უკუკავშირს აძლევს, რის შედეგადაც მცირე გუნდს ასობით მკვლევარის ჩანაცვლება და მრავალფეროვანი მოდელების სწრაფად შექმნა შეუძლია.

• Mother Model(დიდი მოდელი) სხვადასხვა სფეროს მოდელებს აფასებს და უკუკავშირს აძლევს, რითაც ასობით მკვლევარს ანაცვლებს.
• თუ ამ მეთოდით სწავლებას Clevi-x-platform-ის მეშვეობით განვახორციელებთ, ისეთ მაღალი წარმადობის მოდელებს, როგორიცაა Reasoning, VLM, Physical AI და Coding Agent, 10–15 დღეში გავწვრთნით და განვათავსებთ.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Vision Language Model

უსაფრთხოების აგენტი

5. Clevi-x-platform-ის ტექნოლოგიური და ხარისხობრივი დიფერენციაცია

მოდელის წარმადობა და მასშტაბირებადობა

• მსჯელობის (CoT/Reasoning) უპირატესობა: cip-5-x-ის დიზაინის ფილოსოფია მოიცავს ეტაპობრივ ლოგიკურ განვითარებასა და დასაბუთების წარმოდგენას, რაც მეცნიერების, მათემატიკისა და ინჟინერიის პრობლემების გადაჭრისას მაღალი სანდოობის გამოთვლისა და ინტერპრეტაციის შესაძლებლობებს ავლენს. შიდა ბენჩმარკების საფუძველზე, სისტემა შექმნილი და ფუნქციონირებს GPT-5-ის დონის ან უფრო მაღალი წარმადობის მიზნობრივი მაჩვენებლით, ხოლო იდენტური პრომპტის პირობებში რეპროდუცირებადობა და ვერიფიცირებადობა ხარისხის ძირითად მაჩვენებლებად იმართება.

• მულტიმოდალობის სრული სპექტრი: მიზანზე ორიენტირებული VLM (cip-5-vision), დიდი მოცულობის მულტიმოდალური დამუშავების მოდელი (ivy-4-mm) და მსუბუქი, მოწყობილობაზე მუშაობისთვის განკუთვნილი მოდელი (ivy-3-text) ერთ პლატფორმაზე იწარმოება და კომბინირდება, რაც ამოცანის მახასიათებლების (ძიება/კლასიფიკაცია/შეჯამება vs. მსჯელობა/განმარტება/შესრულება) შესაბამისად ოპტიმალური კომბინაციის შექმნის შესაძლებლობას იძლევა.

საწარმოში გამოყენებადობა

• ლოკალური განთავსების უსაფრთხოება და ხელმისაწვდომობა: დახურულ ქსელში მთელ პროცესზე (შეყვანა-ტრენინგი-სერვისი-რეზერვული ასლი) მუშაობა, HA დიზაინი, მოდულური გაფართოება და SVCE-ის (იზოლირებული უსაფრთხო შესრულების გარემოს) მეშვეობით მონაცემებისა და მოდელის პარამეტრების განცალკევებული დაცვა.
• სწრაფი დანერგვა და გაფართოება: Ivy Chat-ის (სამუშაოზე ორიენტირებული მულტიმოდალური დიალოგი/აგენტები) და API Platform-ის (გლობალური სტანდარტის SaaS) მეშვეობით სწრაფი გამოყენებისა და ოპერირების მხარდაჭერა.

ფიზიკური AI-ის (Physical AI) დიფერენციაცია

• NVIDIA Isaac-ზე დაფუძნებული სიმულაციისა და ევოლუციაზე დაფუძნებული განმტკიცებითი სწავლების (Evolutionary RL) კომბინაციით, Sim2Real ტრანსფერითა და სინთეზურ მონაცემებზე პარალელური სწავლებით გაიზარდა სწავლის ეფექტიანობა და რეალურ გარემოსთან ადაპტაციის უნარი. ციფრული და რობოტული სწავლიდან დანერგვამდე სრული პროცესის დაფარვა იშვიათია შემცვლელ ალტერნატივებს შორის.

სერვისის ხარისხი და მმართველობა

• მოდელების/პრომპტების/ინსტრუმენტების ვერსიების მართვა, შეფასების სუიტი (კორეულ და ინგლისურენოვანი ცოდნა, ინდუსტრიის მიხედვით დავალებები, ჰალუცინაციისა და უსაფრთხოების მაჩვენებლები), ცვლილებების მართვა (SLO/SLA) და ოპერაციული მონიტორინგი (დაყოვნება, წარმატების მაჩვენებელი, TCO) ერთიანი პლატფორმის პროცედურებით იმართება.

ამჟამად სამხრეთ კორეაში AI მოდელების სერვისის 300-ზე მეტი კომპანია არსებობს, თუმცა

მაღალი წარმადობის საკუთარი ფუნდამენტური მოდელის მეშვეობით ლოკალური განთავსებისა და ღრუბლოვანი სერვისების ერთდროულად შეთავაზება მხოლოდ CLEVI-ს შეუძლია.

6. ენობრივი მოდელების ინდუსტრიაში გამოყენების გზები

რადგან AI-ის დანერგვა დიდ ინვესტიციასა და საფუძვლიან ვალიდაციას მოითხოვს, აუცილებელია უშუალოდ შედარებისა და გამოცდის პროცესი, რათა დადგინდეს, ნამდვილად ეხმარება თუ არა გადაწყვეტა კომპანიას.

• CLEVI არა მხოლოდ მოდელებს ქმნის, არამედ რეალურ ინდუსტრიულ გარემოში გამოყენებისთვის შესაფერის AI გადაწყვეტილებებსაც უზრუნველყოფს.
• მაგალითად, მას სრულად აქვს აღჭურვილი საწარმოს არხები, მათ შორის Ivy Chat Platform, Clevi API Platform, ინდუსტრიების მიხედვით პერსონალიზაცია, უსაფრთხოების მოთხოვნებთან შესაბამისობა და სხვა.
• მას გააჩნია ისეთი ტექნოლოგიური შესაძლებლობები, რომელთა პოვნა როგორც ქვეყნის შიგნით, ისე მის ფარგლებს გარეთ რთულია, მათ შორის ფიზიკური AI, რობოტიკა და მულტიმოდალური მონაცემების დამუშავება.

CLEVI AI-ს არა როგორც „მიზანს“, არამედ როგორც „საშუალებას“ განიხილავს და უზრუნველყოფს რეალურ AI გადაწყვეტილებებს, რომლებიც ხელს უწყობს სამუშაოს ეფექტიანობასა და ინდუსტრიულ ინოვაციას. თავად გამოცადეთ ნამდვილი From-scratch Foundation მოდელის გამორჩეულობა.

შეკითხვები და დემოს მოთხოვნა: [email protected]

Copyright© 2025 Clevi Inc. ყველა უფლება დაცულია.