From-scratch Foundation Model CLEVI AI(ivy)

«Πώς κατάφερε μια μικρή εταιρεία να δημιουργήσει ένα γλωσσικό μοντέλο υπερμεγάλης κλίμακας παγκόσμιου επιπέδου;»

Πώς δημιούργησε μια μικρή startup ένα γλωσσικό μοντέλο υπερμεγάλης κλίμακας;

Αυτή είναι η ερώτηση που έχει λάβει συχνότερα η CLEVI από τότε που παρουσίασε το Foundation μοντέλο της κλίμακας των 1,4 τρισεκατομμυρίων παραμέτρων.

Σε αντίθεση με πολλές εταιρείες που απλώς κάνουν fine-tuning μοντέλων ανοιχτού κώδικα, η CLEVI εκτέλεσε ανεξάρτητα ολόκληρη τη διαδικασία, από τη συλλογή δεδομένων και τον σχεδιασμό του μοντέλου έως τη μεγάλης κλίμακας κατανεμημένη εκπαίδευση και την επαλήθευση ποιότητας.

Παρακάτω παρουσιάζουμε λεπτομερώς το μυστικό και την ανταγωνιστικότητά της.

1. Μπορεί μια μικρή εταιρεία να δημιουργήσει ένα γλωσσικό μοντέλο υπερμεγάλης κλίμακας;

Τον Ιούλιο του 2025, όταν η CLEVI παρουσίασε στην αγορά το γλωσσικό μοντέλο υπερμεγάλης κλίμακας που ανέπτυξε η ίδια, αμέτρητοι πελάτες (χρήστες) αντέδρασαν με έκπληξη και δυσπιστία. «Είναι πράγματι δική σας ανάπτυξη;» «Μήπως απλώς τροποποιήσατε λίγο ένα μοντέλο ανοιχτού κώδικα;»

Στην πράξη, πολλές εταιρείες στην Κορέα και στο εξωτερικό απλώς εφαρμόζουν μεταφορά μάθησης (fine-tuning) σε μοντέλα ανοιχτού κώδικα και τα προωθούν ως δικά τους μοντέλα.

Ωστόσο, η CLEVI παρουσίασε το **‘From-scratch Foundation Model’**.

Με άλλα λόγια, σχεδίασε και υλοποίησε η ίδια ολόκληρη τη διαδικασία, από τη συλλογή δεδομένων και τον σχεδιασμό του μοντέλου έως τη μεγάλης κλίμακας κατανεμημένη εκπαίδευση και την επαλήθευση ποιότητας.

2. Γιατί είναι δύσκολη η ανάπτυξη γλωσσικών μοντέλων υπερμεγάλης κλίμακας

Για την εκπαίδευση ενός From-Scratch Foundation Model, πρέπει να εκπαιδευτούν όλα τα παρακάτω στοιχεία.

Απαιτείται ένα μεγάλης κλίμακας σύνολο δεδομένων υψηλής ποιότητας

• Ποικιλομορφία: εξασφάλιση ποικιλομορφίας στη γλώσσα, τον τομέα και τη μορφή (κείμενο, εικόνες κ.λπ.)
• Επεξεργασία: αφαίρεση θορύβου, έλεγχος ποιότητας, φιλτράρισμα διπλότυπων/επιβλαβών δεδομένων
• Άδειες: σαφής καθορισμός των πνευματικών δικαιωμάτων και των δικαιωμάτων χρήσης δεδομένων

Υποδομή υπολογιστικής μεγάλης κλίμακας

• Συστοιχίες GPU/TPU υψηλών επιδόσεων: τεχνολογία που ενοποιεί εξοπλισμό χιλιάδων έως δεκάδων χιλιάδων κόμβων για την υποστήριξη μεγάλης κλίμακας κατανεμημένης εκπαίδευσης
• Αποτελεσματικά πλαίσια κατανεμημένης εκπαίδευσης: DeepSpeed, Megatron-LM, Ray κ.ά.
• Αποθήκευση/δίκτυο: είσοδος και έξοδος μεγάλου όγκου δεδομένων, περιβάλλον δικτύου υψηλής ταχύτητας

Σχεδιασμός αρχιτεκτονικής μοντέλου

• Αντικατοπτρισμός των πιο πρόσφατων αρχιτεκτονικών: Transformer, MoE (Mixture of Experts), πολυτροπικά μοντέλα κ.λπ.
• Επεκτασιμότητα: συνεκτίμηση της επεκτασιμότητας ως προς τον αριθμό παραμέτρων, τον αριθμό επιπέδων, το μήκος εισόδου κ.λπ.
• Αποδοτικότητα: βελτιστοποίηση της ταχύτητας εκπαίδευσης/συμπερασμού και της χρήσης μνήμης

Στρατηγικές και αλγόριθμοι εκπαίδευσης

• Στόχοι προεκπαίδευσης: γλωσσικά μοντέλα (π.χ. next token prediction), πολυτροπικά μοντέλα (π.χ. contrastive learning) κ.λπ.
• Τεχνικές βελτιστοποίησης: mixed precision, gradient accumulation, learning rate schedule κ.λπ.
• Κανονικοποίηση/σταθεροποίηση: dropout, layer norm, weight decay κ.λπ.

Σύστημα αξιολόγησης και επικύρωσης

• Σύνολα αξιολόγησης: αξιοποίηση τυπικών συνόλων δεδομένων (Benchmarks)
• Εσωτερική αξιολόγηση: αξιολόγηση βάσει πραγματικών σεναρίων χρήσης
• Συνεχής παρακολούθηση: έλεγχος της ποιότητας, της μεροληψίας και της ασφάλειας κατά τη διάρκεια και μετά την εκπαίδευση

Ανθρώπινο δυναμικό και οργανωτικές ικανότητες

• Ερευνητές AI/ML: σχεδιασμός μοντέλων, ανάπτυξη αλγορίθμων
• Μηχανικοί δεδομένων: συλλογή/καθαρισμός/διαχείριση δεδομένων
• Μηχανικοί υποδομών: κατανεμημένα συστήματα, διαχείριση cloud/on-premises
• Project manager: διαχείριση χρονοδιαγράμματος, προϋπολογισμού και ποιότητας

Ζητήματα δεοντολογίας, νομικής συμμόρφωσης και ασφάλειας

• Δεοντολογία AI: μεροληψία, ασφάλεια, διαφάνεια, λογοδοσία
• Νομική συμμόρφωση: προσωπικά δεδομένα, πνευματικά δικαιώματα, κυριαρχία δεδομένων
• Ασφάλεια: αποτροπή διαρροής δεδομένων/μοντέλων, έλεγχος πρόσβασης

Σήμερα, το ερευνητικό δυναμικό AI παγκοσμίως ανέρχεται σε περίπου 2.000 άτομα, τα περισσότερα από τα οποία συγκεντρώνονται σε μεγάλες τεχνολογικές εταιρείες όπως οι META, Google και XAI. Στη Νότια Κορέα, είναι εξαιρετικά σπάνιες οι ομάδες που μπορούν να σχεδιάσουν άμεσα τα πάντα, από τη συλλογή δεδομένων έως την υποδομή μεγάλης κλίμακας για εκπαίδευση, και να δημιουργήσουν ένα Foundation model.

3. Δημιουργία ενός υπερμεγέθους γλωσσικού μοντέλου με μικρό ανθρώπινο δυναμικό.

Βασιζόμενος σε περισσότερα από 10 χρόνια εμπειρίας στην έρευνα βαθιάς μάθησης και μηχανικής μάθησης, ο Διευθύνων Σύμβουλος Lee Hwan-ho ίδρυσε την εταιρεία (Clevi) πριν από 3 χρόνια με στόχο «να δημιουργήσει την κορυφαία AI στον κόσμο».

Σχεδιάζοντας ο ίδιος όλες τις διαδικασίες, συμπεριλαμβανομένης της δημιουργίας της εσωτερικής γραμμής δεδομένων της εταιρείας, του σχεδιασμού μεγάλης κλίμακας κατανεμημένης υποδομής βαθιάς μάθησης, της ανάπτυξης αρχιτεκτονικής μοντέλων και της επικύρωσης ποιότητας, απέκτησε τις ικανότητες που απαιτούνται για την ανάπτυξη ενός Foundation Model.

Ως αποτέλεσμα της εκπαίδευσης μοντέλων σε πολλές επαναλήψεις, διαθέτει πλέον το μοντέλο Clevi-5-x, το οποίο μπορεί να συγκριθεί με τα κορυφαία μοντέλα παγκοσμίως.

Για την αποτελεσματική εκπαίδευση ενός υπερμεγέθους γλωσσικού μοντέλου, απαιτείται υποδομή που συνδέει από εκατοντάδες έως και χιλιάδες GPU σε ένα σύμπλεγμα, ώστε να μπορεί να επεξεργάζεται ταυτόχρονα υπολογισμούς της τάξης των δεκάδων τετράκις εκατομμυρίων ανά δευτερόλεπτο. Σε αυτή τη διαδικασία, η τεχνολογία που ελαχιστοποιεί τον συγχρονισμό των υπολογισμών και την καθυστέρηση επικοινωνίας σε μεγάλης κλίμακας κατανεμημένα περιβάλλοντα είναι καίριας σημασίας. Μέχρι σήμερα, στη Νότια Κορέα, οι περισσότερες επιχειρήσεις δεν μπορούσαν να εκπαιδεύσουν σωστά τα μοντέλα τους, επειδή δεν υπήρχαν «αλγόριθμοι ακριβούς ελέγχου». Ο Διευθύνων Σύμβουλος της Clevi, Lee Hwan-ho, ανέπτυξε εσωτερικά έναν τέτοιο独ιόκτητο αλγόριθμο ελέγχου κατανεμημένων υπολογισμών, επιτυγχάνοντας για πρώτη φορά στη Νότια Κορέα την εκπαίδευση ενός υπερμεγέθους γλωσσικού μοντέλου κλίμακας 1,4 τρισεκατομμυρίων (1.4 Trillion) παραμέτρων.

4. Ο λόγος για τον οποίο ήταν δυνατή η ανάπτυξη διαφόρων μοντέλων με μικρό αριθμό προγραμματιστών

Οι περισσότερες εταιρείες Big Tech διαθέτουν επίσης τεχνολογίες ελέγχου υποδομών μεγάλης κλίμακας και καθαρισμού δεδομένων.

Για τη διαχείρισή τους απαιτούνται εκατοντάδες έως χιλιάδες ερευνητές.

Ωστόσο, η Clevi αναπτύσσει και διαθέτει διάφορα μοντέλα με μικρό αριθμό ερευνητών.

Πώς ήταν αυτό δυνατό;

Η Clevi αναπτύσσει και διαθέτει διάφορα μοντέλα με μικρό αριθμό ανθρώπινου δυναμικού, μέσω της τεχνολογίας Teacher-Student Model (Knowledge Distilation).

Ας εξετάσουμε, λοιπόν, την τεχνολογία Teacher-Student.

Teacher-Student (απόσταξη γνώσης)

Η τεχνολογία Teacher-Student είναι, με απλά λόγια, μια τεχνολογία που αξιολογεί και παρέχει ανατροφοδότηση στο παιδί-μοντέλο (Student Model) μέσω ενός υπερμεγέθους γλωσσικού μοντέλου (Teacher Model), επιτρέποντας την ταχεία ανάπτυξη διαφόρων μοντέλων με μικρό αριθμό ανθρώπινου δυναμικού, αντικαθιστώντας εκατοντάδες ερευνητές.

• Το Mother Model (υπερμεγέθες μοντέλο) αξιολογεί και παρέχει ανατροφοδότηση σε μοντέλα από διάφορους τομείς, αντικαθιστώντας εκατοντάδες ερευνητές.
• Εάν η εκπαίδευση πραγματοποιηθεί με αυτόν τον τρόπο μέσω του Clevi-x-platform, μπορούν να εκπαιδευτούν και να αναπτυχθούν μοντέλα υψηλών επιδόσεων, όπως Reasoning, VLM, Physical AI και Coding Agent, μέσα σε 10–15 ημέρες.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Vision Language Model

Πράκτορας ασφάλειας

5. Διαφοροποίηση της τεχνολογίας και της ποιότητας του Clevi-x-platform

Απόδοση και επεκτασιμότητα μοντέλων

• Υπεροχή στη συλλογιστική (CoT/Reasoning): Το cip-5-x έχει ενσωματώσει στη σχεδιαστική του φιλοσοφία τη σταδιακή ανάπτυξη λογικών επιχειρημάτων και την τεκμηρίωση, επιδεικνύοντας υψηλής αξιοπιστίας υπολογιστικές και ερμηνευτικές ικανότητες στην επίλυση επιστημονικών, μαθηματικών και μηχανικών προβλημάτων. Με βάση εσωτερικά benchmarks, σχεδιάζεται και λειτουργεί με στόχο επιδόσεις επιπέδου GPT-5 ή ανώτερες, ενώ η αναπαραγωγιμότητα και η επαληθευσιμότητα υπό τις ίδιες συνθήκες prompt διαχειρίζονται ως βασικοί δείκτες ποιότητας.

• Πλήρες φάσμα πολυτροπικότητας: Η παραγωγή και ο συνδυασμός σε μία πλατφόρμα ενός VLM προσανατολισμένου στον στόχο (cip-5-vision), ενός μοντέλου επεξεργασίας μεγάλου όγκου πολυτροπικών δεδομένων (ivy-4-mm) και ενός ελαφριού μοντέλου on-device (ivy-3-text) επιτρέπουν τον βέλτιστο συνδυασμό ανάλογα με τα χαρακτηριστικά της εργασίας (αναζήτηση/ταξινόμηση/σύνοψη έναντι συλλογιστικής/επεξήγησης/εκτέλεσης).

Καταλληλότητα για επιχειρησιακή εφαρμογή

• Ασφάλεια και διαθεσιμότητα on-premises: Λειτουργία σε ολόκληρο το κλειστό δίκτυο (εισαγωγή-εκπαίδευση-υπηρεσία-αντίγραφα ασφαλείας), σχεδιασμός HA, αρθρωτή επεκτασιμότητα και διαχωρισμένη προστασία δεδομένων και παραμέτρων μοντέλων μέσω του SVCE (απομονωμένο ασφαλές περιβάλλον εκτέλεσης).
• Γρήγορη υιοθέτηση και επέκταση: Το Ivy Chat (πολυτροπικός διάλογος/πράκτορας για επιχειρησιακές εργασίες) και το API Platform (παγκόσμιο πρότυπο SaaS) υποστηρίζουν την ταχεία εφαρμογή και λειτουργία.

Διαφοροποίηση στη Φυσική AI (Physical AI)

• Ο συνδυασμός προσομοίωσης βασισμένης στο NVIDIA Isaac και ενισχυτικής μάθησης βασισμένης στην εξέλιξη (Evolutionary RL), μαζί με τη μεταφορά Sim2Real και την παράλληλη εκπαίδευση σε συνθετικά δεδομένα, βελτίωσε την αποδοτικότητα εκπαίδευσης και την προσαρμοστικότητα στο πεδίο. Υπάρχουν ελάχιστες εναλλακτικές που καλύπτουν ολόκληρη τη διαδικασία από την ψηφιακή μάθηση και τη ρομποτική έως την ανάπτυξη.

Ποιότητα υπηρεσιών και διακυβέρνηση

• Η διαχείριση εκδόσεων μοντέλων/prompt/εργαλείων, της σουίτας αξιολόγησης (γνώσεις στα κορεατικά και τα αγγλικά, εργασίες ανά κλάδο, δείκτες παραισθήσεων και ασφάλειας), της διαχείρισης αλλαγών (SLO/SLA) και της επιχειρησιακής παρακολούθησης (καθυστέρηση, ποσοστό επιτυχίας, TCO) πραγματοποιείται μέσω ενιαίων διαδικασιών πλατφόρμας.

Σήμερα, στη Νότια Κορέα υπάρχουν περισσότερες από περίπου 300 εταιρείες υπηρεσιών μοντέλων AI, αλλά

η CLEVI είναι η μοναδική εταιρεία που μπορεί να προσφέρει ταυτόχρονα on-premises και cloud υπηρεσίες μέσω ενός υψηλών επιδόσεων, ιδιόκτητου foundation model.

6. Τρόποι αξιοποίησης γλωσσικών μοντέλων στη βιομηχανία

Καθώς η υιοθέτηση AI απαιτεί σημαντικές επενδύσεις και σχολαστική验证, είναι απαραίτητη η άμεση σύγκριση και δοκιμή για να διαπιστωθεί αν μια λύση προσφέρει πραγματική αξία στην επιχείρηση.

• Η CLEVI δεν περιορίζεται στην ανάπτυξη μοντέλων, αλλά παρέχει πραγματικές λύσεις AI που μπορούν να εφαρμοστούν σε βιομηχανικά περιβάλλοντα.
• Για παράδειγμα, διαθέτει ολοκληρωμένα κανάλια για επιχειρήσεις, όπως το Ivy Chat Platform, το Clevi API Platform, η προσαρμογή ανά κλάδο και η συμμόρφωση με απαιτήσεις ασφάλειας.
• Διαθέτει τεχνικές δυνατότητες που δύσκολα συναντώνται στην Ελλάδα και διεθνώς, όπως η φυσική AI, η ρομποτική και η επεξεργασία πολυτροπικών δεδομένων.

Η CLEVI παρέχει ουσιαστικές λύσεις AI, χρησιμοποιώντας την AI ως «μέσο» και όχι ως «σκοπό», συμβάλλοντας στην πραγματική αποδοτικότητα της εργασίας και στη βιομηχανική καινοτομία.Ζήστε από πρώτο χέρι τη διαφοροποίηση των πραγματικών From-scratch Foundation μοντέλων.

Επικοινωνία και αιτήματα για επίδειξη: [email protected]

Copyright© 2025 Clevi Inc. Με την επιφύλαξη παντός δικαιώματος.