Zbuduj model językowy. Od tokenizera do API.

Akademia jest to inicjatywa zbudowana na fundamentach otwartości do wiedzy. W pierwszych dniach gdy usłyszałem o inicjatywie i dowiedziałem się że jest możliwość, że ktoś zaprasza losowo ludzi aby pokazali co potrafią, stwierdziłem że muszę zobaczyć czy to PRAWDA. Okazało się że jest lepiej niż przypuszczałem. Otwartość na wiedzę, pomoc oraz "otwarte myślenie" sprawiło że zostałem tutaj na dłużej. Przed akademią już dostałem wsparcie merytoryczne w ramach swoich "prac", więc miałem małe intro co będzie na samej akademii..

Okazało się jednak, że szkolenie miało zupełnie inny format niż przypuszczałem: Zajęcia rozpoczynamy od podstaw, czyli od tego jak podchodzi do procesów badawczych. Cały kurs przygotowuje mentalnie, do tego, jak powinny być prowadzone badania naukowe. Wysoko zaskakujące jest jak ten aspekt, potrafi znacząco wpłynąć na umiejętności percepcyjne.

Tematyka pierwszych zajęć jednak dotyczyła "mistycznego" Tokenizera. Dostaliśmy zarys, informację gdzie patrzeć, jak badać i że końcowo, po tygodniu, mamy dostarczyć nasze własne tokenizery. Okazało się że mix wszystkich powyższych rzeczy już na tym etapie, w pewnym sensie nauczył nas podejścia naukowego. Umiejętne wyszukiwania informacji i wykorzystywanie narzędzi + teoria. Końcowo skończyło się na wspólnym repo z dużą ilością tokenizerów w przedziale vocabsize 600-255k (idealne pole do eksperymentów!)

Następne tygodnie mijały nam podobnie jak pierwszy tydzień, lecz tematyka się zmieniała. Przechodziliśmy przez sposób podejścia, aż do zamknięcia danego tematu artefaktem. Stworzyliśmy własne datasety, dodaliśmy zbiory do naszego Dynaword, piszemy papier naukowy o tym.

Mam na koncie już kilka modeli GoLLeM które robią mniejsze lub większe wrażenie. Kilka z nich nawet zajęły (wyższe)miejsca w tabelach dla małych modeli do 150m. Ostatni GoLLeM v5 125m zajął 4 miejsce w klasyfikacji Glint-Leaderboard na skali OverALL. Jestem właśnie w trakcie budowy interaktywnego chata dla mojego GoLLeMa v6 na track.fabryce(nasza strona/api(?) gdzie każdy może stworzyć sobie mały model LLM). Następnie przechodzę branding z GoLLeM na Slayer z rodziną modeli i widzimy się na pierwszym miejscu w https://huggingface.co/spaces/Glint-Research/Tiny-ML-Leaderboard ↗