AI scena u regionu poslednjih godina uglavnom se svodila na korišćenje globalnih modela i razvoj proizvoda iznad tuđe infrastrukture. Međutim, projekti poput ModernBERTić-a pokazuju da Balkan ipak može da bude mnogo više od tržišta za implementaciju stranih AI alata. Iza ovog open-source modela za južnoslovenske jezike stoji Mitar Perović, osnivač startapa Recrewty, koji veruje da region još uvek ima priliku da izgradi sopstveni AI sloj – od podataka i benchmark-a do specijalizovanih modela za lokalne jezike i kontekst.

U razgovoru za Netokraciju, Mitar govori o tome zašto je razvoj enkoder modela za BCMS jezike strateški važniji nego što trenutno deluje, kako izgleda trenirati model na 60 milijardi tokena praktično kao “AI-augmentovani tim od jednog čoveka”, ali i zašto region rizikuje da zauvek ostane samo korisnik stranih AI sistema ukoliko ne počne ozbiljnije da ulaže u sopstvenu ML infrastrukturu, otvorene dataset-ove i istraživanje.

Pričali smo i o tome koliko su domaćoj AI zajednici danas potrebni transparentnost i deljenje znanja i zašto BalkanBench pokušava da postane neutralni standard za evaluaciju modela na srpskom i srodnim jezicima. Mitar nam je detaljnije objasnio zašto smatra da najveća prilika regiona možda nije u pravljenju “našeg ChatGPT-ja”, već u izgradnji specijalizovanih AI sistema zasnovanih na jedinstvenim lokalnim podacima koje globalni modeli nemaju.

Kako je nastala ideja za ModernBERTić i koliko je bilo teško okupiti tim i resurse za jedan ovako ambiciozan projekat?

Mitar: Krenuli smo od enkoder modela kao apsolutnog prioriteta, što je strateška odluka koja ide protiv trenda. Dok je AI industrija usmerena na generativne modele i chatbotove, mi smo videli da enkoderi imaju neposrednu produkcionu primenu, da su jeftini za korišćenje i da su upravo taj sloj koji najviše nedostaje za naše jezike. Validacija te odluke došla je brzo: na bazi ModernBERTić-a u Recrewty-u smo već izgradili tri specijalizovana modela koji napajaju funkcionalnosti naše HR platforme, funkcionalnosti koje pre ovog modela nisu bile izvodljive.

Što se tima tiče, za pretraining baznog modela, prikupljanje korpusa od 60 milijardi tokena, dizajn pipeline-a, distribuirani trening na 64 A100 GPU-a i evaluaciju, tim sam bio ja sam, naravno uz Claude-a kao neizostavnog kolegu. Mislim da je već dokaz i preview budućnosti koje smo svesni, da AI augmentovani timovi mogu sada da ‘napadaju’ dosta ambicioznije softverske projekte.

Drugi krak projekta, BalkanBench i adaptacija evaluacionih podataka, imao je drugačiju vrstu tima. Tu je uz koleginicu i mene, radilo pet ljudi, uključujući anotare i saradnike iz regiona, jer kvalitetan benchmark ne može da se napravi samostalno, traži pažljivu ljudsku superviziju i lingvističku ekspertizu.

**ModernBERTić je trenutno predstavljen kao najbolji encoder model za južnoslovenske jezike. Zašto vam je bilo važno da model bude otvoren za zajednicu i komercijalnu upotrebu?**

Mitar: Za nas je to bio i strateški i kulturološki potez. Strateški, jer otvoreni razvoj je danas dokazani način da se gradi ozbiljan AI brend. SAD i Kina su jasno pokazale da kompanije koje grade u javnosti, objavljuju benchmark-e, modele i tehničke izveštaje, dobijaju nešto što se novcem ne kupuje, a to je tehnički kredibilitet, poverenje i podsticaj na dalju saradnju.

Mi smo svesno krenuli istim putem: prvo smo objavili evaluacioni benchmark, zatim smo trening vodili javno, i na kraju smo bazni model pustili pod permisivnom licencom. To je redosled koji nije slučajan, jer kredibilitet se gradi otvaranjem prema kritici, ne marketinškim saopštenjima. Posebno nam je važno da takva praksa postane standard u regionu, gde transparentnost u tehnologiji još uvek nije norma.

S druge strane, otvoreni bazni model ne ugrožava poslovni model, već ga omogućava. Naša komercijalna ponuda nije ModernBERTić sam po sebi, nego specijalizovani modeli izgrađeni nad njim, prilagođeni konkretnim domenima poput HR-a, semantičke pretrage i ekstrakcije iz dokumenata.

U planu su i specijalizovani dekoder modeli koji će dopuniti enkoder ponudu. Pored toga, uvodimo i servisnu liniju, namenjenu kompanijama i državnim institucijama koje žele sopstvene varijante ModernBERTić-a, specijalizovane za njihove podatke i procese, sa kompletnim puštanjem u produkciju. To je deo ponude koji konkretno koristi otvorenu bazu, jer klijenti imaju puno poverenje da znaju šta dobijaju, kako je trenirano i pod kojim uslovima.

Koliko domaćoj AI zajednici danas nedostaje transparentnosti i deljenja znanja, posebno kada govorimo o treniranju modela i radu sa datasetovima?

Mitar: Nedostaje suštinski, i to je trenutak u kojem svi mi moramo da napravimo odluku u kom pravcu region ide. Postoji važna razlika koja se kod nas često meša. Jedno je AI inženjering, što znači koristiti gotove API-je foundation modela (OpenAI GPT, Anthropic Claude itd.) i graditi proizvode iznad njih.

Drugo je pravi machine learning rad, što znači agregirati i čistiti skupove podataka, donositi odluke o arhitekturi, training/finetuning modela, raditi sopstvenu evaluaciju i razumeti šta se zaista dešava unutar modela. Ova druga vrsta rada zahteva potpuno drugačiji nivo dubine, znanja i transparentnosti.

Trenutno region pretežno radi prvu stvar. To samo po sebi nije problem, jer i kvalitetan AI inženjering pravi vrednost. Problem nastaje kada se to predstavlja kao istraživanje i kada cela scena propusti priliku da razvije sopstveni ML kapacitet. Ako ostanemo isključivo na nivou pozivanja stranih API-ja, kaskaćemo trajno. Svaka inovacija će dolaziti spolja, mi ćemo biti samo distributeri.

Zato su priče oko pravog ML rada toliko važne. Treba nam više objavljenih korpusa, javnih training logova, technical reportova, post-mortema o tome šta nije radilo, naučnih radova na konferencijama. Sve ono što omogućava sledećoj generaciji istraživača da krene odakle smo mi stali, umesto od nule.

Šta su najveći problemi kada pokušavate da objektivno merite performanse AI modela za srpski i srodne jezike?

Mitar: To je upravo problem koji rešavamo BalkanBench-om. Trenutno smo u situaciji da svako tvrdi da njegov model dobro radi na našim jezicima, a niko nema neutralno mesto gde se to može proveriti. Bez toga AI scena ostaje u svetu utisaka i marketinških tvrdnji, a ne stvarnih performansi.

BalkanBench je zamišljen kao otvoreni javni leaderboard na kojem se objektivno meri kako se svi modeli, regionalni i globalni, ponašaju na srpskom, hrvatskom, bosanskom i crnogorskom. U prvoj fazi smo se fokusirali na enkoder modele, gde je već napravljeno sistematsko poređenje. Sledeća faza, koja je u pripremi, donosi evaluacione korpuse za generativne modele i rangiranje najpopularnijih LLM-ova, od GPT-a i Claude-a do Gemini-ja i lokalnih varijanti.

Metodološki, najveći izazov je što mašinski prevod engleskih benchmark-a ne valja sam za sebe, jer prenosi i kulturne pretpostavke i sintaksičke artefakte engleskog. Pokušaj da se sve napravi ručno je drugi ekstrem, jer je preskupo i presporo za jezike sa našom veličinom tržišta.

Naš pristup, dokumentovan u radu na LoResLM workshop-u EACL konferencije, koristi najbolje dostupne foundation LLM-ove za prvi sloj prevođenja, a zatim ljudsku superviziju anotara za korekciju, kulturnu adaptaciju i osiguranje kvaliteta, uz još jedan korak automatske postkorekcije. Ta kombinacija nam daje skalabilnost mašinskog rada i preciznost ljudskog rada.

Drugi problem je kulturna specifičnost. Mnogi zadaci u jezičkim benchmark-ima testiraju opšte znanje, ko je premijer, kako se zove glavni grad, koje su lokalne reference. Globalni modeli ovde haluciniraju ili daju engleski-centrične odgovore, a benchmark mora to da meri. Treći problem je infrastruktura održavanja. Engleski benchmark-i imaju iza sebe Stanford, Allen AI i Google DeepMind.

BalkanBench mora da postoji kao otvorena regionalna inicijativa, jer nijedna pojedinačna kompanija ne može i ne treba da ga gradi sama. Zato je BalkanBench objavljen pod permisivnom licencom sa pozivom i akademiji i industriji da doprinose dodatnim evaluacionim setovima...

Netokracija

Message History

Delivery option(s)