Apocalipsa după Amodei

Când Dario Amodei, șeful Anthropic, a ieșit pentru a se opune modelelor open weight(adică gratis de utilizat pe propria infrastructură), a rezultat un scandal deoarece lumea a intuit imediat că personajul caută să-și facă un soi de „pârtie” pentru propria companie. Ulterior a negat această ipoteză, spunând că e vorba de ... securitate.

Iată că acum a ieșit cu un nou eseu(„We Must Pace the Frontier”) mult mai consistent, în care susține o idee care fusese expusă și de Musk în urmă cu ceva vreme, anume o încetinire și o supraveghere atentă a modelelor de frontieră pentru „a nu scăpa de sub control”. În esență, punctele principale ale eseului său sunt următoarele:

1. Frânarea autorecursivității(Recursive Self-Improvement) - adică a practicii de creare și optimizare a generațiilor viitoare de modele prin intermediul modelelor AI din generațiile curente. Această autorecursivitate poate depăși capacitatea oamenilor de a înțelege sau de a menține controlul asupra sistemelor.   
2. Audit permanent de la terți(Embedded Auditors) - adică marile laboratoare să dea acces permanent și complet evaluatorilor independenți la modelele pe care le dezvoltă direct din faza de antrenare.   
3. Standarde comune de siguranță între democrații - aici este o declarație geopolitică, propunând un set comun de practici astfel încât nicio companie să nu fie tentată să renunțe la protecție doar pentru a câștiga avantaje comerciale.   
4. Restricții geostrategice și pe hardware - adică pledează pentru menținerea unor controale stricte pe cipuri de înaltă performanță folosite la antrenare și limitarea distilării neautorizate de modele pentru chinezi. Ca să nu mai iasă scandal, precizează că nu susține interzicerea modelelor open-source/open-weight, ci doar aplicarea unor standarde riguroase de securitate.   
5. Prevenirea riscurilor catastrofale - adică evitarea pierderii controlului sau utilizarea AI în atacuri cibernetice complexe sau crearea de arme biologice.   

OK, la prima vedere pare a fi îngrijorarea normală a unui om care lucrează în industrie și care vede amenințările care pot apărea. Însă, dincolo de îngrijorările justificate, eu văd altceva, anume o disperare. La fel a fost și-n cazul lui Musk care sesizase că a rămas în urmă și căuta un soi de armistițiu astfel încât să-și pună pe picioare modelul. Nu i-a ieșit. Dar în cazul lui Amodei? Până una-alta Anthropic este liderul absolut în ceea ce privește eficiența modelelor sale. N-o spun eu, o spun testele. Și-atunci?

Părerea mea e că omul ăsta știe ce vorbește, iar temerile sale sunt reale. Însă nu e vorba de ceea ce susține și nici pe departe nu securitatea e ceea ce-l îngrijorează. Iar dacă ar fi să pronunț un nume cu care să-mi încep expozeul acesta ar fi DeepSeek 4.1. Flash. 

DeepSeek nu e produs de o companie mare, având doar 200 de angajați. Comparați cu cei 3 500 ai lui Anthropic sau OpenAI. Cu toate acestea, încă de la apariție, DeepSeek a adus inovații absolut excepționale în domeniu. În ceea ce privește ultimul lor model, au reușit câteva optimizari năucitoare. Cum mulți dintre cei care citesc materialul de față nu sunt specialiști în AI, o să prezint elementele în termeni simpli, astfel încât să fie înțelese. 

De exemplu, în procesul de generare a textului de răspuns se folosește ceea ce se numește „cache-ul KV”* și care este o memorie pe termen scurt(similară memoriei noastre pe termen scurt).  Aceasta devine uriașă dacă valoarea de intrare(ceea ce-i ceri modelului AI, împreună cu restul de context) este mare. Ei bine, DeepSeek a reușit să minimizeze utilizarea acestei memorii la 890 octeți per token**. Unui nespecialist nu-i spune nimic, dar dacă vă voi spune că această dimensiune este de 4 ori mai mică decât la modelul flash anterior al companiei și de ... 400 de ori mai mică decât în cazul unui model LLM clasic, veți înțelege că chinezii au obținut o optimizare extremă. Nu mai puțin de patru inovații esențiale au contribuit la aceasta: Shared Sparse Attention, Cuantizare extremă la FP4, Bounded Replay, Causal Encoder-Decoder Design. Le-am enumerat doar pentru a vă da puncte de pornire în cazul în care vă interesează cu adevărat. 

Cu toate că față de prima versiune a DeepSeek, versiunea actuală 4.1 Flash are de zece ori mai mulți parametri, în faza de prefill(cea de înțelegere a ceea ce-i este trimis) modelul are o eficiență de 8.3 ori mai mare, iar în faza de generare eficiența este de 4.2 ori mai mare. 

Ce înseamnă aceasta în termeni umani? Că în timp ce competitorii americani alocă cu nemiluita bani și resurse. chinezii performează într-o fereastră extrem de economică. Acest model despre care v-am povestit a fost optimizat pentru acceleratoarele grafice chinezești, încă mai slabe decât cele americane, dar asta nu înseamnă că nu se luptă de la egal la egal la nivel mondial. În ceea ce privește generarea de cod, task-uri de agent și terminal, matematică competițională, DeepSeek este pe primul loc, lăsând în urmă modelele mult mai grele occidentale. E adevărat că la raționamentul complex pe termen lung pierde în fața Fable 5.1 și GPT6 Astra, dar e vorba de un teren pe care, momentan, niciun model Flash nu poate concura cu un model de frontieră întrucât e vorba de limitări de design. Însă asta nu știrbește cu nimic performanțele și inovația extraordinară a chinezilor.

Să introduc acum un alt model, anume GLM de la Ziphu. Când a apărut GLM 5.2, întreaga comunitate a rămas mască deoarece se bătea cu greii domeniului în condițiile în care părea a fi apărut de niciunde. Aici vine un element care se leagă de „manifestul” lui Amodei. La scurt timp după 5.2, a apărut modelul GLM 5.3, mult mai bun, dar realizat exclusiv prin „șlefuirea” versiunii anterioare. 

În generarea unui model, cel mai mare cost este cel de antrenare. Când a prezentat versiunea 5.3 a modelului său, Ziphu de fapt n-a mai trecut prin procesul de antrenare, ci a optimizat automat, cu ajutorul propriului model AI, varianta 5.2. Cu alte cuvinte, varianta 5.2 a ajutat la generarea variantei 5.3. Mai mult, Ziphu a intrat pe piață cu varianta sa flash, testând-o sub numele „Ox Alpha” pe infrastructura OpenRouter și OpenCode. În timpul testelor, neștiind despre ce model e vorba, mulți l-au considerat un model de frontieră. Doar că el era varianta mini(sau flash) a lui GLM 5.3, obținută tot prin optimizări făcute tot automat, de către propriul lor model AI. 

Și-aici e marea problemă a lui Amodei. Care nu-i doar a sa, ci a abordării energoface a domeniului, făcută de SUA. Conform „ideologiei” americane, dacă nu merge cu ciocanul, dai cu barosul. Așa s-a ajuns ca, în domeniul inteligenței artificiale, SUA să devină o putere energofagă, consumând resurse absurd de mari. Și-aici vine problema extremă.

Până acum, exuberanța irațională a marilor granguri din domeniul inteligenței artificiale a fost susținută de piață și de banii ieftini. Ca să nu mai vorbim de credința conform căreia apariția AGI ar crea avantaje extraordinare țării care va reuși asta. A fost un soi de vrajă, de magie, care le-a prins creierii tuturor. Dar, probabil, vă întrebați de ce n-ar mai continua asta?

O să vă explic exact, iar dușmanii nu sunt chinezii. Sau nu doar chinezii. Inclusiv în lumea AI-ului american există numeroși revoltați. Trei dintre aceștia, Diogo Almeida, Erik Gafni și Sasha Sheng și-au făcut propriul laborator, lansând zilele trecute un model ultra-ieftin și extrem de util(nu insist pentru că e ceva mai mult de discutat pe marginea sa). E doar un exemplu din multe altele. Ideea, de fapt, e alta.

Părerea mea e că ceea ce vrea să evite Amodei, inclusiv prin controlul strict „de securitate” al modelelor, este dezvoltarea modelelor ultra-inteligente mici, care pot rula pe hardware-ul propriu al clientului. Deja piața americană este devastată de invazia modelelor chinezești open weight. O analiză de dată recentă arată că peste 70% dintre startup-urile americane utilizează modele chinezești. De ce? Pentru că sunt ieftine și pot fi rulate pe propria infrastructură. 

Ceea ce face DeepSeek, Ziphu și restul companiilor chinezești, alături de revoltații din mediul american este o tentativă de rupere a eficienței, de dezvoltare a unor modele mici și ultra-inteligente, capabile să fie rulate pe hardware ieftin. Asta înseamnă că-ți rulezi propriul model la tine acasă și nu mai transmiți datele tale către un server controlat de ei. Ceea ce e o catastrofă pentru modelul pus la punct de aceste companii. 

În ceea ce privește controlul exporturilor spre China, după cum limpede puteți observa, NU FUNCȚIONEAZĂ. Sau, mai bine spus, funcționează în favoarea Chinei care e obligată să-și dezvolte propriul ecosistem. De la dependența tehnologică de Vest, China devine pe zi ce trece suverană la procese complexe cum sunt cele de litografiere.

Și-abia acum atingem esența. Unde merge China cu aceste modele lansate la liber? Ipoteza că SUA ar putea rămâne cu sute de miliarde de dolari blocate în centre de date supradimensionate – în timp ce China democratizează AI-ul prin modele ultra-eficiente – este un scenariu dezbătut intens în Silicon Valley. De ce? Pentru că, în esență, China caută să ajungă la ceva extraordinar: antrenezi un model ultra-inteligent, pe care apoi îl scrii pe un chip cât o monedă pe care-l vinzi cu 20-30$. Ce rezultă de-aici? O trecere brutală de un model centralizat(cea a centrelor de date masive de azi) la cea de calcul distribuit, în care îți trebuie doar de un chip pentru a rula pe propriul computer sarcinile de care ai nevoie. Și-aici nu mai e nevoie decât de un singur pas. Care, de fapt, ași  fost făcut de canadienii de la Taalas(cumpărați între timp de AMD).

Posibilitatea de a scrie un model AI inteligent pe un chip e cumva limitată tehnologic de arhitectura modelului și de dimensiunea sa. De-aceea cursa către modelui AI ultra-optimizat, ultra-mic și ieftin este cea care, în realitate, devastează modelul de afaceri al giganților tehnologici. Dacă apare așa ceva, toate subscripțiile - care oricum nu acoperă costurile de funcționare ale giganților AI - zboară! Și întregul lor model de business se prăbușește. 

De fapt aici ne duce întreaga discuție. Cei din tagma lui Amodei vor să împiedice o astfel de dezvoltare deoarece simt că le fuge pământul de sub picioare, iar torentul de trilioanele de dolari investite în industrie nu doar că se va stopa, dar riscă să prăbușească și consecințele peste toți cei implicați. Și-aici e sursa mâniei! Sau Apocalipsa după Amodei.

________

*cache KV = în esență e un tabel având o cheie formată din token** și valoarea formată din informația pe care o poartă tokenul. 

**token = unitatea de bază în AI-ul actual, reprezentând un cuvânt al cerinței sau un fragment dintr-un cuvânt; de exemplu când trimiți către un model ceva care conține formularea „de dimineață”, în funcție de model tokenii generați pot fi:

• în cazul modelelor noi avem 3 tokeni: „de” - primul, „dimin” - al doilea, „eață” - al treilea
• în cazul modelelor mai vechi avem 4 tokeni: dim + in + ea + ta

Ca regulă, în limba română un cuvânt scurt conține un token, iar unul mediu-lung cam 3-4 tokeni.