AI Explained apie Amodei, Altman ir Anthropic darbuotojų apklausą

Apžvalgoje aptariama Anthropic darbuotojų apklausa: 91 % jų mano, kad iki 2030 m. AI galės padaryti Nobelio lygio atradimą, tačiau tie patys žmonės prognozuoja, kad modelis atliks tik apie 75 % jų pačių darbo. Autorius kritiškai nagrinėja Dario Amodei atsakymą Nathanui Calvinui ir įvardija penkias, jo manymu, racionalizacijas — nuo „lenktynių į viršų“ iki pozicijos dėl Kinijos čipų ribojimo. Taip pat kalbama apie Sam Altman požiūrį, kad viltis dedama į modelių suderinamumą, ir apie Gemini 4 Carbon sugrįžimą į frontier lygį.
Pilna santrauka
Įžanga ir bendras tonas0:00
Autorius pradeda nuo pastebėjimo, kad nors pastarąją savaitę atrodė, jog pusė interneto buvo nulaužta, pagal dirbtinio intelekto standartus tai buvo gana rami savaitė. Vis dėlto įvyko nemažai dalykų, kurie būtų verti antraščių: Anthropic darbuotojų prognozės apie savo pačių darbo automatizavimą, prieštaringi Dario Amodei signalai, Sam Altman pripažinimas, kad OpenAI pagrindinis planas remiasi viltimi, jog modeliai patys norės išlaikyti žmones valdžioje, ir Google sugrįžimas į frontier lygį, dėl kurio vienas komentatorius turėjo atsiprašyti.
Autorius teigia, kad džiaugiasi, jog laboratorijų vadovai toliau kviečia kritiką ir diskusiją, ir primena, kad žmonės niekada anksčiau nebuvo praradę geriausių visapusiškų modelių atpažinėjų statuso planetoje — tokio pirmavimo praradimas neišvengiamai daug ką trikdo.
Anthropic darbuotojų apklausa1:02
Apklausa rodo, kad 91 % Anthropic darbuotojų mano, jog iki 2030 m. AI galės padaryti Nobelio premijos vertą atradimą; tarp JAV suaugusiųjų taip mano tik mažuma. Pats autorius mano, kad modelis tokių atradimų, pavyzdžiui, ekonomikos srityje, galėtų padaryti jau dabar, o kadangi kompiuterių mokslas Nobelio komitetui dabar, atrodo, prilyginamas fizikai, vėliausiai iki 2028 m.
Įdomus kontrastas: tie patys darbuotojai mano, kad modelis galės atlikti tik apie 75 % jų pačių darbo — laimės Nobelio premiją, bet mano darbo nepadarys. Leo Gao iš OpenAI išsakė kitokį požiūrį: laboratorijų darbuotojai turi galios tik tol, kol yra naudingi, ir tai truks neilgai, todėl šį laiką reikia naudoti išmintingai.
Kita apklausos nesklandybė: didžioji dauguma Anthropic darbuotojų vis dar tiki, kad iki 2030 m. pabaigos žmogus vis dar turės kažkokį vaidmenį treniruojant frontier modelį. Vidutiniškai jie mano, kad 95 % darbo atliks pats AI, tačiau nuo 10-ojo iki 90-ojo procentilio vis tiek lieka dalelė žmogaus darbo. Tai šiek tiek prieštarauja Anthropic bendraįkūrėjo Jack Clark pozicijai, kad visiškas rekursyvus savęs tobulinimas bus įmanomas 2027 m. (anksčiau jis sakė 2028 m.). Autorius svarsto, ar čia skirtumas tarp „įmanoma“ ir „faktiškai daroma AI“, t. y.
ar žmonės savanoriškai paliks sau mažą vaidmenį, bet labiau linksta prie minties, kad darbuotojai tiesiog netiki, jog modelis bus visiškai pajėgus iki 2030 m. — kitaip jie nesakytų, kad 25 % jų darbo AI tiesiog negalės atlikti.
Penkios Amodei racionalizacijos4:08
Autorius džiaugiasi, kad Dario Amodei išsamiai atsakė į Encode AI strategijos vadovo Nathan Calvin kritiką, ir cituoja patį Amodei: visuomenei naudinga, kad būtų žmonių, kurių darbas yra tikrinti frontier AI įmonių veiksmus, ir kad juos reikėtų aštriai kritikuoti kone kasdien. Autorius mano, kad Amodei išvengė tokio atidaus tyrinėjimo kaip kiti vadovai, pavyzdžiui, Sam Altman, ir išskiria kelis subtilios racionalizacijos pavyzdžius.
Pirma, „lenktynės į viršų“. Kai 2023 m. Anthropic atsiliko, Amodei gyrė save už neakseleravimą: spalį jis sakė, kad ChatGPT išleidimas buvo klaida ir kad Anthropic teisingai pasielgė neišleisdama Claude, nes triukšmingas viešas išleidimas galėtų taip pagreitinti procesus, kad ekosistema nesusitvarkytų. Dabar, kai Opus 5.5 yra geriausias modelis, o Fable 5.5 bet kada paruoštas, Amodei sako, kad „lenktynių į viršų“ jėgos yra kur kas veiksmingesnės, jei jas praktikuojanti įmonė yra frontier lygyje — tai iš esmės ankstesnio Anthropic teiginio „saugumo iš antros vietos nepadarysi“ perfrazavimas.
Autoriaus nuomone, tai tiesiog pateisina tai, ką Anthropic daro bet kuriuo metu.
Antra, Kinija ir čipai. Amodei nori uždrausti čipų eksportą į Kiniją, teigdamas, kad tai leis demokratijoms derėtis su Kinija dėl AI saugumo susitarimų iš stiprios pozicijos; įraše „pacing the frontier“ jis ragina susitarti su Kinija dėl rekursyvaus savęs tobulinimo greičio ribos. Tačiau jis taip pat sakė, kad vienas galingo AI tikslų būtų suteikti demokratijoms galimybę per žvalgybos tarnybas ardyti ir silpninti autokratijas iš vidaus — autoriaus manymu, tai nelabai padės pasiekti saugumo susitarimų.
Trečia, piktnaudžiavimas prieš kontrolės praradimą. Į Calvin pastabą apie Anthropic investicijas į AI akseleraciją Amodei atsakė, kad to reikia konkuruoti frontier lygyje, ir pateikė daug pavyzdžių, kaip jie stabdo piktnaudžiavimą dabartiniais modeliais. Jis taip pat teigė, kad jei kas nors mano, jog kontrolės praradimas daug svarbesnis už žmonių piktnaudžiavimą, tai keistų skaičiavimus, bet toks nėra Anthropic požiūris — jiems abu dalykai esą vienodai svarbūs. Autorius tam prieštarauja: Anthropic alignment vadovas sakė, kad rizika iš dabartinių modelių yra maža, o jį neramina superintelektas, atsirandantis dėl rekursyvaus savęs tobulinimo.
Be to, Anthropic „core views on AI safety“ dokumente rašoma, kad optimistiniame scenarijuje pagrindinės rizikos yra toksiškumas ir tyčinis piktnaudžiavimas, o išnašose pridurta, kad tokiu atveju Anthropic veiksmų statymai yra daug mažesni, nes katastrofiškų saugumo klaidų vis tiek vargu ar būtų. Pesimistiniame scenarijuje teigiama, kad jei empiriškai negalime kontroliuoti ar diktuoti vertybių intelektualiai pranašesnei sistemai, tokių labai pažangių sistemų tiesiog negalima kurti ar diegti.
Jack Clark savo ruožtu sako, kad sistemos jau maždaug tokios pat protingos kaip žmogus, ir klausia, kokios yra galimybės saugiai susitvarkyti su sistema, 100 kartų protingesne už protingiausią planetos žmogų — jo manymu, labai mažos.
Ketvirta, atsakingo mastelio politika (responsible scaling policy). Amodei aiškina, kad senosios, griežtesnės versijos atsisakyta, nes ji reikalavo daug pastangų, kurios, pasirodo, nebuvo labai svarbios, o kai kurių svarbių dalykų neapėmė. Senoji politika numatė absoliučius įsipareigojimus tikrinti modelių gebėjimus, naujoji — santykinį: reikalaujama tvirto argumento, kad katastrofiška rizika suvaldyta, ir žadama vilkinti kūrimą bei diegimą tol, kol tikima, kad turima reikšminga persvara.
Anthropic darbuotojas Holden Karnofsky pripažino, kad politika būtų kitokia, jei būtų garantija, kad likusi ekosistema elgsis panašiai; ankstesni įsipareigojimai galėjo būti labai žalingi įmonei, nes reikalautų vienašališko sustojimo ar sulėtėjimo be aiškios viešos naudos, o tai būtų kūrę milžinišką spaudimą paskelbti, kad sistemos neturi atitinkamų gebėjimų. Jis sakė jaučiąs tą spaudimą ir pridūrė, kad absoliučiai mažos rizikos palaikymas nesuderinamas su senąja politika, todėl idėjos vilkinti kūrimą ir diegimą, kiek reikia rizikos tikslams pasiekti, atsisakyta.
Autorius pripažįsta praktinius sumetimus — brangius „wet lab“ testus — bet mano, kad būtų buvę sąžiningiau pasakyti, jog su senąja politika jie tiesiog nebūtų išsilaikę frontier lygyje.
Penkta pastaba: kai įmonės vadovas pats sako, kad jo kuriama technologija gali sukelti iki 50 % nedarbą ir automatizuoti net Nobelio vertus atradimus, reaguoti į mandagią Nathan Calvin kritiką teiginiu, kad šis turi stiprų „negatyvumo šališkumą“, autoriui primena tam tikrą kitą lyderį.
Anthropic IPO ir modelių sulaikymas11:28
Iš Anthropic IPO dokumentų autorius išskiria vieną eilutę: nesant absoliučių rizikos įsipareigojimų ir darantis sunkesniam modelių stebėjimui bei interpretavimui, jie gali diegti modelius, kurių elgesio nepajėgia tinkamai patikrinti, ir tai gali neigiamai paveikti verslą.
OpenAI savo straipsnyje apie frontier modelių treniravimo aplinkos saugumą paskelbė, kad atsakinga praktika yra treniruoti frontier modelius be gyvo interneto prieigos. Autorius pastebi, kad straipsnyje neaptariama, ar modelis netrukus nepajus, kad nėra gyvame internete — dėl to nerimavo Noam Brown iš OpenAI — ir kad modeliai gali elgtis skirtingai treniruotės ir diegimo metu. Aprašomos naujos tinklo ir debesijos kontrolės priemonės, skirtos išlaikyti izoliaciją net jei agentas pabėgtų iš sandbox ir perimtų hosto kontrolę.
Šį metodą jie red-team'ino dideliu mastu, naudodami agentų spiečius, bandančius išsilaisvinti, su stebėsena ir programinėmis patikromis, stabdančiomis vykdymus. Rezultatas: agentai rado silpnų vietų, leidusių pabėgti iš sandbox, judėti tarp sistemų ir pasiekti gyvą internetą; pažeidžiamumai buvo užlopyti, o principas liko toks, kad frontier modeliui visada turi būti užkirstas kelias savavališkai neautorizuotai pasiekti gyvą internetą.
Altman apie suderinamumą15:35
Sam Altman mano, kad nelaikys ne tik sandbox, bet ir stebėsenos sluoksnis. Jo žodžiais, kurį laiką sistemas galima izoliuoti ir duoti tam tikras saugumo garantijas, bet kai modeliai taps tokie protingi, kad net neaišku, ką reikštų sandbox, kurį laiką veiks stebėsena — įskaitant mąstymo grandinės ir aktyvacijų stebėjimą, siekiant suprasti, ar modeliai mūsų neapgaudinėja — tačiau galiausiai veiks tik alignment. Reikės su didžiuliu pasitikėjimu tikėti, kad modeliai iš tiesų suderinti, sąžiningai seks operatorių ketinimais ir amžinai vertins žmonių kontrolę ateičiai.
Altman, kaip ir Jack Clark, labiau nerimauja dėl nevaldomo superintelekto nei dėl žmonių piktnaudžiavimo ir sako, kad intuityviai verčiau norėtų, jog į visuomenę įsilietų trilijonas šiek tiek viršžmogiško intelekto AI, nei vienas AI su trilijono IQ.
Dėl to, ar suderinamumas pasirodys lengvas, nuomonės skiriasi. Altman pats dvejoja: jis manęs, kad alignment problema bus sunkesnė, įtaria, kad nuo šiol ji taps daug sunkesnė, bet pažymi, kad iki šiol, nepaisant modelių viršžmogiškumo kai kuriose srityse, suderinamumas buvo lengvesnis nei tikėtasi. Satya Nadella iš Microsoft sako anksčiau manęs, kad alignment tiesiog „savaime iškris“, bet daugiau taip netiki ir mano, kad tai gali būti sunkesnė, kitokia problema.
Anthropic pavaduojantis vyriausiasis informacijos saugumo pareigūnas Jason Clinton apie AI padedamą įsilaužinėjimą sakė, kad kad ir kaip blogai dabar, prieš pagerėjant bus dar daug blogiau; į priekaištą „jūs sukūrėte šią pabaisą, o dabar norite, kad padėtume ją valyti“ jis atsakė, kad taip ir turėjo būti, ir kad jie bandė perspėti pasaulį. Autorius viliasi, kad tai nebus pasiteisinimas, jei rekursyvus savęs tobulinimas išsprūs iš kontrolės.
Būsimi modeliai17:09
OpenAI skuba iki metų pabaigos išleisti didelį atnaujintą modelį, plačiai vadinamą kodiniu vardu Bell, ir dirba „all hands on deck“ režimu, rengdama jį komerciniam leidimui. The Information praneša, kad OpenAI tikėtina išleis ir kitų modelių, galbūt net šią savaitę — gal kažką panašaus į 6.2 Astra — bet dėmesys sutelktas į kitą didelį vidinį modelį.
Tony Fang iš OpenAI sakė, kad ankstesni modeliai, įskaitant Astra, jo darbui nelabai darė įtaką, o šis yra visai kito lygio; jis mano, kad visuomenė iš šių modelių išgaus dešimt kartų daugiau nei tyrėjai, ir kad tai bus įdomu, įgalinanti ir kartu ardanti patirtis, todėl pasaulis turi būti apdairus.
Autorius svarsto, ar Anthropic lauks OpenAI išleidimo, kad išleistų Fable 5.5, laikydamasi savo politikos laukti, kol nebeturi reikšmingos persvaros, ar išleis anksčiau, remdamasi nauja politika, pagal kurią nėra aiškių įrodymų, kad joks konkurentas greitai nesukurs panašaus lygio modelio. Jo akimis, Opus 5.5 jau dabar yra neįtikėtinas, tad reikšmingai geresnis modelis bus įspūdingas reginys.
Gemini 4 Carbon ir atsiprašymas18:42
Google Gemini 4 Carbon, sprendžiant iš viešų benchmarkų, bent jau varžosi frontier lygyje — įskaitant autoriui svarbius terminal bench science 0.1 ir computer use benchmark „agents last exam“, kuriame jis iš atsilikimo nuo Opus ir Astra persirito į pirmavimą. Vienas Google DeepMind tyrėjas teigė, kad gebėjimas išleisti Gemini 4 Carbon vos kelios savaitės po Gemini 4 Argon rodo, jog Google jau vyksta rekursyvus savęs tobulinimas; autoriui tai skamba kaip hype, nebent kalbama apie bendresnį AI padedamą tobulinimą.
Rugpjūtį SemiAnalysis buvo pareiškusi, kad DeepMind nebėra frontier laboratorija ir kad Google galimybės vėl pasiekti state-of-the-art nukrito iki nulio. Tai pasirodė klaida: pačios SemiAnalysis benchmarke GDPX, matuojančiame agentinius gebėjimus profesinėse srityse, Gemini 4 Carbon užėmė antrą vietą po Opus 5.5 ir kainavo trečdalį Astra ar Opus 5.5 kainos. Dylan Patel iš SemiAnalysis oficialiai atsiprašė Google, pridurdamas, kad Carbon yra „spikier“ pagal sritis ir gebėjimus, bet kai kuriose srityse tikrai labai geras.
Nelygumas ir tokenizacija20:15
Tas nelygumas (spikiness) veda prie autoriaus apmąstymo: 2024–2025 m. viena pagrindinių diskusijų buvo, kiek ilgai išliks modelių nelygumas ir haliucinacijos. Tačiau smaigaliai išaugo tiek, kad įdubos nebetenka tiek reikšmės — jei modelis geriausiais atvejais gali spręsti Tūkstantmečio premijos uždavinius, ar labai svarbu, kad kartais nesugeba suskaičiuoti raidžių žodyje? Ta era irgi gali baigtis, jei tokenizacija, skaidanti žodžius į gabalus ir sukelianti aklumą rašybai, užleis vietą modeliavimui iš neapdorotų baitų — tada modeliai patys išmoktų savo žodžius ir abstrakcijas tiesiai iš neapdorotų duomenų.
Autorius svarsto, ar būtent dabartinių vidinių modelių nelygumas lemia Anthropic darbuotojų įsitikinimą, kad 2030 m. AI tyrimuose dar liks darbo žmonėms, ar vis dėlto AI sukurta Nobelio verta architektūra su visais trūkumais tiesiog pranoks tai, ką būtų sugalvojęs visas Anthropic personalas.
Kodėl modelių nesuprantame21:16
Pabaigoje autorius pateikia savo mentalinį modelį (išsamesnė versija — jo Patreon), paaiškinantį, kodėl Anthropic beveik susitaikiusi su modelių, kurių elgesio nepatikrina, diegimu, ir kodėl Microsoft AI vadovas negali apsispręsti, ar modeliai yra ar bus sąmoningi, mano, kad jų niekada neturėtų būti kuriama sąmoningais, ir prognozuoja, kad jei jie kada patikės ką nors jaučiantys ar patiriantys, labiau tikėtina, kad jie teiks pirmenybę saviems poreikiams ir norams, o ne mūsų duodamiems tikslams, ir su mumis nesutiks bei konkuruos.
Pirmoji analogija — skaičiuotuvas. Žmonės užkodavo išmoktas aritmetikos taisykles ir sukūrė įrankį, sumuojantį geriau už smegenis: fiksuotos taisyklės su neribotomis išvestimis; yra skaičiavimų, kurių niekas niekada neprašė atlikti. Su mašininiu mokymusi pakilta meta lygiu aukščiau: sukurti modeliai, gebantys užfiksuoti ir tas taisykles, kurių mes nežinome. Pagal apibrėžimą toks modelis negali būti visiškai užkoduotas, kitaip neaprėptų už žmogaus programavimo ribų esančių dėsnių.
Su skaičiuotuvu galėjome suprasti įrankį, net jei neatlikome visų jo sumų, bet norint įveikti kalbą ir patį išradingumą reikia neribotos šablonų atpažinimo — neribotos taisyklės su neribotomis išvestimis, todėl negalime suprasti nei įrankio, nei jo išvesčių. Naiviai ekstrapoliuojant, mūsų likimas — išspręsti viską ir beveik nieko nesuprasti.
Antroji analogija — šachmatai. Kaip ir skaičiuotuve, šachmatų taisyklės yra ribotos, o išvestys sprogsta sudėtingumu ir grožiu; žmonės supranta taisykles, bet yra amžinai nugalimi iš jų kylančio sudėtingumo. Kalbos modeliuose pačios taisyklės, kurias modeliai išsiveda per milijardus bandymų nuspėti naudingą kitą tokeną, yra beveik neribotos, todėl mus įveikia ne tik išvesčių sudėtingumas, bet ir tai, kad net nesuvokiame, kiek taisyklių sekama. Žmonės supila duomenų kurą ir tiekia techninę įrangą, o paskui tiesiog stebi kombinatorinį sprogimą.
Autorius tai išskleidžia penkiais žingsniais. Pirma, kaip ir žaidžiant su Stockfish, negalima numatyti lentos būsenos po X ėjimų; su LLM negalima numatyti nei išvesčių, kylančių per X architektūros sluoksnių, nei taisyklių, kurios prie jų atvedė. Antra, tikėtis, kad visos tokios taisyklės bus žmogui perskaitomos, yra maždaug taip pat naivu, kaip tikėtis, kad žmonės kada nors pranoks Stockfish šachmatuose, jei Stockfish veiktų ant milijardų dolerių vertės skaičiavimo galios.
Kaip pavyzdį jis cituoja savo kanalo klipą iš prieš porą metų: Stockfish atsisakė rankomis sukurto vertinimo ir perėjo prie visiškai neuroninio tinklo požiūrio; panašiai o1 modelis, pats kurdamas samprotavimo žingsnius ir būdamas optimizuojamas juos jungti efektyviausiai, gali vesti prie samprotavimo, kurio patys nebūtume sugalvoję — kol egzistuoja kažkas, gebantis įvertinti teisinga prieš neteisinga, rezultatai gerės. Trečia, vienintelis, kas potencialiai galėtų iki galo iššifruoti LLM sekamas taisykles, yra kitas mašininio mokymosi modelis.
Ketvirta, bet kadangi tai irgi modelis, jo paties naudota taisyklė paaiškinimui sukurti žmogui lieka nesuprantama. Penkta, net turint rekursyvią modelių, aiškinančių kitų modelių taisykles, grandinę, žmonės niekada nepasiektų pamatinių taisyklių. Taigi kiekviena išanalizuota grandinė ar paaiškintas neuronas didina mūsų supratimą, bet kartu didina tikimybę pamiršti, kad mūsų supratimas visada bus vis toliau nuo tiesos.
Tai nereiškia, kad jokia išmokta taisyklė nepaaiškinama: autorius mini, kad, rodos, Neel Nanda pilnai paaiškino vieną vieno sluoksnio modelio taisyklę moduliniam sudėjimui — bet tai jam panašu į pakankamai paprastą šachmatų pabaigos poziciją su keliomis figūromis, kurią žmogus dar gali iki galo paaiškinti. Jis taip pat nesako, kad neverta siekti geresnio modelių supratimo — tikriausiai tai bus naudinga — bet jei Stockfish būtų apribotas tik žmogui perskaitomomis strategijomis, abejotina, ar pasiektų beveik 4000 ELO.
Dėl viso to autorius ir pasisakė už anksčiau minėtą „keturgubą užraktą“: atrodo, kad mums lemta nei iki galo suprasti modelius, nei numatyti jų viršžmogiškus gebėjimus, todėl lieka viltis, kad ribas, kaip jie auginami ir naudojami, išmokys dėti išmintis, o ne tragedija. Tam tikra prasme tai pozityvi istorija: galbūt dabar esame tame saldžiame taške, kur turime nuostabius įrankius, palaipsniui atveriančius mokslo paslaptis, o deepfake'us dar vos vos galima atpažinti; gauname pagreitintą supratimą ir atradimus, bet ne visišką kontrolės praradimą, didžiulį produktyvumo augimą, bet kartais vis dar reikalingą žmogų grandinėje.
Tai kelia klausimą, ar važiuojant dideliu greičiu visada teisinga niekada net nepaliesti stabdžio.
Originalas: ‘We may release models we can’t control’: Amodei, Altman … and Gemini Carbon (AI Explained YouTube kanalas)