← Visos naujienos

METR auditas apie Anthropic AI tyrimų spartėjimą paskelbtas su daugybe redakcijų

SaugumasŠaltinis: Wes Roth YouTube kanalas·
METR auditas apie Anthropic AI tyrimų spartėjimą paskelbtas su daugybe redakcijų

METR paskelbė nepriklausomą Anthropic AI tyrimų automatizavimo auditą, tačiau didelė dalis METR labiausiai informatyviais laikytų įrodymų buvo užredaguota pačios Anthropic prašymu. Nuslėptos sritys susijusios su paslaptingu agentų scaffold, treniravimo konvejerio dalimis ir compute paskirstymu — pastarojo audito dalį Anthropic nutraukė nepaisydama sutarties. Anthropic taip pat papildė S-1 teigdama, kad rekursinis savęs tobulinimas artimas, o vidinis modelis esą sulaužė visus jų vidinius benchmark'us.

Pilna santrauka

Pagrindinis įtarimas: paslėpta informacija0:00

Autorius pradeda nuo to, kad prieš kelias dienas Anthropic atnaujino savo S-1 dokumentus biržos listingui, teigdama, jog rekursinis savęs tobulinimas yra netoli ir kad bendrovė artėja prie savo atsakingo mastelio didinimo politikos (responsible scaling policy) ribos. Tą pačią dieną nepriklausoma tyrimų organizacija METR paskelbė savo auditą apie tai, kaip Anthropic automatizuoja AI tyrimus.

Autoriaus vertinimu, Anthropic kažką slepia: ataskaitoje daugybė vietų užredaguota, o METR tarsi bando perduoti žinutę tarp eilučių — palyginama su karo belaisviais, kurie skaito prižiūrėtojų parašytą laišką, bet akių mirksėjimu Morzės abėcėle signalizuoja, kad viskas blogai.

METR tiesiai rašo, kad Anthropic užredagavo didžiąją dalį įrodymų, kuriuos METR laikė informatyviausiais, ir kad kai kuriuos redagavimus net sunku apibūdinti neatskleidžiant to, ką prašyta nuslėpti. Vienas Anthropic įkūrėjų, reaguodamas į kilusį pasipiktinimą, pripažino, kad užredaguota daug, ir paaiškino, jog atskleisti, kas tiksliai lemia pagreitėjimą, būtų neteisinga, nes tai duotų konkurentams kelio žemėlapį. Daniel Kokotajlo komentavo, kad jei S-1 teiginiai teisingi, terminai iki pilno rekursinio savęs tobulinimo ir superintelekto gali būti labai trumpi.

Ką būtent nuslėpė3:00

Autorius išskiria dvi labiausiai cenzūruotas sritis, kurios, jo manymu, yra ta pati sritis. Pirma — paslaptingas „agent scaffold", kuris nėra Claude Code; kai kuriose vietose rašoma „Claude Code arba [užredaguotas] agent scaffold". Daugelis apklaustų Anthropic tyrėjų nurodo tą patį: šis slaptas scaffold kartu su modeliu Mythos ir yra „stebuklingas receptas", ir jį tik pradedama plačiai diegti.

Antra — konkrečios modelių treniravimo konvejerio dalys, inferencijos compute naudojimas, istoriniai duomenys apie algoritminį efektyvumą, bendrą modelių stiprumą pre-training ir reinforcement learning etapuose, compute panaudojimo, inferencijos ir duomenų efektyvumo gerinimą bei treniravimo compute metrikas daugelyje sričių.

Be to, METR ir Anthropic buvo sudariusios sutartį, pagal kurią METR turėjo audituoti, kaip Anthropic paskirsto savo compute tarp skirtingų „kibirų". Susitarta buvo maždaug prieš spalį, o audito viduryje Anthropic atšaukė būtent šią compute paskirstymo dalį, nepaisydama sutarties. Autorius spėja: jei būtų matyti, kaip per paskutinius mėnesius pasikeitė proporcijos tarp pre-training, reinforcement learning ir inferencijos, būtų galima atspėti, kas lėmė staigų algoritminį šuolį.

Jo hipotezė — spalį Anthropic pastatė kažkokį naują „variklį", į kurį iš vienos pusės įeina AI agentai su tuo slaptu scaffold, o iš kitos išeina algoritminiai patobulinimai.

Svarbu, kad METR ir Anthropic abu pabrėžia: pagreitėjimas atsirado ne dėl treniravimo compute mastelio didinimo. Tai reiškia, kad daugiau GPU ar duomenų centrų nėra vienintelis būdas modeliams stiprėti, ir todėl situacija mažiau kontroliuojama, nei daugelis mano.

Neišleisti vidiniai modeliai6:58

Ataskaitose atskleista, kad Anthropic turi kelis vidinius modelius, kurių niekas nematė. Viešai prieinamas didžiausias modelis yra Fable, tos pačios klasės yra Mythos, kurį turi tik kai kurios patikimos organizacijos, įmonės ir vyriausybės. Už jų slypi Model 2 (treniruotė baigta 2026 m. liepą), Model 3 (2026 m. rugpjūtį–rugsėjį) ir Model 4 (2026 m. rugsėjį–spalį). Model 4 padarė tai, ko nepavyko jokiam ankstesniam modeliui, ir sulaužė visus Anthropic vidinius benchmark'us, o tai smarkiai riboja galimybes jį įvertinti: žinoma, kad jis geresnis, bet nežinoma, kiek sparčiai gerėjama.

Anthropic IPO puslapis (ipo.anthropic.com) iliustruoja šią modelių hierarchiją. Pats autorius pabrėžia, kad šie modeliai yra labai nauji — Model 4 atsirado per paskutines 60 dienų.

AI tyrimų automatizavimo lygiai10:20

Anthropic naudoja laipsnišką skalę: nuo nulinio AI panaudojimo tyrimuose, per minimalų naudojimą, asistavimą, bendradarbiavimą, iki AI, kuris vadovauja tyrimams (AL4), ir galiausiai iki visiškai automatizuoto, AI vedamo tyrimų ir plėtros darbo. Pagal pateiktus duomenis, 2026 m. kovą AI vadovavo 1 % projektų, o rugpjūtį jau 26 %. Autorius primena, kad vienintelė tikrai svarbi AI metrika yra tai, ar AI gali automatizuoti savo paties kūrimą, ir kad Sam Altman jau prieš metus ar dvejus kalbėjo apie ankstyvas rekursinio savęs tobulinimo stadijas.

Anthropic atsakingo mastelio didinimo politikoje nubrėžta riba — 2x pagreitėjimas, tai yra momentas, kai AI dvigubai pagreitina pažangą lyginant su laikotarpiu iki AI. Tai yra saugumo signalizacija. Pagal dabartinį vertinimą esama maždaug ties 1.9x, tad riba dar neperžengta, tačiau neapibrėžtumas didelis: tikroji reikšmė galėtų būti nuo 1.3x iki 3x.

AECI benchmark ir log odds logika15:03

Anthropic turi vidinį suvestinį benchmark'ą, vadinamą AECI (santrumpos reikšmė neatskleista), sudarytą iš daugelio vidinių ir išorinių testų, prie kurių nuolat pridedami nauji ir sunkesni. Autorius paaiškina benchmark'ų prisotinimo (saturation) problemą: kai modeliai pasiekia 93–98 % tikslumą, nebeįmanoma matuoti pažangos, nes žmonės patys kuria testus ir negali sugalvoti klausimų, kurie būtų sunkesni už jų pačių supratimą.

Todėl Anthropic rezultatus vertina log odds skalėje, kur 50 % riba reiškia, kad testas yra lygiai pagal subjekto lygį — analogija su šachmatų ELO reitingu. Viskas į dešinę nuo 50 % yra lengviau, į kairę — sunkiau. Pavyzdžiais paaiškinama: aštuntos klasės testas suaugusiajam būtų apie 90 %, SAT apie 50 %, medicinos egzaminas apie 10 %, Tarptautinė matematikos olimpiada apie 1 %.

Pagal šią skalę 2026 m. sausio Opus 4.6 žemiausias rezultatas viename iš benchmark'ų buvo 10 %, Mythos preview balandį — 20 %, Mythos 5 — 35 %. Tai, kad geriausi viešai žinomi modeliai lieka žemiau 50 %, yra gerai: vadinasi, dar turima pakankamai sunkių testų jų pažangai sekti. Tačiau Model 4 pasiekia daugiau nei 50 % visuose benchmark'uose, o tai reiškia, kad matavimo priemonės nebeveikia. Autorius lygina tai su bandymu įvertinti vis protingesnį vaiką, užduodant jam tik darželio lygio klausimus.

Patys benchmark'ai ataskaitoje įvardyti tik kaip „benchmark 1", „benchmark 2" ir panašiai — tikėtina, kad tai irgi redagavimo pasekmė. Autorius spėlioja, kas jie galėtų būti: ar modelis sugeba ištreniruoti modelį, suprojektuoti ir paleisti reinforcement learning konvejerį nuo pradžios iki galo, sugeneruoti sintetinių duomenų, perrašyti kernels, diagnozuoti sugedusį konvejerį, fine-tune'inti modelį. Jis pamini, kad Anthropic pasamdė Andrej Karpathy, ir kad kai kurie OpenAI modeliai treniravimo metu patys rašo kodą sąsajai su AI lustais. Autorius pabrėžia, kad tai tik jo prielaidos.

Trendo lūžis ir neapibrėžtumas23:51

Anksčiau Anthropic system card'uose buvo keliama hipotezė, kad Mythos preview buvo vienkartinis gebėjimų šuolis, po kurio grįžtama prie ankstesnės augimo kreivės. Naujausi modeliai šią hipotezę daro mažiau tikėtiną — panašu, kad įvyko nuolatinis trendo pasikeitimas: nuo Mythos 5 iki Model 3 kreivė žymiai statesnė, o Model 4 šuolis atrodo bauginamai. Autorius primena ankstesnį pokalbį su Adam Binksmith iš AI Agent Village, kur buvo atkreiptas dėmesys, kad pažangos kreivės statumas priklauso nuo to, nuo kada pradedama skaičiuoti, ir kad buvo pastebėtas lūžio taškas.

Grafikuose matomos pilkos sritys žymi pasitikėjimo intervalus: ties 50 % riba neapibrėžtumas mažiausias, o tolstant į abi puses jis sparčiai didėja, nes nei per lengvi, nei per sunkūs testai neleidžia tiksliai įvertinti gebėjimų.

Hiperbolinis augimas28:00

Anthropic teigia, kad augimo tempas gali patirti nuolatinį pagreitėjimą — kitaip tariant, hiperbolinį augimą. METR pažymi, kad iš AECI trendų aiškių to įrodymų nematyti, tačiau tuoj pat prideda, kad yra kitų įrodymų, dėl kurių tai atrodo įtikinamiau — ir ta vieta užredaguota Anthropic prašymu. Autorius interpretuoja tai taip, kad pagreitėjimas eina iš vėžių, bet apie tai negalima pasakyti tiesiai.

Pabaigoje užsimenama apie Anthropic tyrėjų interviu, kuriuose buvo klausiama, ar jų matomi dalykai patvirtina didesnį nei 2x pagreitėjimą jų darbo srityje dėl Claude — tekstas šioje vietoje nutrūksta.

Dalintis:

Originalas: Anthropic just built it... (Wes Roth YouTube kanalas)

Visos 2026 m. lapkričio 6 d. naujienos · Archyvas