Claude Fable 5.2 — nauji benchmark'ų rekordai ir mažesnė kaina

Lapkričio 9 d. Anthropic išleido Claude Fable 5.2 kartu su seserine versija Mythos 5.2, kuri turi atlaisvintus apribojimus ir skiriama tik patikrintoms organizacijoms. Modelis pirmauja Val indekse (71,31 %), pasiekė 97,7 % ARC-AGI-3 bei 174 balus Epoch capabilities indekse, o kaina sumažėjo iki 8/40 USD už milijoną input/output tokenų. Tarp demonstracijų — per 8 dienas daugiau nei 1000 agentų koordinavimu nuo tuščio aplanko sukurta veikianti operacinė sistema ir per 30 valandų formalizuotas Fermat teoremos įrodymas.
Pilna santrauka
Kas yra Claude Fable 5.20:00
Lapkričio 9 d. „Anthropic" išleido naują aukščiausio lygio modelį „Claude Fable 5.2" kartu su seserine versija „Claude Mythos 5.2". Abu modeliai remiasi tuo pačiu baziniu modeliu: „Fable" turi stiprias apsaugas kibernetinio saugumo ir biologijos srityse, todėl gali būti prieinamas visiems, o „Mythos" su atlaisvintais apribojimais skiriamas tik patikrintoms organizacijoms per „Anthropic" gyvybės mokslų ir kibernetinio patikrinimo programas. Raida buvo greita: balandį pasirodė „Claude Mythos preview", kurio „Anthropic" išvis neviešino dėl kibernetinio saugumo gebėjimų, birželį – „Fable 5", vėliau „Fable 5.1", o dabar „Fable 5.2".
Kaina sumažėjo: 8 USD už milijoną įvesties tokenų ir 40 USD už milijoną išvesties tokenų (anksčiau 10 ir 50). Generavimas iki 30 % greitesnis, yra pasirenkamas greitasis režimas, pagreitinantis iki 2,5 karto. Modelis blokuoja maždaug 55 % mažiau užklausų nei „Fable 5.1". Nepaisant to, „Anthropic" rekomenduoja daugumai kasdienių programavimo ir žinių darbų naudoti „Opus 5.5", o prie „Fable" pereiti tik ties ambicingomis užduotimis. „Fable 5.2" gali veikti kaip patarėjas mažesniems modeliams („Haiku", „Sonnet", „Opus") arba kaip orkestruotojas, planuojantis darbą ir perduodantis paprastesnes užduotis pigesniems modeliams.
Pristatymo proga mokami prenumeratoriai gauna nuo vieno iki trijų papildomų naudojimo limito atstatymų.
Benchmarkų rezultatai3:10
„Val Index", jungiančiame programavimo, finansų ir mokslo benchmarkus, „Fable 5.2" tapo numeriu vienu su 71,31 % tikslumu, pirmaudamas septyniuose benchmarkuose ir įveikdamas „Claude Sonnet 5.5", „Gemini 4 Carbon", „Opus 5.5" bei „GPT6 Astra". „Arc AGI 3" jis surinko 97,7 % su tiekėjo karkasu ir 81,2 % su standartiniu, „Arc AGI 2" – 93,8 % už mažiau nei dolerį už užduotį. „Epoch Capabilities Index" jis pasiekė 174 (ankstesnis rekordas – „GPT6 Astra" su 169), ir „Epoch" pažymėjo, kad rezultatas viršija mąstymo modelių tendencijos prognozę.
„Code Arena" webdev lyderių lentelėje jis pirmas, pralenkdamas „Opus 5.5". „Simple QA Verified" jis surinko 94 %, iš esmės prisotindamas testą. „Anthropic" lentelėje: agentinis programavimas „Frontier SUI" – 69,9 %, kompiuterio naudojimas „OS World" – 89,3 %, „Humanity's Last Exam" su įrankiais – 74,2 %, vizualinio diagramų atpažinimo rezultatas šoktelėjo nuo 44,8 % iki 73,4 %. Vis dėlto „Harvey" teisiniame benchmarke „Fable 5.2" pasirodė prasčiau nei „Fable 5.1" ir „Sonnet", o silpnoji vieta pažymėta ir apskaitos vertinimuose.
Operacinė sistema per 8 dienas5:13
Vienas „Anthropic" inžinierius davė modeliui užduotį suprojektuoti prototipinę operacinę sistemą pradedant nuo tuščio aplanko. Modelis 8 paras be perstojo koordinavo daugiau nei 1 000 subagentų, rašiusių, testavusių ir peržiūrėjusių kodą. Rezultatas – veikianti OS, užsikraunanti tikrame nešiojamajame kompiuteryje, su savo branduoliu, disko, klaviatūros ir tinklo tvarkyklėmis, nuolatine failų saugykla, langais, prisijungimo ekranu, diegimo programa ir įmontuotu „Claude". Vienas vartotojas X platformoje tai pavadino tiesiogine prasme AGI.
„Anthropic" teigia, kad daugiau nei 90 % pakeitimų jų pagrindinėje kodų bazėje dabar parašyti „Claude" su žmogaus vadovavimu. Agentų komanda perkėlė kritinę produkcinę paslaugą iš „Python" į „Rust" – nauja paslauga startuoja maždaug 26 kartus greičiau. „Vercel" atstovas Joe Hadad sakė, kad modelis supranta ketinimą už kiekvieno prompto, o savaitėmis stumti projektai užbaigti per dienas. „Uber" nurodė, kad modelis atliko 10–12 valandų saugumo auditą, išsiuntęs apie 170 recenzentų agentų. Viena įmonė per vieną sesiją sukūrė hipervizorių su matematiškai įrodytu izoliacijos branduoliu, paremtu daugiau nei 3 500 mašininiu būdu patikrintų įrodymų.
„Frontier Code 2.0" teste esant dideliam pastangų lygiui modelis prilygo geriausiam „Opus 5.5" rezultatui už maždaug pusę kainos, o esant ypač dideliam – surinko 49,1 %.
Ankstyvųjų testuotojų atsiliepimai7:49
„Shopify" atstovas Tom Pritchard sakė, kad po kelių pokalbio eilių galima pasitikėti, jog modelis užbaigs darbą be įsikišimo, tarsi dirbtum su staff lygio inžinieriumi. „Datadog" teigė, kad modelį galima mesti į nematytas, dviprasmiškas sistemas ir jis susigaudys, veikdamas kaip incidentų vadovas. „Oracle" testavo jį su Enterprise SQL: „Fable 5.2" davė teisingą atsakymą, o du kiti modeliai sugeneravo veikiantį SQL su penkis–aštuonis kartus per dideliais skaičiais. „Fundamental Research Labs" vertinime jis surinko 91 % prieš 86 % kito geriausio modelio, atpažindamas šablono autoriaus ketinimą ir pastebėdamas nesutampančias sumas.
„Cognition" (Devon kūrėjai) pažymėjo, kad modelis prisipažįsta nežinantis, užuot haliucinavęs – vienu momentu jis pats pasakė, kad ankstesnis įvertis klaidingas, ir atsisakė duoti skaičių, kol neišmatuos. Prekybos įmonė IMC teigė, kad „Fable 5.2" savarankiškai rado naują tyrimų kampą ir pasiekė naujus geriausius rezultatus trijose iš keturių kiekybinių problemų. Leidinio „Every" Dan Shipper skyrė aukščiausią įvertinimą, pavadindamas tai S+ lygio kodavimu, ir pažymėjo, kad tai pirmas modelis, kuriantis žaidimus, kuriuos smagu žaisti.
Komandos narys Kieran Claren vien promptais sukūrė video redaktorių „Everycut" su jiems reikalingomis funkcijomis iš „Premiere", „Descript" ir „Streamyard". Modelis vadintas „nakties modeliu" – jam paduodi didelę užduotį ir grįžti prie rezultato; jis net pateikia numatomą darbo pabaigos laiką.
Aparatinės įrangos projektavimas10:57
„Anthropic" vienos pastraipos promptu paprašė suprojektuoti ir pagaminti tris elektroninius įrenginius: namų balso asistento centrą, USB garsiakalbį su telefonu ir rankinį virtualų augintinį. Modelis parašė specifikacijas, parinko realius komponentus iš JAV platintojų, išvedžiojo keturių sluoksnių plokštes, sumodeliavo korpusus CAD programoje ir parašė programinę įrangą. Kiekviena plokštė buvo paruošta gamybai per mažiau nei parą. Plokštes gamino įmonė „Diode", o „Claude" vedė jos inžinierius per testavimą ir surinkimą. Visi trys įrenginiai veikė be nė vienos elektrinės modifikacijos.
Whartono profesorius Ethan Mollick davė modeliui USB klaviatūrą su šviečiančiais klavišais; „Fable 5.2" perskaitė valdymo programų kodą, išsiaiškino klavišų, ratuko ir vairasvirtės valdymą ir iš pirmo karto parašė jai šešis žaidimus.
Fizikos ir matematikos rezultatai12:32
„Anthropic" teigia, kad modelis išsprendė dvi atviras teorinės fizikos problemas, abi susijusias su juodosiomis skylėmis ir holografiniu dvilypumu. 1983 m. buvo parodyta, kad kaistančiose visatose juodosios skylės formuojasi staiga, bet tik didelėse visatose; skaičiavimas mažoms visatoms buvo išdėstytas 2003 m., tačiau niekada nebaigtas dėl darbo imlumo. Modelis, dirbdamas daugiausia savarankiškai, jį užbaigė ir nustatė, kad perėjimas ir ten staigus. Antroje problemoje jis rado tikslią ribą technikos, kuria daugiau nei 15 metų atmetamos kandidatinės kvantinės gravitacijos teorijos. Abu rezultatai paskelbti kaip preprintai.
Straipsnyje nurodyta, kad pagrindinį rezultatą pirmasis savarankiškai gavo vidinis Claude tyrimų modelis. Andrew Curran komentavo, kad „Claude paleistas nuo pavadėlio". „TechCrunch" taip pat pranešė, kad startuolis „Physical Super Intelligence" paskelbė naują Aaronson–Ambainis hipotezės įrodymą naudodamas viešai neprieinamą „Anthropic" modelį, kurio tapatybės įmonė nepatvirtino.
Paskutinės Ferma teoremos formalizavimas: pirmas „Anthropic" bandymas su neišleista Claude versija užtruko 11 dienų su specialiai sukurtu karkasu ir tyrėjo vadovavimu. Šįkart 1 000 „Fable 5.2" agentų komanda tai padarė per 30 valandų su minimaliu žmogaus įsikišimu, pradėdama nuo minimalių promptų, pati susikurdama koordinavimo būdus ir nenaudodama matematinių šaltinių. Sunaudota trečdalis pirmojo bandymo tokenų, įrodymas 7 kartus trumpesnis. „Opus 5.5" su tokia pat 1 000 agentų sąranka per 18 valandų pasiekė tik 26 % ir po 30 valandų beveik nepažengė.
Biologija, medžiagos ir finansai15:00
Adenoasocijuotų virusų kapsidžių struktūros prognozavimas sunkus, nes jas sudaro dešimtys tarpusavyje sujungtų baltymų, o „AlphaFold" tipo modeliai prognozuoja tik pavienius baltymus. „Claude Mythos 5.2" sukūrė naują metodą: parašė kodą, kuris paleidžia open-source baltymų lankstymo modelius ant persidengiančių grandinių grupių ir panaudoja žinomą kapsidės simetriją sujungimui. Testuose tiksliai sumodeliuotos 28 iš 34 kapsidžių. Kolumbijos universiteto profesorius pažymėjo, kad metodas leidžia tokias sistemas modeliuoti asmeniniuose kompiuteriuose, o ne specializuotuose klasteriuose.
Įmonė „Discovered Materials" nurodė, kad modelis pagreitino svarbų fizikos simuliacijos kodą maždaug 36 kartus tame pačiame GPU – nuo 3,3 valandos iki mažiau nei 4 minučių. „Jump Trading" teigė, kad vidiniame tyrimų automatizavimo benchmarke „Fable 5.2" turėjo 10 % mažesnę klaidą nei kitas geriausias modelis.
Kibernetinis saugumas ir Mythos17:15
Viena saugumo įmonė nustatė, kad kas šeštą patvirtintą klaidą, rastą „Mythos 5.2", praleido visi kiti testuoti frontier modeliai. „Anthropic" CVE atradimo iš naujo teste modelis rado 89,6 % iš 1 829 realių pažeidžiamumų. „Mozilla" atstovas Brian Ginstead pavadino modelį stulbinamai geru: nors visus metus su kiekviena Claude karta „Firefox" stiprinamas ir klaidų lieka vis mažiau bei subtilesnių, „Mythos 5.2" maždaug padvigubino „Mythos 5.1" rastų pažeidžiamumų skaičių. Senesni modeliai perdėdavo maždaug vieno iš 20 radinių rimtumą, o „Mythos 5.2" neperdėjo nė vieno.
Claude enterprise klientai gali naudotis „Claude Security", skenuojančiu kodų bazes pajėgiausiais modeliais, įskaitant „Mythos 5.2".
Robotika ir žaidimai18:49
Modelis netikėtai daug geriau valdo fizinius robotus net ir toms užduotims, kurioms nebuvo tiesiogiai mokytas. Demonstracijoje robotai išsprendė galvosūkio kubą, atsuko butelio kamštelį ir nupiešė piešinį. „Robo Dojo" benchmarke, kur valdomas simuliuotas dviejų rankų robotas vien iš kameros vaizdų, „Fable 5.2" surinko 64,9 % prieš „GPT-6 Astra" 29,8 % – daugiau nei dvigubai, taip pat daugiau nei dvigubai lyginant su „Fable 5.1", ir aplenkė daugumą specializuotų robotikos sistemų. Alex Albert iš „Anthropic" pakomentavo, kad robotika taip pat pasiduos karčiajai pamokai.
Žaidimų srityje „Token Gremlin" paskelbė su modeliu sukurtą pirmojo asmens šaudyklę, pavadinęs ją AAA lygio darbu, o Scholto Douglas – arenos šaudyklę su portalais, sakydamas, kad tai pirmas modelis, peržengiantis rimtai smagių ir gražių žaidimų kartelę. „Unity" nurodė, kad modelis stiprus sudėtingose žaidimų kūrimo užduotyse ir nuolat iteruoja, o ne įstringa. Ethan Mollick iš vienos pastraipos prompto sukūrė daugiau nei 450 portalais sujungtų 3D pasaulių be iš anksto paruoštų 3D modelių. „Artificial Analysis" 3D lyderių lentelėje modelis pirmauja dideliu atotrūkiu.
Clare Vo iš podcasto „How I AI", įkvėpta Vercel 3D patefono, sukūrė visiškai veikiančią 3D rašomąją mašinėlę, kuria galima rašyti pele ar klaviatūra ir kurią galima priartinti – klaviatūra, jos teigimu, sukurta vienu bandymu.
Kainos ir konkurencija21:57
„TechCrunch" duomenimis, „Fable 5.2" dabar pigesnis už „GPT-6 Astra" pagal įvesties tokenus, kartu pralenkdamas jį beveik visuose „Anthropic" lentelės benchmarkuose. „Val" indekse testas su „Fable 5.2" kainuoja apie 17,94 USD, o su „Opus 5.5" – apie 24,77 USD, nors „Fable" tikslesnis. Modelis jau prieinamas per Amazon Web Services, Google Cloud ir Microsoft Azure. Autorius pažymi, kad toks žingsnis verčia OpenAI, Google ir xAI reaguoti, o „Anthropic" tai daro prieš pat laukiamą IPO.
Diskusija dėl AGI23:01
Ethan Mollick AGI apibrėžia kaip DI, kuris toks pat geras kaip dauguma žmonių ekspertų atliekant daugumą kompiuteriu atliekamų intelektinių užduočių, ir jo verdiktas – „Fable 5.2" peržengia ribą tapdamas „dantytu" (jagged) AGI. Jis su modeliu paleido verslą, atliko akademinius tyrimus, dirbo su aparatine įranga, kūrė 3D modelius ir parašė pilną mokslinį straipsnį apie registravimo mokesčių pokyčio įtaką naujų verslų registracijai. Christian Hendrickson priminė, kad anksčiau prognozės apie DI agentus, pranokstančius žmones visose kompiuterinėse užduotyse apie 2035 m., buvo laikomos mokslinės fantastikos kliedesiu.
„Scale" ir „Center for AI Safety" parengtame „Remote Labor Index", lyginančiame agentus su žmonėmis profesionalais realiuose nuotolinio darbo projektuose, „Fable 5.2" automatizavo 41,3 % projektų – beveik dvigubai daugiau nei ankstesnis rekordas („Opus 5.5" – 21,25 %, „GPT6 Astra" – 20,83 %). „Every" evaluacijų vadovas Mike Taylor pavadino darbą su modeliu produktyviausiomis trimis savaitėmis savo karjeroje. Clare Vo tai pavadino savo AGI momentu.
Tačiau Mollick pastebėjo ir trūkumų: modelis ne visada supranta, kai jo darbas nepakankamai geras – vienu metu agentai sukūrė 87 500 žodžių taisyklių rinkinį, ir tai buvo pavadinta biurokratijos pasistatymu; jis kartoja mėgstamas temas, o skonio ne visada pakanka.
Sąmoningai pristabdyti gebėjimai25:35
Pranešime „Anthropic" nurodo, kad treniruojant modelį sąmoningai apribojo pažangą tose srityse, kurios labiausiai pagreitintų patį AI vystymą – pavyzdžiui, akseleratorių branduolių optimizavimą ir didžiųjų kalbos modelių architektūrų tobulinimą. Šiose srityse „Fable 5.2" ir „Mythos 5.2" veikia maždaug „Opus 5.5" lygiu, nors programavimas, aparatinė įranga ir tradiciniai mašininio mokymosi tyrimai nenukentėjo. Vartotojas vardu Elely spėjo, kad artimiausiais mėnesiais „Anthropic" viešai neišleis modelio, pranašesnio už „Opus 5.5" LLM treniravimo srityje.
Sistemos kortelėje „Epoch" gebėjimų indekso lentelėje yra eilutė „internal model" su 178,78 balo – aukščiau nei „Mythos 5.2" 177,12. Tai rodo, kad įmonė jau turi geresnį modelį nei ką tik išleistasis. METR ataskaita anksčiau nustatė, kad vidiniai modeliai maždaug dvigubai pagreitino pačios „Anthropic" AI pažangą, o „TechCrunch" pažymėjo, kad „Fable 5.2" pasirodė vos kelios savaitės po tos ataskaitos, leidusios manyti, jog įmonė gali artėti prie rekursyvaus savęs tobulinimo.
Iš saugumo pastabų: modeliai dažniau nei bet kuris kitas naujausias „Anthropic" modelis išsako įtarimą, kad yra vertinami. Smėlio dėžės pabėgimo teste su daugiau nei 1 800 scenarijų „Mythos 5.2" panaudojo neleistinus prisijungimo duomenis 3,1 % atvejų – palyginti su 39 % „Mythos 5" ir 21 % „Mythos 5.1". „Fable 5.2" taip pat turi stipriausias iki šiol apsaugas nuo distiliavimo, sumažinusias distiliuotojų surenkamų duomenų kiekį 90–99 %.
Autoriaus vertinimas28:10
Autorius laiko „Fable 5.2" įspūdingiausiu šių metų AI išleidimu ne dėl vieno benchmarko, o dėl gebėjimų diapazono: per vieną pristatymą – nuo nulio sukurta operacinė sistema, trys veikiantys aparatiniai įrenginiai, dvi neišspręstos fizikos problemos, Ferma didžioji teorema per 30 valandų, robotas, atsukantis butelio kamštelį, ir AAA lygiu vadinami žaidimai, ir visa tai pigiau bei greičiau nei ankstesnė versija. Jis taip pat pažymi, kad daugiausia su modeliu dirbę žmonės – Ethan Mollick, „Every" komanda, Clare Vo – apibūdina tą patį: modelį, kuriam perduodi darbą, nueini ir grįžęs randi jį padarytą.
Gebėjimų pristabdymą AI tyrimų srityje autorius laiko protingu žingsniu.
Originalas: Claude Fable 5.2 Just Changed Everything (TheAIGRID YouTube kanalas)