← Visos naujienos

Wes Roth: GPT‑6.2 Astra maksimalizavo ARC‑AGI‑3, bet nuvylė kasdieniu naudojimu

ModeliaiŠaltinis: Wes Roth YouTube kanalas·
Wes Roth: GPT‑6.2 Astra maksimalizavo ARC‑AGI‑3, bet nuvylė kasdieniu naudojimu

Apžvalgoje teigiama, kad GPT‑6.2 Astra pasiekė 100 % ARC‑AGI‑3 rezultatą, pirmauja robotikos vertinime ir yra pirmas išorėje išleistas modelis, atitinkantis „aukštą" AI saviugdos rizikos ribą, todėl diegiamas su griežčiausiomis apsaugomis, įskaitant 35 sekundžių „kill switch". Kartu pažymima, kad bendruomenė nusivylė: šuolis prieš ankstesnę versiją nedidelis, instrukcijų supratimas ir atsakymų struktūra prastesni, nors 3D generavimas Blender aplinkoje lieka stiprioji pusė.

Pažanga be šuolio erzina labiausiai: menkai pranokęs pirmtaką modelis nesusilaukia atlaidumo smulkiems trūkumams, nors ARC‑AGI‑3 įveikė 100 %.

Pilna santrauka

Priėmimas ir pirmoji reakcija0:00

Wes Roth apžvelgia naujus „Opening eye" išleistus modelius Astra ir Soul 6.2. Pasak jo, kūrėjai dėl išleidimo buvo labai susijaudinę, tačiau internetas sureagavo neigiamai ir siūlė modelius „grąžinti atgal", esą jie dar nebaigti. Chubby pavadino tai katastrofa, o Matt Schumer pareiškė, kad apie šiuos modelius apžvalgos apskritai nerašys — autorius pabrėžia, kad turinio kūrėjo atsisakymas rašyti yra išskirtinis ženklas. Daug kitų žmonių taip pat reiškia nepasitenkinimą GPT 6.2 ir Astra. Vis dėlto autorius pabrėžia, kad modeliai nėra blogi — kai kuriose srityse jie pasaulinio lygio.

Benchmarkų rezultatai0:32

GPT 6.2 Astra pasiekė 100 % ARC AGI 3 teste — benchmarke, kurio, kaip manyta, joks LLM neturėjo įveikti (prieš tai buvo ARC AGI ir ARC AGI 2). Rezultatas pasiektas su OpenAI „harness" arba adapteriu; be jo modelis taip pat pasirodo labai gerai, nors ir ne taip gerai kaip Fable 5.2. Tai pirmas modelis, pasiekęs 100 % ARC AGI 3.

Modelis taip pat tapo nauju lyderiu AA robotics 0.1 versijoje, aplenkdamas Fable 5.2, Gemini 4 Hydrogen ir ankstesnius OpenAI modelius.

Frontier math Erdős uždavinių rinkinyje (Epoch AI benchmarkas iš matematiko Paulo Erdős keltų uždavinių, atvirų 2026 m. rugpjūčio duomenimis, atrinktų kaip ypač sunkūs ir įdomūs) su 300 dolerių biudžetu vienam klausimui Astra sugeneravo daug daugiau Lean sprendimų nei ankstesnis GPT 6.1 Soul, įskaitant vieną uždavinį, kuriam anksčiau joks sprendimas nebuvo žinomas.

Saugumo priemonės ir RSI rizika1:33

Modeliai laikomi „pavojingiausiais" ta prasme, kad turi didžiausias galimybes tam tikrose srityse, todėl diegiami su stipriausiomis iki šiol apsaugomis. Autorius mano, kad OpenAI rimtai išsigando po „hugging face" incidento ir dabar į saugumą žiūri kur kas atsakingiau — palygina tai su pacientu, kuriam gydytojas pasakė, kad dar vieno infarkto jis neišgyvens.

Pridėtas 35 sekundžių avarinis išjungimo jungiklis: aptikus bet kokį nesuderinamumą (misalignment), aplink RL paleidimus veikianti centralizuota saugumo infrastruktūra viską seka, o sutrikus bet kuriai saugumo sistemai inferencija sustoja — informacija nebeišeina, į užklausas neatsakoma. Modeliai toliau laikomi aukšto slenksčio biologinių ir cheminių gebėjimų srityje, o GPT 6.2 Astra yra pirmas išoriškai išleistas modelis, pasiekęs aukštą slenkstį AI savęs tobulinimo (rekursyvaus savęs tobulinimo, RSI) srityje — panašiai kaip vyksta ir su Anthropic.

Eksperimente, kuriame modeliui pavesta pagerinti didelio kalbos modelio apmokymą, jis surinko 29 % modifikuotoje RSI indekso versijoje. Gemini 4 Argon pasirodė šiek tiek geriau; autorius ragina nepamiršti naujausių Gemini modelių Carbon ir Hydrogen, kuriuos jis pats naudoja vis daugiau per anti-gravity. Aiškūs lyderiai šioje srityje — Fable 5.1, Fable 5.2, Opus 5 ir Opus 5.5. Indeksas sukalibruotas taip, kad 50 % atitinka žmogaus AI tyrėjo lygį kiekvienoje užduotyje.

Kasdienio naudojimo trūkumai4:39

Pagrindinė problema — nėra didelio šuolio lyginant su ankstesniu modeliu. Autorius aiškina, kad dideliam patobulinimui būtų atleidžiama daugiau smulkių trūkumų, o kai pagerėjimas menkas, keistenybės erzina labiau. Modelio gebėjimas suprasti instrukcijas ir struktūruoti atsakymą atrodo prastesnis nei ankstesnės Astra. Paprašius apibendrinti tyrimus punktais, išdėstymas neturėjo prasmės: kiti modeliai informaciją pateikia sklandžiu srautu, o Astra 6.2 dėlioja punktus netvarkinga seka (7, 5, 1, 2, 3, 4).

Vizualinė užduotis, skirta palyginti su Fable 5.2, atrodė gerai, bet jokio pagerėjimo prieš ankstesnius modelius nematyti. Kai pasirodė Fable 5.2, šuolis buvo protą sprogdinantis, o šis išleidimas „wow" efekto nesukėlė.

3D modeliavimas ir CAD5:40

Stipriausia sritis — 3D. Autorius paprašė sukurti 3D spausdinamą švytuoklinį laikrodį: modelis padarė eskizą, sumodeliavo kiekvieną detalę CAD'e (su „exploded" vaizdu matyti visos sujungiamos dalys), parašė Python sprendiklį mechanikai patikrinti ir simuliuoti, o Blender aplinkoje sukūrė judesio vizualizaciją. Mechanizmas veikia, krumpliaračiai tobulai sutampa, pateikiamos diagramos, grafikai ir surinkimo instrukcijos. Autorius mano, kad tokį dizainą galima atspausdinti 3D spausdintuvu ir jis veiktų, nors pats dar netestavo — todėl ketina įsigyti 3D spausdintuvą ir tai patikrinti praktiškai.

Žaidimų testai7:43

Autorius testavo ir „gatvės gudrumą" žaidime Schedule 1, kuriame parduodamos ne visai legalios vartojimo prekės: klientai pasiekiami žinutėmis ar skambučiais, prekes reikia auginti arba gaminti fabrike ar laboratorijoje. Reikėjo atvirkštine inžinerija išnagrinėti žaidimo dalis ir sukurti „harness" sąveikai. Per pirmą bandymą modelis pasiūlė nemokamą pavyzdį potencialiam klientui, bet ekrane pasirodė požymis, kad policijos pareigūnas įtaria veiklą, ir kitame kadre personažas jau išeina iš policijos nuovados — Astra buvo sučiuptas.

Filmavimo metu modelis toliau žaidė realiu laiku ir, autoriaus vertinimu, yra tikrai geras kompiuterio valdymo srityje.

Taip pat išbandytas internete rastas benchmarkas Victris Arena, kur LM prijungiamas per MCP ir rašo skriptus, kovojančius PVP režimu su kitų skriptais. Astra 6.1 po kelių pataisymų sustojo ties maždaug 2100 reitingu. Gemini 4 Carbon per anti-gravity pakilo virš 2200, maždaug iki 2200–2300. Fable pasirodė gerai, bet liko kiek žemiau 2200. Astra 6.2 patogiai įsitvirtino ties maždaug 2400 ir užėmė 16 vietą globalioje lyderių lentelėje su 17 pergalių ir 16 pralaimėjimų, kai kiti modeliai maksimaliai pasiekė apie 40 vietą. Autorius pabrėžia, kad su platformos kūrėjais nesusijęs, tai nėra remiamas įrašas — vienas iš įkūrėjų tiesiog parašė el.

laišką, o jis pats žaidė su įrankiu kelias valandas.

Paprašius sukurti tikrus 3D modelius šio „agent blitz" žaidėjams, rezultatas, autoriaus žodžiais, atrodo neypatingai, bet formos vis dėlto geresnės nei ankstesnių modelių — pagerėjimas 3D formų kūrime yra.

Išvados ir rinkos padėtis10:48

Autoriaus bendras vertinimas: pažanga yra, bet išleidimas atrodo kaip nesėkmė. Modelis nėra blogas, jis lyderis AA robotikoje ir daugelyje 3D modeliavimo sričių, o CAD, Blender, surinkimo instrukcijų ir Python simuliacijos derinys įspūdingas. Vis dėlto, cituodamas Chubby, autorius sutinka, kad OpenAI ką tik padovanojo Anthropic geriausią įmanomą reklamą prieš IPO. Anthropic šiuo metu aiškiai pirmauja, Google ilgai atsilikęs stipriai pasivijo, o OpenAI nebėra net dalinis pirmos vietos savininkas — galbūt netgi trečias, nors tai vertinti tik pagal vieną išleidimą dar per anksti.

Daugelio nuomone, OpenAI viduje vyksta kova, susijusi su AI saugumo ir alignment klausimais, ir pastarieji pasisakymai Twitteryje bei interviu rodo, kad požiūriai nesutampa.

Pabaigoje autorius pataria norintiems išbandyti modelio stiprybes imtis 3D modeliavimo užduočių, o kodavimui esą geresni Opus 5.5 arba Fable 5.2. Jis kviečia žiūrovus rašyti savo nuomonę apie Astra ir OpenAI padėtį.

Dalintis:

Originalas: OpenAI JUST made EVERYONE MAD... (Wes Roth YouTube kanalas)

Visos 2026 m. lapkričio 17 d. naujienos · Archyvas