Model Evaluation and Threat Research (METR) és un institut de recerca sense ànim de lucre, amb seu a Berkeley, Califòrnia, que avalua les capacitats dels models d'IA de frontera per dur a terme tasques d'agència a llarg termini que alguns investigadors argumenten que podrien representar riscos catastròfics per a la societat. METR ha treballat amb empreses líders en IA per dur a terme avaluacions de models previs al desplegament i contribuir a targetes de sistema, incloent-hi o3, o4-mini, GPT-4o i GPT-4.5 d'OpenAI, i els models Claude d'Anthropic.
La directora general i fundadora de METR és Beth Barnes, una antiga investigadora d'alineació a OpenAI que va marxar el 2022 per formar ARC Evals, la divisió d'avaluació de l'Alignment Research Center de Paul Christiano. El desembre de 2023, ARC Evals es va convertir en una organització sense ànim de lucre 501(c)(3) independent i va canviar el nom a METR.
Recerca Una part substancial de la recerca de METR se centra en l'avaluació de les capacitats dels sistemes d'IA per dur a terme recerca i desenvolupament de sistemes d'IA per si mateixos, incloent-hi RE-Bench, un punt de referència dissenyat per provar si les IA poden "resoldre tasques d'enginyeria de recerca i accelerar la R+D en IA".
Duplicació de les estimacions de temps miniatura|Un gràfic que mostra que la durada de les tasques que els models de frontera són capaços d'executar amb una taxa d'èxit del 50% es va duplicar cada 7 mesos del 2019 al 2024. La regió ombrejada representa un interval de confiança del 95%. El març de 2025, METR va publicar un article que assenyalava que la durada de les tasques d'enginyeria de programari que el model d'IA líder podia completar s'havia duplicat en uns 7 mesos entre el 2019 i el 2024.
El gener de 2026, METR va publicar una nova versió del seu model d'estimacions d'horitzó temporal (Time Horizon 1.1). Segons el model actualitzat, la taxa de progrés de les capacitats d'IA ha augmentat des del 2023, amb un temps de duplicació posterior al 2023 estimat en 130,8 dies (4,3 mesos). Per tant, s'estima que el progrés serà un 20% més ràpid.
Mesures de l'horitzó temporal METR publica un "horitzó temporal de finalització de tasques" per als models d'IA analitzats. Això mesura la "durada de la tasca (mesurada pel temps de finalització de l'expert humà) en què es preveu que un agent d'IA tingui èxit amb un nivell de fiabilitat determinat". La mètrica es presenta en dues variants: l'horitzó temporal del 50%, que dóna la durada de la tasca en què s'estima que un model d'IA té èxit el 50% de les vegades, i l'horitzó temporal del 80%, que dóna la durada de la tasca en què s'estima que un model d'IA té èxit el 80% de les vegades. METR ha publicat dues versions del model subjacent: Time Horizon 1.0 i Time Horizon 1.1, aquesta última introduïda el gener de 2026.
El 9 de maig de 2026, el model amb millor rendiment és Claude Mythos, amb un horitzó temporal del 50% probablement d'almenys 16 hores i un horitzó temporal del 80% de 3 hores i 6 minuts. METR assenyala que "les mesures superiors a 16 [hores] no són fiables amb el [seu] conjunt de tasques actual". La taula següent proporciona estimacions de l'horitzó temporal ordenades per data de llançament de cada model:
Durada de la tasca (per a humans) ModelDataTime Horizon 1.1Time Horizon 1.050%80%50%80%GPT-2Febrer 2019——2 segons0 segonsGPT-3Maig 2020——9 segons2 segonsGPT-3.5Març 2022——36 segons10 segonsGPT-4Març 20234 minuts37 segons5 minuts1 minutGPT-4 (Novembre 2023)Novembre 20234 minuts34 segons9 minuts1 minutClaude 3 OpusMarç 20244 minuts29 segons6 minuts1 minutGPT-4 TurboAbril 20243 minuts37 segons7 minuts2 minutsGPT-4oMaig 20246 minuts57 segons9 minuts2 minutsQwen2-72BJuny 2024——2 minuts25 segonsClaude 3.5 Sonnet (Old)Juny 202411 minuts1 minut19 minuts3 minutsQwen2.5-72BSetembre 2024——5 minuts56 segonso1-previewSetembre 202419 minuts3 minuts22 minuts5 minutsClaude 3.5 Sonnet (New)October 202420 minuts2 minuts30 minuts5 minutsDeepSeek-V3Desembre 2024——18 minuts4 minutso1Desembre 202438 minuts6 minuts41 minuts6 minutsClaude 3.7 SonnetFebrer 20251 hora10 minuts56 minuts15 minutso3Abril 20252 hores 1 minut24 minuts1 hora 34 minuts21 minutso4-miniAbril 2025——1 hora 19 minuts16 minutsClaude Opus 4Maig 20251 hora 41 minuts17 minuts1 hora 26 minuts21 minutsDeepSeek-R1-0528Maig 2025——32 minuts4 minutsGemini 2.5 Pro PreviewJuny 2025——40 minuts9 minutsGrok 4Juliol 2025——1 hora 49 minuts15 minutsClaude Opus 4.1Agost 20251 hora 41 minuts19 minuts——GPT-5Agost 20253 hores 34 minuts32 minuts2 hores 18 minuts27 minutsgpt-oss-120bAgost 2025——45 minuts7 minutsClaude Sonnet 4.5Setembre 2025——2 hores 2 minuts21 minutsGemini 3 ProNovembre 20253 hores 57 minuts43 minuts——Claude Opus 4.5Novembre 20255 hores 20 minuts42 minuts4 hores 49 minuts27 minutsGPT-5.1-Codex-MaxNovembre 20253 hores 57 minuts41 minuts2 hores 53 minuts32 minutsKimi K2 Thinking (inferència via Novita AI)Novembre 2025——58 minuts12 minutsGPT-5.2 (high)Desembre 20256 hores 34 minuts55 minuts——Claude Opus 4.6Febrer 202611 hores 59 minuts1 hora 10 minuts——GPT-5.3-Codex (high)Febrer 20266 hores 30 minuts47 minuts——Gemini 3.1 ProMarç 20265 hores 50 minuts1 hora 30 minuts——GPT-5.4 (xhigh)Març 20265 hores 42 minuts54 minuts——Claude Mythos Preview (early)Abril 2026Almenys 16 hores3 hores 6 minuts——
Referències
Categoria:Organitzacions relacionades amb la IA