Nyhet

Anthropic släpper in METR som intern granskare: sex externa experter får anställdsliknande access

Anthropic har börjat ge ett team från den ideella organisationen METR anställdsliknande access till sina interna system för att bedöma risker med företagets AI-modeller. METR ska själva publicera resultaten, och Anthropic kan inte lägga in veto mot publiceringen. Företaget arbetar även med SecureBio, Accenture och Faculty och för samtal med flera andra, bland dem Hugging Face.

Det viktigaste i korthet

• Sex METR-anställda har fått företagsutrustning, kontorsplats och tillgång till interna verktyg och system, ungefär i nivå med Anthropics egna riskbedömningsteam.

• METR publicerar sin analys av Anthropics risknivåer, incidenter och rutiner. Anthropic kan inte stoppa publiceringen men kan kräva att vissa fördefinierade informationskategorier redigeras bort.

• Anthropic bygger tre åtkomstnivåer för externa granskare. METR ligger på den tredje och högsta.

• SecureBio granskar kapitlet om kemiska och biologiska vapen i Anthropics riskrapport från augusti.

• Anthropic bygger också ett samarbete med Accenture och Faculty, och för tidiga samtal med flera andra organisationer, bland dem Hugging Face.

• Anthropic har också undertecknat ”White House Accord on Super Intelligence”, där bolag lovar samarbeta med oberoende externa granskare.

Vad har hänt

Anthropic berättar att man förra månaden lovade starkare oberoende bedömning av sina modeller och sitt säkerhetsarbete. Nu har företaget tagit ett konkret steg: ett litet team från METR, som utvärderar de mest avancerade AI-modellerna, har fått åtkomst som liknar en anställds. Under det senaste året har METR redan granskat flera av Anthropics riskrapporter.

Enligt Anthropic kan man inte offentliggöra all säkerhetsrelevant information. Delar kan vara användbara för illasinnade aktörer, och andra är affärskänsliga, till exempel uppgifter om beräkningskapacitet och träning. I stället ger företaget externa granskare djup insyn och låter dem redovisa belägg och slutsatser om riskerna. Målet är att minska glappet mellan vad granskarna förstår om ett AI-bolags system och vad bolaget självt förstår. Anthropic jämför med banktillsyn, där tillsynsmän placeras inne i de största bankerna, men understryker att jämförelsen inte är exakt.

Anthropic anger fyra krav på en granskare: expertis i att bedöma avancerade modeller, bland annat hur utvärderingar kan gå fel, till exempel genom ”alignment faking”; oberoende, vilket betyder att granskaren inte äger aktier i bolaget eller är ekonomiskt eller operativt beroende av det; tillräcklig åtkomst, även till hur modellerna tränats och hur skyddsåtgärderna fungerar; samt frihet att publicera sina iakttagelser.

För METR-teamet gäller att Anthropics medarbetare uppmuntras att dela information som med en kollega, utom i ett fåtal avgränsade kategorier som kunddata, advokatsekretess och information om modellarkitektur. Anthropic motiverar undantaget för arkitektur med risken för oavsiktliga läckor, eftersom arkitekturen enligt företaget sällan är relevant för riskbedömningen. När den är det ska den som regel delas, efter uttryckligt internt godkännande. Anthropic avgör själv vad som faller inom de redigeringsbara kategorierna, men METR förbehåller sig rätten att uttala sig om hur mycket åtkomst och information man fått. Övriga METR-anställda, även forskare som arbetar med Anthropic i andra projekt, hålls avskilda från teamets arbete.

De tre nivåerna ser ut så här: På nivå ett gör granskare avgränsade riskundersökningar, Anthropic bestämmer åtkomsten och publicering kräver godkännande. På nivå två får granskare publicera utan godkännande och får mer information, men Anthropic kan kräva att vissa uppgifter tas bort, och granskarna kan offentligt ifrågasätta om det var motiverat. Nivå tre är METR-upplägget, med anställdsliknande åtkomst och publiceringsrätt som liknar nivå två. SecureBio har slutfört och publicerat en pilotgranskning av den förra riskrapporten och kan därefter få projekt med mer åtkomst. Anthropic anser att alla ledande AI-bolag borde bädda in granskare frivilligt.

Vad det betyder för dig i Sverige

Källan tar inte upp Sverige, svenska användare eller svenska företag, och inga ändringar i produkter, priser eller tillgänglighet beskrivs. Nyheten gäller hur Anthropic låter externa parter granska risker. Enligt Anthropic är upplägget inte ett sätt för andra organisationer att få del av företagets eller kunders och partners information. Granskningsrapporterna från METR ska bli offentliga, så de som följer AI-säkerhet, även i Sverige, kan ta del av dem när de publiceras.

Det här vet vi inte än

Källan anger inte när METR publicerar sina första bedömningar eller vad de kommer att omfatta. Det framgår inte heller hur länge samarbetet gäller eller hur Anthropic följer upp resultaten. Vilka av de andra samarbetena som når högre nivåer är oklart, liksom när det händer. Anthropic säger bara att man hoppas bädda in fler granskare när förtroendet växer. Hur samtalen med Hugging Face och andra organisationer går är okänt. Källan visar inte heller hur Anthropics redigeringsrätt fungerar i praktiken, och det är en öppen fråga hur ofta den används.

Viktigt att veta

Artikeln är allmän information och ersätter inte rådgivning från legitimerad vårdpersonal, jurist eller ekonomisk rådgivare. Dela aldrig patient-, klient- eller personuppgifter med AI-tjänster utan rättslig grund, och låt en människa fatta beslut som påverkar hälsa, rättigheter eller ekonomi.