Nyhet

Anthropic ger granskaren METR anställdsliknande tillgång till interna system

AI-bolaget Anthropic meddelar att ett team från den ideella organisationen METR, som utvärderar de mest avancerade AI-modellerna, har fått anställdsliknande tillgång till bolagets interna verktyg och system. METR ska publicera sina riskbedömningar, och Anthropic kan inte lägga veto mot publiceringen. Bolaget arbetar också med SecureBio och Accenture och för samtal med fler organisationer, bland dem Hugging Face.

Det viktigaste i korthet

• Sex METR-anställda har onboardats hos Anthropic med företagsutrustning, kontorsplats och tillgång till interna verktyg och system.

• Tillgången är enligt Anthropic ungefär jämförbar med den bolagets egna riskbedömningsteam har.

• Anthropic kan inte stoppa METR:s publicering, men kan kräva att information inom i förväg definierade kategorier, till exempel konfidentiell immateriell egendom, tas bort.

• SecureBio granskar kapitlet om kemiska och biologiska vapen i Anthropics riskrapport från augusti.

• Accenture och Faculty ingår i ett partnerskap som omfattar bland annat red-teaming och test av modellers skyddsmekanismer.

• Anthropic utvecklar tre nivåer av tillgång för externa granskare, där METR ligger på den tredje.

Vad har hänt

Anthropic skriver att bolaget förra månaden åtog sig starkare oberoende granskning av sina modeller och sitt säkerhetsarbete. Bolaget har också undertecknat ett amerikanskt avtal från Vita huset, White House Accord on Super Intelligence, där företag lovat samarbeta med oberoende externa granskare. Nu har alltså METR fått en nära inblick. Under det senaste året har METR enligt Anthropic redan genomfört flera granskningar av bolagets riskrapporter.

Anthropic förklarar att det inte kan dela all säkerhetsrelevant information offentligt. Delar kan vara användbara för illasinnade aktörer, eller vara kommersiellt känsliga, som uppgifter om datorkraft och träning. Därför ger bolaget i stället externa granskare djup insyn och låter dem redovisa bevis och motiverade slutsatser om riskerna. Målet är att minska glappet mellan vad granskarna förstår om ett AI-bolags system och vad bolaget självt vet.

Enligt Anthropic behöver en granskare fyra saker: kunskap om att bedöma avancerade modeller, oberoende (inget ägande i bolaget och inget ekonomiskt eller operativt beroende), tillräcklig tillgång samt frihet att publicera sina iakttagelser. Anthropic jämför med banktillsyn, där tillsynsmyndigheter placerar granskare inne i de största bankerna. Bolaget påpekar att jämförelsen inte är exakt.

METR-teamet består av sex personer. Anthropics anställda uppmuntras att dela information med dem som med en kollega som arbetar med risker kring modellers målstyrning, utom i ett fåtal tydligt avgränsade kategorier: kunddata, advokatsekretessbelagd information och uppgifter om modellarkitektur. Enligt Anthropic är arkitekturuppgifter en stor läckagerisk och sällan viktiga för riskbedömningen. När de är det vill bolaget generellt dela dem, men det kräver uttryckliga interna godkännanden.

METR publicerar sin analys av Anthropics risknivåer, incidenter och metoder. Anthropic avgör själv vad som faller inom de definierade kategorierna för borttagning, men METR förbehåller sig rätten att uttala sig om hur mycket tillgång och information organisationen fick. Samarbetet är begränsat till ett litet team under bindande avtal, och övriga METR-anställda, även forskare som arbetar med Anthropic i andra projekt, hålls avskilda från teamets arbete. Anthropic betonar att upplägget inte är ett sätt för andra organisationer att få del av bolagets eller kundernas information.

De tre nivåerna ser ut så här: På nivå ett gör granskare avgränsade riskundersökningar, Anthropic bestämmer tillgången och publicering kräver bolagets godkännande. På nivå två kan granskare publicera utan godkännande och får mer information, men Anthropic kan kräva borttagning av vissa kategorier, och granskarna får kommentera om det var befogat. Nivå tre är METR-upplägget, med anställdsliknande tillgång och publiceringsrätt liknande nivå två. Anthropic hoppas på sikt få flera granskare på nivå tre.

SecureBio har slutfört och publicerat en pilotgranskning av den förra riskrapporten och granskar nu kapitlet om kemiska och biologiska vapen i augustirapporten. Därefter ska bolaget överväga projekt med större tillgång. Med Accenture och Faculty arbetar Anthropic mot ett ambitiöst partnerskap som även gäller alignment-bedömningar och kompetensuppbyggnad. Anthropic skriver att bolaget låter granskare komma in frivilligt och att alla ledande AI-bolag borde göra detsamma.

Vad det betyder för dig i Sverige

Källan nämner inte Sverige och beskriver inga konsekvenser för svenska användare eller företag. Det är alltså inte känt om något förändras i hur Anthropics tjänster fungerar eller erbjuds här. Det som beskrivs gäller hur ett AI-bolag låter externa parter granska sina risker. För den som följer eller använder avancerad AI kan det ge mer oberoende underlag om säkerheten, eftersom METR ska publicera sina bedömningar.

Det här vet vi inte än

• När METR publicerar sin första analys, och vad den kommer att visa, framgår inte.

• Vilka kategorier av information som får tas bort före publicering anges inte närmare än med exemplet konfidentiell immateriell egendom.

• Det är oklart när, eller om, SecureBio, Accenture och Faculty eller andra granskare når den tredje nivån. Anthropic säger bara att det är ett mål om förtroende byggs upp.

• Vilka villkor som gäller för samtalen med Hugging Face och andra organisationer är inte känt.

• Källan anger inte hur Anthropic planerar att följa upp att granskarna får tillräcklig insyn i praktiken.

Viktigt att veta

Artikeln är allmän information och ersätter inte rådgivning från legitimerad vårdpersonal, jurist eller ekonomisk rådgivare. Dela aldrig patient-, klient- eller personuppgifter med AI-tjänster utan rättslig grund, och låt en människa fatta beslut som påverkar hälsa, rättigheter eller ekonomi.