Anthropic släpper in externa AI-granskare
AI-bolaget Anthropic uppger att sex personer från den ideella organisationen METR har fått ungefär samma åtkomst som egna anställda. METR utvärderar avancerade AI-modeller och ska granska Anthropics modeller och säkerhetsarbete.
VärldenAI-illustrationAnthropic uppger att bolaget kan begära att vissa uppgifter i METR:s analyser maskas, men bara inom några snäva kategorier som är bestämda i förväg. Att stoppa en publicering kan bolaget däremot inte, enligt Anthropic. METR:s bedömning av bolagets risknivåer, incidenter och arbetssätt ska bli offentlig. METR får dessutom själv säga om maskningarna var befogade, så länge det dolda inte avslöjas.
Teamet sitter enligt Anthropic på bolagets kontor och har fått dess hårdvara och tillgång till interna verktyg och system, ungefär på samma nivå som bolagets egna riskbedömare. Vissa kategorier ligger utanför, uppger bolaget, till exempel kunddata, information under advokatsekretess och uppgifter om modellernas arkitektur. Upplägget gäller bara det lilla teamet och styrs av avtal som går att genomdriva. Övriga på METR, även forskare som arbetar med Anthropic i andra projekt, ska enligt bolaget hållas avskilda.
Varför utomstående behövs förklarar Anthropic med att all säkerhetsinformation inte kan offentliggöras. En del kan enligt bolaget vara till nytta för illasinnade aktörer, annat är affärskänsligt. Anthropic jämför själv med banktillsyn, där myndigheter har granskare inne hos de största bankerna, men skriver att jämförelsen inte är exakt.
METR uppger på sin webbplats att organisationen inte tar betalt för sitt riskbedömningsarbete. Enligt METR har Anthropic, OpenAI och xAI gett åtkomst och tokens för utvärderingar och forskning.
Enligt Anthropic är METR-upplägget den högsta av tre åtkomstnivåer som bolaget håller på att ta fram för utvärderare. The Decoder rapporterar att andra granskare, som SecureBio, Accenture och Faculty, fått mindre åtkomst och snävare publiceringsgränser. Anthropic säger att målet är flera utvärderare på den högsta nivån över tid.
Anthropic uppger att bolaget i september undertecknade White House Accord on Super Intelligence, en överenskommelse där bolag lovat samarbeta med oberoende granskare. Bolaget anser att alla som utvecklar de mest avancerade AI-modellerna borde göra som Anthropic.
