Vattenmärken bäddar för falsk trygghet
Anthropic ska märka Claudes text med osynliga vattenmärken för att följa EU:s AI-förordning, och OpenAI uppges planera samma sak. Tekniken är smart. Men den riskerar att lära allmänheten fel sak: att en text utan märke är skriven av en människa.
LedareAI-illustrationKrönika. Åsikterna är krönikörens, inte redaktionens. Fakta i texten bygger på Maskinellts egna, granskade artiklar.
Lätt redigering tar troligen inte bort vattenmärket helt. En fullständig omskrivning gör det. Det skriver Anthropic självt, i en förklaring av hur Claudes text ska märkas.
Ett inlägg i OpenAI:s utvecklarforum, som beskriver bolagets planer, gör en liknande poäng. Enligt inlägget blir detekteringen mindre tillförlitlig för korta texter och för text som redigerats i efterhand.
Min tes är enkel. Vattenmärkning är ett hyggligt verktyg för forskare men en dålig försäkran för allmänheten. Ju mer märkt AI-text framställs som svaret på frågan om vad som är äkta, desto större blir risken att vi litar på en signal som lätt försvinner.
Ordvalen bär märket
Enligt Anthropic kräver EU från och med 2 augusti att AI-leverantörer som betjänar EU-marknaden märker AI-genererat innehåll. Anthropic beskriver hur det går till: när modellen väljer mellan ungefär lika bra ord avgör en nyckel och några föregående ord valet, i stället för slumpen. OpenAI:s teknik heter enligt foruminlägget textGrain och lägger också in en statistisk signal via modellens ordval.
Omfattningen skiljer sig. Enligt inlägget ska OpenAI som standard märka text i ChatGPT och Codex som skapas i EU, medan Anthropic uppger att märkningen gäller globalt.
Men en signal i ordvalen lever bara så länge orden får stå kvar. Enligt Anthropic är märkningen dessutom glesare i faktatexter, korrekturläsning och kod, där exakta ord krävs. Och detekteringen fungerar dåligt på korta texter.
En användare i OpenAI:s forum hävdar att man kan kringgå märkningen genom att låta öppna modeller skriva om texten. Det är en forumröst och inget test. Men påståendet ligger nära det Anthropic självt medger om omskrivning.
Det tomma märket
Det allvarligaste är vad som händer när detektorn inte hittar något. Både Anthropic och foruminlägget om OpenAI:s planer säger att ett uteblivet vattenmärke inte bevisar att en människa skrivit texten. Anthropic tillägger att nyckeln inte heller kan avgöra om en text skrivits av en annan AI.
Ändå är det just så ett märke riskerar att läsas av en lärare, en arbetsgivare eller en väljare som undrar om ett debattinlägg är äkta: märkt betyder maskin, omärkt betyder människa. Det är den falska tryggheten.
Vanliga användare får heller inte själva kontrollera något, åtminstone inte till en början. OpenAI:s detektor ska enligt inlägget inledningsvis bara vara öppen för godkända forskare och expertorganisationer. Anthropics detekterings-API släpps i en privat förhandsversion för bland andra myndigheter, medier, faktagranskare och forskare.
Det starkaste motargumentet
Det finns ett starkt försvar för vattenmärkning, och det förtjänar att tas på allvar. Försvararna resonerar ungefär så här: ingen spärr är perfekt, men många som klistrar in AI-text gör inget för att dölja det, och de kan fångas. Enligt Anthropic kostar märkningen inget extra och påverkar inte kvaliteten i praktiken. I Google DeepMinds test på en del av Gemini-trafiken syntes enligt Anthropic inga statistiskt signifikanta skillnader i användarnas betyg.
Jag köper det mesta av det. För en faktagranskare som analyserar en lång, misstänkt text är märket värdefullt. Men försvaret handlar om att fånga de slarviga, inte om att skydda oss mot dem som verkligen vill vilseleda.
En annan användare i forumet oroar sig för att märkningen kan leda till diskriminering av personer med dyslexi, funktionsnedsättningar eller språkbarriärer. Användaren uppger själv att AI användes för att skriva inlägget. Där blir baksidan tydlig. Märket riskerar att fälla den ärliga som använder AI som hjälpmedel och släppa den som orkar skriva om.
Anthropic skriver i sin egen förklaring, och foruminlägget om OpenAI:s planer säger detsamma: ett saknat märke bevisar inte att en människa skrivit texten. EU och bolagen bör säga det lika högt till allmänheten som i det finstilta. En stämpel som framför allt fastnar på de ärliga och de slarviga är en svag säkerhetsåtgärd. Den ger ett försprång åt den som fuskar.
