Opålitligt när AI bedömer översättningar

Studien handlar om maskinöversättning, det vill säga texter som översatts automatiskt av ett datorprogram. Sådana översättningar behöver granskas, och enligt forskarna ses stora språkmodeller som ett snabbare och billigare sätt att göra det än att låta människor granska.

Forskarna lät språkmodellerna granska översättningar enligt två olika metoder, kallade MQM och ESA, och jämförde resultatet med mänskliga granskares bedömningar. Materialet omfattade långa texter på 70 språkpar, alltså kombinationer av språk som översatts från och till, plus de öppna datamängderna WMT23 och WMT25.

I en del uppgifter stämde modellernas bedömningar bättre överens med människornas än människornas stämde med varandra, uppger forskarna. Men resultaten skiftade kraftigt beroende på granskningsmetod, språk och typ av text, och enligt sammanfattningen "remain unreliable for most settings".

AI och människor har svårt med olika saker. Enligt forskarna har språkmodellerna svårt att hantera små, mindre allvarliga fel, att upptäcka när en översättning är skriven i fel variant av ett språk och att peka ut exakt var i texten ett fel sitter. Studiens sammanfattning ger inga konkreta exempel på sådana fel. Människorna har i stället framför allt svårt med den mycket detaljerade granskningsmetoden MQM och med språk där det finns lite material att tillgå.

Som väg framåt föreslår forskarna att människor och AI granskar tillsammans, vilket möjligen kan ge säkrare bedömningar. Det är en idé, inte något studien har visat.

Bakom studien står Hala Almaghout, Christian Federmann och Qin Gao. Den är publicerad i oktober 2026 på Apple Machine Learning Research och kopplad till konferensen EMNLP.