Studie: Engelska lyfter arabiska språkmodeller

Forskarna gjorde omkring 1 000 träningskörningar med modeller i fyra storlekar, från 150 miljoner till 1,43 miljarder parametrar. Inblandad engelska gav enligt dem tydligare förbättringar än att skruva hårt på hyperparametrarna, alltså de inställningar som styr själva träningen. Ett exempel på en sådan inställning är en hög så kallad weight decay. Försprånget blev större ju större modellen var, uppger de.

Författarna har också räknat om vinsten till mängden data. Mätt på valideringsförlust var blandningen värd lika mycket som två till tre gånger mer unik arabisk text. Mätt på hur väl modellerna klarade praktiska uppgifter motsvarade den två till tretton gånger mer text. Ju större modell, desto brantare steg vinsten, enligt forskarna.

Arabiska fick i studien spela rollen som ett språk med lite data, och engelska fick vara hjälpspråket. Bakgrunden är att det enligt forskarna saknas tillräckligt med text för de flesta av världens språk. Modellen får då läsa samma material om och om igen, och blir sämre på att hantera ny text.

Forskarna varnar för att valideringsförlusten på målspråket systematiskt får blandningen att se mindre värdefull ut än den är. Måttet visar bara att modellen överanpassar sig mindre. Det fångar inte vad den lär sig av det andra språket.

Den som tränar modeller med lite data bör enligt författarna blanda in ett språk med mycket data. Kraften bör läggas på att hitta rätt blandningskvot snarare än på inställningarna. Inställningarna kan i stället hämtas från en liten testmodell med en metod som kallas μP.

Studien har sju författare. Bland dem finns Paul Jeha och Jes Frellsen med koppling till DTU. Jehas arbete gjordes när han var vid Apple, och Frellsen delar seniort författarskap med Pierre Ablin och Natalie Schluter. Artikeln anges som publicerad i oktober 2026, ett datum som inte har kunnat verifieras. Resultaten är författarnas egna och inte oberoende bekräftade.