ChatGPT:s översättningsresultat och vad det säger oss om maskinöversättningens framtid

Hur ser framtiden ut för maskinöversättning (MT)? Det är en fråga som vi grubblar över dag och natt på Lionbridge.

De stora maskinöversättningsmotorerna – Google NMT, Bing NMT, Amazon, DeepL och Yandex – gjorde inga eller obetydliga framsteg under 2022. Se efter själv i vårt bedömningsverktyg för maskinöversättning, som under lång tid har använts för att mäta resultaten från stora MT-motorer. De här undermåliga resultaten väcker en hel del frågor beträffande det nuvarande paradigmskiftet inom neural maskinöversättning (NMT).

• Har NMT-paradigmskiftet nått en platå?
• Krävs det ett nytt paradigmskifte, med tanke på att motorerna verkar ha svårt att ta betydande steg framåt? 
• Vad kan komma härnäst?

Vi kan slå vad om att stora språkmodeller (LLM) – med sina enorma innehållsmängder på många språk och olika stilnivåer – kommer att ha ett finger med i spelet vid ett kommande paradigmskifte. Varför tror vi det? Baserat på resultaten från vår banbrytande analys, då vi jämförde ChatGPT:s översättningsresultat med resultaten från MT-motorer.

ChatGPT, OpenAI:s senaste version av GPT-3-familjen med LLM:er, producerade sämre resultat än dedikerade MT-motorer – men inte speciellt. Resultaten var inget mindre än sensationella och kommer otvivelaktigt få konsekvenser för maskinöversättningens framtid.

Varför kan ett nytt paradigmskifte inom maskinöversättning vara på gång?

Dagens MT-motortrender ger oss en déjà vu-känsla.

Under den statistiska maskinöversättningens sista tid, innan den ersattes av NMT, skedde praktiskt taget inga förbättringar av kvaliteten hos maskinöversättningarna. Vi kunde också se att kvaliteten på maskinöversättningar från olika motorer blev allt jämnare. Samma sak händer nu.

NMT kommer visserligen inte att ersättas i närtid, men om vi sätter vår tilltro till teorier om exponentiell tillväxt och ökad avkastning är ett nytt paradigmskifte kanske inte så långt borta – särskilt inte om vi ser till den regelbaserade maskinöversättningens 30-åriga historia och den statistiska maskinöversättningens decennielånga dominans, och det faktum att NMT nu är inne på sitt sjätte år.

Hur skulle det nya paradigmskiftet inom maskinöversättning kunna se ut?

Under 2022 har viktiga framsteg inom LLM:er gjort tekniken redo att ta steget in på MT-området under 2023.

LLM:er är generiska modeller som har tränats att göra många saker. I slutet av 2022 kunde vi dock se att vissa dedikerade – eller finkalibrerade – LLM:er gjorde viktiga framsteg inom specifika områden. Genom utvecklingen positionerar sig tekniken för att kunna utföra översättningar efter lite ytterligare träning.

Ta till exempel ChatGPT. OpenAI finjusterade den här senaste modellen så att den kan föra samtal med frågor och svar och samtidigt göra allt annat som generiska LLM:er kan. 

Något liknande kan hända med översättning, om LLM:er finjusteras för översättning. 

På vilket sätt behöver stora språkmodeller finjusteras för att kunna hantera översättning?

Sannolikheten att LLM:er kan användas för att utföra översättningar skulle öka om maskinerna tränades med en mer balanserad språkkorpus. 

GPT-3 har tränats med en korpus som består till 93 procent av engelska, medan bara 7 procent kommer från alla andra språk. Inom kort släpps förmodligen GPT-4. Om den innehåller mer språkkorpus från andra språk än engelska, kommer vi kanske få se LLM:er som är bättre på att hantera flerspråkighet – och därmed översättning. Den här korpusen med bättre balans mellan olika språk kan utgöra en bra grund för att bygga en finkalibrerad modell som är specialiserad på översättning.

En annan intressant aspekt av det här nya, hypotetiska paradigmskiftet inom MT baserat på LLM:er är trenden med flera modaliteter. I framtiden kan vi träna LLM:er med lingvistiska data och andra träningsdata, till exempel bilder och video. Den här sortens träning kan förse maskinen med ytterligare ordkunskaper som ger bättre översättning.

Kan stora språkmodeller vara ett bra alternativ till ett paradigmskifte inom neural maskinöversättning?

För att undersöka hur lovande LLM:er är som utmanare i ett NMT-paradigmskifte jämförde vi översättningsresultaten från ChatGPT med de fem största MT-motorerna som vi använder i vårt bedömningsverktyg för maskinöversättning.

Som väntat översatte de specialiserade NMT-motorerna bättre än ChatGPT. Men överraskande nog gjorde ChatGPT ett hyfsat jobb. Som du kan se i bild 1 presterade ChatGPT nästan lika bra som de specialiserade motorerna.

Hur bedömde vi kvaliteten från ChatGPT respektive de generiska MT-motorerna?

Vi beräknade kvalitetsnivån från motorerna utifrån det omvända redigeringsavståndet med hjälp av flera referenser för språkkombinationen engelska till spanska. Redigeringsavståndet mäter antalet redigeringar som en mänsklig redigerare behöver göra i MT-resultatet för att den resulterande översättningen ska bli lika bra som en manuell översättning. I vår beräkning jämförde vi det råa MT-resultatet med tio olika manuella översättningar – flera referenser – i stället för bara en enda manuell översättning. Det omvända redigeringsavståndet innebär att ju högre den resulterande siffran är, desto bättre är kvaliteten.

^{Bild 1. Jämförelse av automatiserad översättningskvalitet mellan ChatGPT och de stora maskinöversättningsmotorerna utifrån omvänt redigeringsavstånd och med hjälp av flera referenser för språkkombinationen engelska till spanska.}

Varför är översättningsresultaten från ChatGTP så anmärkningsvärda?

Resultaten från vår jämförande analys är anmärkningsvärda, eftersom den generiska modellen har tränats att utföra många olika uppgifter inom bearbetning av naturligt språk (NLP), till skillnad från den enda NLP-uppgift (översättning) som MT-motorerna har tränats att göra. Och även om ChatGPT inte har tränats specifikt för att utföra översättningar ligger dess översättningsresultat på ungefär samma kvalitetsnivå som MT-motorerna producerade för två eller tre år sedan.

Läs vår blogg för att lära dig mer om ChatGTP och lokalisering.

Hur kan maskinöversättningen utvecklas till följd av stora språkmodeller?

Med tanke på tillväxten inom LLM:er – som bygger på allmänhetens intresse och de betydande investeringar som teknikföretag gör i tekniken – kan vi förmodligen snart få se om ChatGPT går om MT-motorerna eller om MT börjar genomföra ett nytt LLM-paradigmskifte.

MT kan använda LLM:er som grund, men sedan finslipa tekniken specifikt för maskinöversättning. Det skulle påminna om det som OpenAI och andra LLM-företag gör för att förbättra sina generiska modeller för specifika användningsområden, till exempel att göra det möjligt för maskinerna att kommunicera med människor genom vanliga samtal. Specialisering ökar precisionen i utförda uppgifter.

Vad väntar i framtiden för stora språkmodeller i allmänhet?

En fantastisk sak med de här stora ”generiska” språkmodellerna är att de kan göra många olika saker och erbjuda enastående kvalitet i de flesta av uppgifterna. Till exempel har DeepMinds GATO, en annan generisk intelligensmodell, testats med över 600 uppgifter – och uppnått State-of-the-Art-resultat (SOTA) i 400 av dem.

Två utvecklingsspår kommer att finnas kvar även framöver: generiska modeller som GPT, Megatron och GATO och specialiserade modeller för särskilda ändamål baserat på dessa generiska modeller.

De generiska modellerna är viktiga för att uppnå framsteg inom artificiell generisk intelligens (AGI) och eventuellt ännu mer imponerande framsteg på lång sikt. Specialiserade modeller kommer att vara till praktisk nytta på kort sikt inom specifika områden. En av de anmärkningsvärda sakerna med LLM:er är att båda spåren kan utvecklas och fungera parallellt.

Vilka blir följderna av ett paradigmskifte inom maskinöversättning?

Dagens neurala maskinöversättningsteknik når snart vägs ände och ett nytt paradigmskifte kan skönjas vid horisonten, där ny maskinöversättningsteknik dominerar – förmodligen baserad på LLM:er. Vi räknar därför med att en hel del kommer att förändras på MT-området. De flesta av effekterna kommer att gynna företag, även om vi antagligen kommer få se ytterligare utmaningar för företag som vill utföra manuella översättningar.

Vi ser följande framför oss:

Bättre kvalitet

Maskinöversättningskvaliteten kommer att ta ett kliv framåt i takt med att tekniska framsteg löser långvariga problem, till exempel maskinöversättning av formellt respektive informellt språk och andra kvalitetsprogram kopplade till tonläge och språknivå. LLM:er kanske till och med kan lösa MT-motorernas största problem: bristen på kunskap om omvärlden. Det kan eventuellt bli möjligt genom att träna motorerna för flera modaliteter.

Tekniker tränar inte bara moderna LLM:er med enorma textmängder, utan använder också bilder och video. Den här sortens träning ger LLM:erna mer sammanhängande kunskaper, som hjälper maskinerna att tolka texternas betydelse.

Ökad innehållsproduktion och minskad tillgång på förstklassiga översättare

Framöver kan företag skapa mer innehåll på kortare tid och skapandet av innehåll kommer att gå snabbare än tillväxttakten i översättarpoolen med kompetens att översätta innehållet. Även med förbättrad MT och högre produktivitet bland översättare kommer översättarcommunityn ha svårt att tillgodose efterfrågan på översättningar.

Ökad användning maskinöversättning

I takt med att det nya teknikparadigmet blir tillgängligt och kvaliteten på maskinöversättning förbättras, kommer efterfrågan på översättningstjänster fortsätta växa och MT användas i fler situationer och användningsfall.

Använda maskinöversättning för att skapa bättre kundupplevelser

När MT-kvaliteten blir bättre och behovet av mer personliga och skräddarsydda kundupplevelser växer, kommer företag oftare använda MT för att förbättra digitala upplevelser för globala kunder och bygga starkare relationer.

Och vad innebär detta?

Teknikföretagen visar enormt intresse för LLM-teknik. Microsoft investerar 10 miljarder US-dollar i OpenAI. Nvidia, Google och andra företag gör också stora investeringar i LLM och AI-teknik.

Vi ser med spänning fram emot vad framtiden ska utvisa och kommer att fortsätta utvärdera LLM:er. Håll utkik här för att hålla dig uppdaterad om den här spännande utvecklingen.

Kontakta oss

Om du vill veta mer om hur Lionbridge kan hjälpa dig att få ut mesta möjliga av maskinöversättning, kontakta oss i dag.