Prestazioni di traduzione di ChatGPT e come influirà sul futuro della traduzione automatica

Qual è il futuro della traduzione automatica (MT)? In Lionbridge ce lo chiediamo ogni giorno.

I principali motori di traduzione automatica, ovvero Google NMT, Bing NMT, Amazon, DeepL e Yandex, non hanno quasi fatto progressi durante il 2022. Potete controllare voi stessi l'andamento nel nostro strumento di valutazione della traduzione automatica, il più longevo del settore. Questi risultati poco brillanti ci hanno portato a farci alcune domande sull'attuale paradigma della traduzione automatica neurale (NMT).

• Sta raggiungendo un plateau?
• È necessario un nuovo cambio di paradigma, considerando l'incapacità dei motori di fare progressi significativi? 
• Cosa ci riserva il futuro?

Secondo noi, i Large Language Model (LLM), vale a dire i modelli linguistici addestrati su enormi quantità di contenuti e capaci di gestire più modalità e più lingue, avranno un ruolo di rilievo nel paradigma futuro. Su che basi lo diciamo? Ci basiamo sui risultati della nostra innovativa analisi che ha messo a confronto le prestazioni di traduzione di ChatGPT con quelle dei motori di traduzione automatica.

ChatGPT, l'ultima versione di OpenAI della famiglia di modelli LLM GPT-3, ha prodotto risultati solo di poco inferiori rispetto ai motori di traduzione automatica designati. Le sue prestazioni sono state a dir poco notevoli e senza dubbio prevediamo implicazioni per il futuro della traduzione automatica.

Sta forse emergendo un nuovo paradigma della traduzione automatica?

Le attuali tendenze dei motori di traduzione automatica ci trasmettono un senso di déjà vu.

Verso la fine dell'era della traduzione automatica statistica, sostituita poi dalla traduzione automatica neurale, la qualità dell'output della traduzione automatica era praticamente invariata. I diversi motori di traduzione automatica avevano inoltre raggiunto livelli di qualità simili. Lo stesso sta accadendo ora.

È evidente che la traduzione automatica neurale non può essere rimpiazzata nell'immediato. Tuttavia, se crediamo nella crescita esponenziale e nella legge dei ritorni accelerati, e se consideriamo la corsa di trent'anni della traduzione automatica basata su regole, la prominenza decennale della traduzione automatica statistica e il fatto che la traduzione automatica neurale sia ora al suo sesto anno, un nuovo cambio di paradigma potrebbe non essere troppo lontano.

Quale potrebbe essere il prossimo paradigma della traduzione automatica?

Gli importanti progressi dei modelli LLM durante il 2022 hanno preparato la tecnologia per l'ingresso nel campo della traduzione automatica nel 2023.

I modelli LLM sono modelli generici che sono stati addestrati per svolgere numerose attività. Tuttavia, verso la fine del 2022, abbiamo visto alcuni modelli LLM dedicati (o ottimizzati) compiere progressi essenziali in alcune aree specifiche. Grazie a questi sviluppi, e con un po' di addestramento aggiuntivo, la tecnologia sarà in grado di eseguire traduzioni.

Prendiamo ad esempio ChatGPT. OpenAI ha ottimizzato quest'ultimo modello perché sia in grado di interagire con gli utenti attraverso dialoghi composti da domande e risposte, oltre che per eseguire tutto quello che i modelli LLM generici possono fare. 

Con la traduzione, può accadere qualcosa di simile, se i modelli LLM vengono ottimizzati per tradurre. 

In che modo devono essere ottimizzati i Large Language Model per gestire le traduzioni?

Per usare i modelli LLM per la traduzione, è necessario addestrare le macchine con un corpus linguistico più bilanciato. 

Il corpus usato per addestrare GPT-3 era per il 93% inglese e tutte le altre lingue erano presenti solo per un volume pari al 7%. Se GPT-4, il cui rilascio sembra essere imminente, includerà un volume maggiore di dati in lingue diverse dall'inglese, i modelli LLM saranno probabilmente più in grado di gestire contenuti multilingue e, di conseguenza, la traduzione. Un corpus più bilanciato dal punto di vista linguistico potrebbe essere la base per la creazione di un modello ottimizzato e specializzato nella traduzione.

Un altro aspetto interessante di questo ipotetico nuovo paradigma della traduzione automatica basato sui modelli LLM è il carattere multimodale. Per addestrare i modelli LLM è possibile usare sia dati linguistici che di altro tipo, come immagini e video. Questo tipo di addestramento può fornire ulteriori conoscenze del mondo per ottenere una traduzione migliore.

I modelli LLM possono essere una buona alternativa al paradigma della traduzione automatica neurale?

Per capire se i modelli LLM potranno sostituire il paradigma della traduzione automatica neurale, abbiamo confrontato le prestazioni di traduzione di ChatGPT con quelle dei cinque principali motori di traduzione automatica che usiamo nel nostro strumento comparativo di valutazione della qualità della traduzione automatica.

Come previsto, i motori di traduzione automatica neurale specializzati traducono meglio di ChatGPT. Ma, sorprendentemente, ChatGPT ha fatto un lavoro considerevole. Come illustrato nella Figura 1, ChatGPT ha raggiunto prestazioni quasi al livello dei motori specializzati.

Come abbiamo valutato la qualità di ChatGPT rispetto a quella dei motori di traduzione automatica generici?

Abbiamo calcolato il livello di qualità dei motori in base alla distanza di edit inversa, usando più riferimenti per la combinazione linguistica inglese-spagnolo. La distanza di edit misura il numero di modifiche che un essere umano deve apportare all'output della traduzione automatica affinché la traduzione risultante raggiunga lo stesso livello della traduzione umana. Per il nostro calcolo, abbiamo confrontato l'output non elaborato della traduzione automatica con 10 diverse traduzioni umane (riferimenti multipli) anziché una sola. Nel calcolo della distanza di edit inversa, maggiore è il numero risultante, migliore è la qualità.

^{Figura 1. Confronto della qualità della traduzione automatica tra ChatGPT e i principali motori di traduzione automatica in base alla distanza di edit inversa, usando più riferimenti per la combinazione linguistica inglese-spagnolo.}

Perché i risultati relativi alle prestazioni di ChatGPT nella traduzione sono degni di nota?

Questi risultati dell'analisi comparativa sono notevoli perché il modello generico è stato addestrato per svolgere molte diverse attività di elaborazione del linguaggio naturale (PNL) e non la singola attività di traduzione per la quale sono stati addestrati i motori di traduzione automatica. Nonostante ChatGPT non sia stato addestrato in modo specifico per la traduzione, le sue prestazioni in questo campo hanno un livello di qualità simile a quello prodotto dai motori di traduzione automatica due o tre anni fa.

Per saperne di più su ChatGPT e localizzazione, leggete il nostro blog.

Come potrebbe evolversi la traduzione automatica in relazione ai Large Language Model?

Considerando lo sviluppo dei modelli LLM, grazie all'attenzione del pubblico e ai significativi investimenti che le aziende tecnologiche stanno facendo in questa tecnologia, vedremo presto se ChatGPT supererà i motori di traduzione automatica o se la traduzione automatica inizierà ad adottare un nuovo paradigma LLM.

La traduzione automatica può usare i modelli LLM come base, ma quindi la tecnologia deve essere perfezionata in modo specifico per la traduzione. Si tratta di qualcosa di analogo a ciò che OpenAI e altre società che si occupano di modelli LLM stanno facendo per migliorare i loro modelli generici per casi d'uso specifici, come consentire alle macchine di comunicare con gli esseri umani in modo colloquiale. La specializzazione aggiunge precisione alle attività svolte.

Cosa ci riserva, in generale, il futuro dei Large Language Model?

Un aspetto straordinario dei Large Language Model "generici" è la loro capacità di fare molte cose diverse e offrire una qualità eccellente nella maggior parte delle attività svolte. Ad esempio, GATO di DeepMind, un altro modello di intelligenza generale, è stato testato con più di 600 attività, con risultati straordinari in 400 casi.

Continueranno ad esistere due linee di sviluppo: i modelli generici, come GPT, Megatron e GATO, e i modelli specializzati per scopi specifici basati su tali modelli generici.

I modelli generici sono importanti per far progredire l'intelligenza artificiale generica (AGI, Artificial Generic Intelligence) e per consentire sviluppi ancora più sorprendenti a lungo termine. I modelli specializzati avranno applicazioni pratiche nel breve periodo per aree specifiche. Uno degli aspetti notevoli dei modelli LLM è che entrambe le linee possono progredire e funzionare in parallelo.

Quali sono le implicazioni di un cambio di paradigma nella traduzione automatica?

Man mano che l'attuale paradigma della tecnologia di traduzione automatica neurale raggiunge il suo limite ed emerge un nuovo paradigma dominante, probabilmente basato sui modelli LLM, prevediamo alcuni cambiamenti per quanto riguarda la traduzione automatica. Gli effetti rappresenteranno per lo più un vantaggio per le aziende, anche se prevediamo ulteriori sfide da affrontare per chi desidera ricorrere alle traduzioni umane.

Ecco cosa possiamo aspettarci:

Qualità migliore

Ci sarà un salto di qualità nella traduzione automatica man mano che i progressi tecnologici risolveranno problemi di vecchia data, come quelli legati a linguaggio formale e informale nella traduzione automatica e altri problemi di qualità correlati al tono. I modelli LLM possono persino risolvere il problema più grande dei motori di traduzione automatica: la mancanza di conoscenza del mondo. Questo risultato è reso possibile dall'addestramento multimodale.

Gli esperti in tecnologia addestrano i moderni modelli LLM non solo con grandi quantità di testo, ma anche usando immagini e video. Questo tipo di addestramento consente ai modelli LLM di avere una conoscenza più interconnessa che aiuta le macchine a interpretare il significato del testo.

Maggiore produzione di contenuti e riduzione dell'offerta di traduttori di alto livello

Le aziende saranno in grado di creare più contenuti più velocemente e la produzione di contenuti supererà la crescita dei pool di traduttori in grado di tradurre tali contenuti. Anche con i miglioramenti della traduzione automatica e l'aumento della produttività dei traduttori, la community di traduzione faticherà a soddisfare tutte le richieste.

Maggiore diffusione della traduzione automatica

Man mano che il nuovo paradigma tecnologico diventa disponibile e che la qualità della traduzione automatica migliora, la domanda di servizi di traduzione continuerà a crescere, diffondendosi in più situazioni e casi d'uso.

Uso della traduzione automatica per migliorare l'esperienza dei clienti

Con il miglioramento della qualità della traduzione automatica e la necessità di esperienze cliente più personalizzate e su misura, le aziende useranno la traduzione automatica più frequentemente per offrire esperienze digitali migliori per i clienti globali e creare relazioni più solide.

Qual è la conclusione?

Le aziende tecnologiche stanno dimostrando un grandissimo interesse per la tecnologia LLM. Microsoft sta investendo 10 miliardi di dollari in OpenAI. Anche Nvidia, Google e altre società stanno facendo grossi investimenti nella tecnologia dei modelli LLM e dell'intelligenza artificiale.

Siamo curiosi di scoprire cosa ci riserva il futuro e continueremo a valutare i modelli LLM. Tenete d'occhio questa pagina per rimanere aggiornati su questa entusiasmante evoluzione.

Contattateci

Se volete saperne di più su come Lionbridge può aiutarvi a sfruttare al meglio la traduzione automatica, contattateci oggi stesso.