ChatGPT の翻訳品質とそこから見える機械翻訳の未来

機械翻訳 (MT) の未来はどうなるのでしょうか。ライオンブリッジでは日々その答えを模索しています。

主要な機械翻訳エンジンである Google NMT、Bing NMT、Amazon、DeepL、Yandex は、2022 年に品質の点でまったくと言っていいほど進化しませんでした。これは、業界でも長期にわたる当社の MT トラッカー「機械翻訳トラッカー」でご確認いただけます。これらの捗々しくない結果から、現在のニューラル機械翻訳 (NMT) について次のような疑問が生まれました。

• NMT は停滞期に入っているのか。
• 従来のエンジンで大きな前進ができないと考えると、新たなパラダイム シフトが必要なのではないか。 
• その後何が起こりうるのか。

当社では、マルチモダリティと多言語を含む膨大なコンテンツを活用する大規模言語モデル (LLM) が、将来のパラダイムに関わりを持つと予想しています。なぜそう考えるのでしょうか。それは ChatGPT と MT エンジンの翻訳品質を比較した画期的な分析結果があるからです。

OpenAI の LLM である GPT-3 ファミリーの最新版 ChatGPT は、指定した MT エンジンよりも結果は劣っていましたが、大差はありませんでした。その品質はすばらしいとしか言いようがなく、機械翻訳の未来に影響を与えるのは疑いのないところです。

新しい機械翻訳パラダイムが進行していると思われる理由

現在の MT エンジンの傾向を見るにつけ、既視感に襲われます。

NMT に取って代わられた統計的機械翻訳時代の終末期、MT の品質は変化がないも同然で、各種 MT エンジン間の品質には差がなくなってもいました。現在がまさにこの状況です。

NMT がすぐにも取って代わられることはないかもしれません。しかし、指数関数的成長と収穫加速の理論が正しいとして、ルールベース MT の 30 年の運用と統計的 MT の 10 年にわたる隆盛を考慮し、さらに NMT が登場から 6 年目であることを踏まえると、新たなパラダイム シフトはそう遠くないとも考えられます。

次の機械翻訳パラダイムとなりえるのは何か

2022 年中の LLM の重要な進歩によって、このテクノロジーが 2023 年に MT 分野に参入する下地は整いました。

LLM は、さまざまなことを実行できるようトレーニングされた汎用モデルです。しかし、2022 年末までに、何らかに特化した (微調整された) LLM が、いくつかの特定の分野できわめて重要な進歩を遂げたことがわかりました。つまり、何らかの追加トレーニングを行えば翻訳を実行できるポジションに立ったのです。

たとえば、ChatGPT です。OpenAI はこの最新モデルを調整して、質問応答の対話ができるようにしましたが、このモデルは汎用 LLM で実行可能なことは引き続き何でも実行できます。 

翻訳用に調整した LLM を使えば、翻訳に関しても同じようなことが起こるかもしれません。 

大規模言語モデルでの翻訳処理に必要な調整方法

よりバランスの取れた言語コーパスで機械がトレーニングされれば、翻訳に LLM を使用できる可能性はさらに高まります。 

GPT-3 のトレーニング コーパスは 93% が英語で、それ以外のすべての言語のコーパスはわずか 7% です。近々リリースされると見られている GPT-4 に、英語以外の言語のコーパスがもっと含まれれば、LLM を多言語の処理能力が高いもの、ひいては翻訳能力も高いものとしてみなすことができるかもしれません。そしてこの言語バランスの取れたコーパスは、翻訳に特化していることに加えて、調整モデルを構築するベースになる可能性があります。

この LLM をベースとした仮説としての新たな MT パラダイムには、興味深い側面がもう一つあります。マルチモダリティの傾向です。当社は、LLM のトレーニングに、言語データに加えて画像や動画といった他のトレーニング データを使用することがあります。このタイプのトレーニングによって、より質の高い翻訳につながるような、世界についての知識がさらに提供される可能性があります。

大規模言語モデルがニューラル機械翻訳に取って代わるパラダイム シフトが起こるのか

LLM が NMT に取って代わるものとして有望なのかを評価するために、MT 品質トラッキングで当社が使用している 5 つの主要 MT エンジンと ChatGPT の翻訳パフォーマンスを比較しました。

予想どおり、特化型 NMT エンジンのほうが ChatGPT よりも翻訳は優れていました。しかし、驚くべきことに、ChatGPT の品質も遠からず優れたものでした。図 1 に示すように、ChatGPT は特化型エンジンに匹敵する結果を残しました。

ChatGPT と汎用型 MT エンジンの品質比較の評価方法

エンジンの品質レベルは、英語からスペイン語に翻訳する言語ペアの複数の参照訳をサンプルとして、逆編集距離に基づいて算出しました。編集距離は、MT の出力に対して、翻訳者による翻訳品質と同等にするために人間が行わなければならない編集の量を算出するものです。今回は、翻訳者による翻訳 1 種類のみではなく、10 種類、つまり複数の参照訳と MT のみの出力を比較しました。逆編集距離は、結果の数値が大きいほど品質が優れていることを意味します。

^{図 1. 英語からスペイン語に翻訳する言語ペアの複数の参照訳を使用した逆編集距離に基づく、ChatGPT と主要機械翻訳エンジンによる自動翻訳品質の比較。}

ChatGPT の翻訳品質が注目に値する理由

比較分析の結果は目を見張るものです。というのも、MT エンジンが翻訳という単一の NLP タスクに特化してトレーニングされているのに対し、汎用モデルは多種多様な自然言語処理 (NLP) タスクを実行するようトレーニングされているからです。ChatGPT は翻訳の実行用にトレーニングされているわけではないのに、その翻訳品質は、2 ～ 3 年前の MT エンジンの品質レベルと同等なのです。

ChatGPT とローカリゼーションの詳細については、当社のブログ記事をご覧ください。

大規模言語モデルの影響を受けた機械翻訳の進化

世間の関心とこの技術へのテクノロジー企業の大型投資を踏まえて LLM の成長を考えると、ChatGPT が MT エンジンを追い越すかどうか、または MT が新しい LLM のパラダイムを採用するようになるかどうかがわかるまでに、それほど時間はかからないかもしれません。

LLM が MT のベースとして使用される可能性はありますが、その際は機械翻訳向けにテクノロジーのチューニングが行われる可能性があります。これは、機械と人間の会話によるコミュニケーションを可能にするといった特定のユース ケース向けに汎用モデルを向上させるべく、OpenAI や他の LLM 企業が行っていることと同様のことです。特化することで、実行するタスクの精度が高まります。

大規模言語モデルの総体的な展望

これらの大規模言語「汎用」モデルの優れた点は、さまざまなことを実行でき、それらのタスクのほとんどで優れた品質を示せることです。たとえば、DeepMind の GATO は別の汎用 AI モデルですが、600 以上のタスクでテストされ、うち 400 で「現時点での最先端レベル (SOTA: State-of-the-Art)」という結果を示しました。

GPT、Megatron、GATO のような汎用モデルと、これらの汎用モデルをベースに特定の目的のために特化したモデルという 2 つの開発ラインは今後も存続するでしょう。

汎用モデルは、汎用人工知能 (AGI) を進化させるうえで、そしておそらくは長期的な、より目覚ましい発展を進めるうえで重要です。そして特化型モデルは、特定の分野で短期的に実用化されるでしょう。LLM で注目すべきことの一つは、両方のラインが並行して同時に進化・機能できる点です。

機械翻訳におけるパラダイム シフトの意味

現在のニューラル機械翻訳テクノロジーは限界に達し、有力な機械翻訳テクノロジー (おそらくは LLM をベースとするもの) が新たに登場しているので、MT 分野で何らかの変化が起こることが予測されます。それによる影響の多くは、企業にとってメリットとなりますが、人による翻訳を求める企業にとってはいくつか課題が生じると考えられます。

以下でその課題を説明します。

品質向上

技術的な進歩によって、機械翻訳におけるフォーマル/カジュアルな言葉遣いやトーン (語調) に関係する品質の問題といった長年の問題を解決できるので、機械翻訳の品質は大きく飛躍します。LLM は、MT エンジン最大の問題である「世界についての知識」の不足すら解決できるかもしれません。これは、マルチモダリティ トレーニングを通じて達成できる可能性があります。

テクノロジストは、最新の LLM をトレーニングに大量のテキストだけでなく、画像や動画も使用します。このタイプのトレーニングによって、LLM は、機械がテキストの意味を解釈するうえで役立つ、より関連性のある知識を持てるようになります。

コンテンツの増加と優秀な翻訳者の供給不足

企業はより多くのコンテンツを迅速に制作できるようになりましたが、現状では、そのペースがそれを翻訳する能力がある翻訳者数の増加を上回っています。MT と翻訳者の生産性の向上をもってしても、翻訳コミュニティが翻訳需要を満たすのは難しい状況が続くでしょう。

機械翻訳の導入の増加

新しいテクノロジーが利用できるようになり、機械翻訳の品質も向上しているので、翻訳サービスの需要は成長を続け、より多くの状況やユースケースで導入が進むと思われます。

機械翻訳の使用によるカスタマー エクスペリエンスの向上

MT 品質の向上と、よりパーソナライズ/カスタマイズされたカスタマー エクスペリエンスのニーズを背景として、企業は MT の使用を増やして、世界中の顧客のデジタル エクスペリエンスを向上させ、強い信頼関係を築くようになるでしょう。

結論

テクノロジー企業は、LLM テクノロジーに多大な関心を示しています。OpenAI に対するマイクロソフトの投資額は 100 億ドルです。Nvidia、Google、その他の企業も、LLM や AI テクノロジーに多額の投資を行っています。

今後どうなるか興味深く見守っていきたいと思います。当社は今後も LLM の評価を続け、こうしたブログ記事を通じて、皆さまに心躍る進化の最新情報をお届けします。どうぞご期待ください。

お問い合わせ

機械翻訳を最大限に活用できるようライオンブリッジがお手伝いいたします。ぜひ当社までお問い合わせください。