ライオンブリッジ、MT トラッカーで GPT-4 機械翻訳の結果を共有

機械翻訳の比較評価に大規模言語モデル、特に GPT-4 を含めることの重要性

本記事の執筆時点において、GPT ファミリーの中で最も新しく、実用性の高い大規模言語モデル (LLM) と言われる GPT-4 は、これまでの GPT モデルと比べて、より機械翻訳タスクに適した製品と評されています。

• この生成 AI (GenAI)/LLM モデルの現時点における機械翻訳 (MT) のパフォーマンスはどの程度なのでしょうか。

• 主要なニューラル MT エンジンと比較すると、その結果はどうなのでしょうか。

MT エンジンのパフォーマンス分析を長年行ってきた当社の評価ツール「ライオンブリッジ機械翻訳トラッカー」を活用することで、上記の答えを得られるほか、長期にわたる LLM の進歩を確認できます。

ニューラル MT パラダイムから LLM MT パラダイムへの移行が高まる中、ライオンブリッジでは MT トラッカーに GPT-4 を追加することで、特定のドメインと言語ペアに対する GPT-4 の機械翻訳のパフォーマンスを測定できるようになりました。また、このトラッカーでは他の 2 つの LLM と 5 つの主要ニューラル MT (NMT) エンジンの結果も測定できます。

大規模言語モデルとニューラル MT エンジンの翻訳パフォーマンスの違いについて

現在のところ、ニューラル MT エンジンのパフォーマンスが LLM よりも若干高い状況です。現在のコスト上の検討事項や、パフォーマンスと拡張性の問題により、LLM はまだニューラル MT エンジンの代わりにはなりませんが、特定の方法でこのテクノロジーを活用することで、翻訳ワークフローの強化やコストの削減につなげることができます。

当社では、2023 年 5 月にある特定の例において、GPT-4 モデルがニューラル MT エンジンをしのぐパフォーマンスを発揮したことを報告しました。これは今後起こりうることの予兆であり、LLM の有用性はテクノロジーの成熟に伴って発展の一途をたどることが予測されます。

GenAI/LLM モデルのテストを実施するにつれ、その特異性、制約、機会が明らかになってきています。当社独自の研究における最新の GPT-4 機械翻訳データは、MT トラッカーとその解説記事から入手できます。

詳細については、2023 年 10 月のエキスパートからのコメントをお読みください。

• GPT-4 に関連する特筆すべき特性。

• MT テクノロジー使用時の望ましくない問題を緩和する方法。

• 現在の GPT-4 と他のエンジンとの翻訳パフォーマンスの比較。

ライオンブリッジ MT トラッカーの活用方法について

当社のトラッカー評価ツールでは各エンジンのパフォーマンスに関する重要なデータを得られるため、グローバル企業のお客様は GenAI/LLM テクノロジーの進歩に常に対応し、その力を活用できるようになります。

ただし、自社のニーズを満たすことのできる効果的な MT ソリューションを開発するのは容易ではありません。最もメリットの大きい「ベストオブブリード」型 (最も効果的なエンジンの組み合わせ) のアプローチでは、コンテンツの独自要素に対するエンジンの対応能力に基づいて、複数のエンジンが活用される複雑なシナリオが想定されるためです。さらに LLM を取り入れることで、全体がより複雑になる場合もあります。

お問い合わせ

ライオンブリッジでは、LLM/生成 AI の可能性を活かしたお客様専用のカスタム ソリューションを通じて、測定可能なビジネス上の価値創出をお手伝いいたします。詳しくは、当社までお問い合わせください。