Webサイト翻訳に使うAIモデルを、同じ条件で比較する

Webサイト翻訳のモデルを選ぶときは、自社で使う文章を用いて、同じ条件で比較します。一般的な評価で高得点であっても、製品名や短いUI文言、長い仕様説明で同じ結果になるとは限りません。品質、処理時間、費用、データの扱いを、それぞれ確認します。

会社紹介、製品仕様、料金、問い合わせ、記事など、実際のサイトから代表的な文章を選びます。原文を外部へ送ってよいかを確認したうえで、対象言語ごとに評価します。

同じモデルでも、渡す文脈や文章の区切り方によって結果が変わります。短文だけの評価と、前後の段落を含めた評価を混ぜないようにします。固有名詞、数値、否定、条件、長い修飾を含む文章も対象にすると、必要な確認項目を把握しやすくなります。

評価では、意味の正確さ、読みやすさ、用語の一貫性、文体、文法を確認します。総合点を使う場合も、各項目の定義と重みを決め、何を根拠に採点したかを記録に残します。

数値の変更、条件の脱落、原文にない性能の追加は、読みやすさとは別に記録します。平均点が高くても、公開できない誤りが含まれる場合があります。「何点ならプロ相当」といった基準を、根拠なく共通の尺度として扱わないようにしてください。

複数の担当者で確認する場合は、判断が分かれた箇所も記録に残します。AIによる採点を使う場合も、指摘を原文と照合し、評価そのものの誤りを確認します。

利用日、モデルの正確な識別子、設定、原文、指示、参考資料、用語集、出力、試行回数を記録します。モデルや評価基準を変えた場合は、その変更を結果と一緒に示します。

過去の点数を並べる際は、同じ原文・同じ採点基準だったかを確かめます。実行記録や集計条件を確認できない数値は、現在の性能順位の根拠には使いません。評価した文章が限られている場合は、その範囲での結果として扱います。

表示時に翻訳する場合は、利用者が待つ時間を測ります。事前に翻訳して保存する場合は、完了までの時間と、一定時間に処理できる量を確認します。キャッシュ済みの応答と、新しく翻訳を生成した応答を混ぜないようにしてください。

費用には、原文、指示、参考情報、訳文、再実行の処理量を含めます。文字単価とトークン単価は単位が異なるため、そのまま比べられません。実際の文章量で試算し、人が修正する時間も含めて考えます。

一つのモデルで必要な品質と速度を満たせるなら、構成を単純に保つ選択もできます。文章や言語によって条件が異なる場合は、複数の処理を使い分ける方法を検討します。複数のモデルを使えば必ず品質が上がるわけではなく、用語の不統一や管理の負担も確認が必要です。

契約条件や安全上の注意など、誤訳の影響が大きい内容は、モデルの価格帯だけで確認方法を決めないでください。重要な情報の承認は、内容を把握した担当者が行います。

導入後も、モデル、指示、用語集、文章の区切り方を変えたときは、同じ評価用の文章で再確認します。処理の使い分けは翻訳処理と校正の設計、ツールの機能はChatGPTとDeepLの選び方で説明しています。