品質評価の仕組み
単発の印象ではなく、毎日同じ条件で比較し続ける体制を運用しています。
日次の定点観測
同じ原文・同じ条件で毎日比較し、品質の揺れと再現性を追跡します。原文はプレスリリース、ブログ記事、IRメッセージ、その他文芸作品に至るまで幅広く複雑な原文で定点調査を行っています。
モデル横断の比較
OpenAI、Anthropic、Gemini、その他主要のOSS(Open Weight)モデルを横並びで評価します。
評価基準の開示
翻訳されたテキストをどういう基準でみて判断し、どの水準を良しとするか？を公開するなど、判断の根拠を共有します。
データ保護の前提
【翻訳テキストをLLMの学習用途に使わせない】を初歩の初歩の当たり前の話ではありますが運用における大前提としています。
日次の評価フロー
同一条件で翻訳を実行
比較対象のモデルへ同じ原文セットを投入し、評価の土台をそろえます。
主要言語ごとに結果を並べて確認
英語・中国語・韓国語などを横並びにし、モデル差と言語差の両方を確認します。
6つの評価軸で採点
単一の翻訳精度だけでなく、流暢さや文化的妥当性まで含めて定量評価します。
運用判断へ反映
継続観測の傾向を、モデル選定や公開前の確認ルールに反映します。
評価基準と採点
翻訳精度だけでは、実務で使えるかは判断できません。1つの翻訳文は良くても他の文章との整合性や言い回しの統一感など、多角的に評価する必要があるためです。
そのため、AIシュリーマンでは6つの観点から多面的に評価し、100点満点で採点しています。
6つの評価軸
翻訳精度
原文の意図・情報・ニュアンスが正確に伝わっているか。
言語の流暢さ
翻訳先の言語として自然で読みやすいか。
一貫性
文体・用語・トーンが翻訳文内で統一されているか。
文化的妥当性
翻訳先の文化で不自然ではないか、誤解を招かないか。
文章の正確さ
固有名詞・日付・数値・引用が原文通り正確か。
全体評価
各観点を総合し、公開運用に載せられる品質か。
100点満点の採点基準
翻訳者を上回るレベル
平均的なプロの翻訳者を上回るクオリティ
プロの翻訳者レベル
公開前の大きな補正をほぼ必要としない
ネイティブに近い
商用利用に十分で、軽微な調整で使える
ほぼ違和感がない
多くの場面でそのまま読める実用水準
意味は伝わるが改善余地あり
確認を入れることを推奨する水準
実運用には見直しが必要
補正なしでは使えない水準
※高スコアでも、法務・IR・価格表記のような重要文面は人の確認を推奨しています。