top of page

「AI言明生成」の結果が正しくありません。

A.

1.ファイルのアップロードに失敗していないかご確認ください。


  1. こちらのヘルプページをご参照ください。




2.当社は、継続的にAIの精度向上に努め、精度に関する適時の開示を実施しています。


AIによる処理は、現状以下の精度で実行されます。



<精度測定の前提>

任意の規準に対して同一の情報を含む文書を投入し、生成の成否をカウントします。



<20240729時点の言明生成の精度>

生成1回目成功率

1173件の規準に対して、以下の成否割合となります。


成功:1142件(97.4%)

失敗:31件(2.6%)


失敗をしたものについて、再度生成を実行すると成功率は以下となります。


2回の実行を通じた成功率:99.93%

2回の実行を通じた失敗率:0.07%


また、3回の実行を通じた成功率は99.998%となります。



<解釈>

実務において、生成を2回実行し引用が成功しない際は以下と解釈できます。


99.93%の確率で「文書に要求事項の内容が含まれていない」

0.07%の確率で「文書に要求事項の内容は含まれているが、引用に失敗している」



<注意点>

実務で用いる投入文書は、規準と同一の内容・表現を必ずしも含むわけではないため、解釈余地が多分に存在する場合があります。

総合的な判断が要される場合もあるため、重要業務では専門家の関与を求めることを推奨します。


©2024 株式会社X-Regulation

X-Regulation
bottom of page