節約された時間をカウントするだけでなく、AI の収益を測定する方法

比較可能なリファレンスを作成しました

変更の前後で、同様の一連のタスクを実行します。これにより、単純なケースと例外が区別されます。それらを比較すると、AI がどこで機能するのかが不明瞭になる可能性があります。また、納品物が満たさなければならない最低限の品質も記録します。チームがすべてのクエリを修正する必要がある場合、より多くのドラフトを作成することは、より多くのクエリを解決することと同じではありません。

目に見えにくいコストも含めました

ライセンスと使用に加えて、統合時間、データの準備、トレーニング、および監督が必要です。初期アカウントでは、解放された容量の価値をそれらのコストと比較できます。このキャパシティによって自動的にコストが節約されるわけではありません。より多くの作業を処理できるか、遅延を削減できるか、または別のアクティビティに労力を再割り当てできるかどうかを決定する必要があります。

結果をどうするかを決める

私はパイロットの前に、どのような信号がパイロットの継続、修正、停止を正当化するかを定義しました。たとえば、要求される品質を維持しながら、苦情を増加させることなく、応答時間を改善します。比較時には同じ定義を使用します。プロセスやツールが変更された場合は、リファレンスを確認してください。以前の良好な結果が現在のパフォーマンスを示すわけではありません。

それを実践するには

• 比較可能なケースを測定しました。
• 修正と介入を数えます。
• 解放された容量と有効な節約容量を分離します。
• メンテナンスも評価に含めさせていただきました。