AI エージェントの Human-in-the-Loop 評価を深化させる

概要

AI エージェントの HITL（Human-in-the-Loop）を、単純な回数や Precision/Recall ではなく、リスク非対称性と全体パターンで評価するフレームワーク。HITL の見逃しと過検出は同じ誤差として扱えない非対称なコスト構造を持つ。

非対称性: 見逃し vs 過検出

HITL パターン	リスクの性質
少なすぎる（見逃し）	非線形に拡大するリスク（爆発的）
多すぎる（過検出）	線形コスト（オペレーター疲労）

→ 非対称損失関数での評価が必要

基本メトリクス

• HITL 回数 / HITL 必要率

• HITL 待機時間

• HITL 承認後エラー率

• HITL 見逃し修復コスト

HITL の時間分布パターン（4 分類）

パターン	特徴	リスク
集中型	特定タイミングに固まる	中
分散型	稼働期間全体に均等分布	低
フロントローディング型	初期集中→後半減少	最低（理想的）
ランダムバースト型	予測不能にバースト	最高（最も問題）

HITL 間の相互作用

• 依存型カスケード: 1 つの HITL が次の HITL を引き起こす

• 競合型干渉: 複数 HITL が同じリソースを奪い合う

• 補完型シナジー: 複数 HITL が互いに補強する

要点

• HITL の見逃しと過検出は同じ誤差ではない → 非対称損失関数が必要

• 個々の HITL だけでなく、時間分布と相互作用を見る

• 平均値より散布図・時系列・ドリルダウンが重要

• HITL は「減らすこと」が目的ではなく、リスクに応じて強さとタイミングを設計する