feed-digest - #ml

AIの障害予報、狼少年になってませんか？ ― 障害を防ぐほど「的中率」が測れなくなる問題

AIによる障害予報や不正検知など「起きる前に介入する」系は、介入が成功するほど反実仮想が消え、的中率を原理的に測定できなくなる構造的問題を持つ。筆者はハッカソンで「狼少年にならないか」との質問に的中率で絞ると答えたが、その的中率自体が測定不能であると後に気づいた。対策として、破棄した予報（対照群として自然に残る）の結果を観測窓付きで記録し、空振り率をベースレートと比較した「倍率」で情報量を評価する手法を提案する。設計段階で「介入後も結果を観測できるか」を問い、閉じる問題に置き換えることが最も安価な改善であり、測定した指標を実際に閾値変更へフィードバックするところまで繋げて初めて意味を持つと結論づけている。