feed-digest - #engineering-blog

How Bucketeer A/B Test Choose Which Version of Your Feature to Ship

CyberAgentのBucketeer開発チームが、自社のA/Bテスト機能がベイズ統計に基づきどのように勝者を判定しているかを解説。各バリエーションの真のコンバージョン率を単一の数値ではなく確率分布として扱い、Stan言語によるHMC-NUTS（マルコフ連鎖モンテカルロの一種）で10万回のサンプリングを実施。そこから「最良である確率」と「選択を誤った場合の期待損失」を算出し、期待損失が最小のバリエーションを採用する。トラフィック配分の歪みを検知するSRM（Sample Ratio Mismatch）チェックも組み合わせている。