feed-digest - #evaluation

ロリポップ！AIホームページにおいて、AI生成Webサイトの品質を定量評価する仕組みを構築した事例。デザイナーの暗黙知を4カテゴリ・約170項目のルーブリックに言語化し、フルページキャプチャをLLM-as-a-Judgeで採点する「完成品スコア」と、テキストのみで判定できる7項目に絞り工程途中のJSON出力を評価する軽量な「工程スコア」の2種を整備。総合スコアはLLMではなくコード側で加重集計することで再現性を確保し、プロンプト改修の評価駆動開発ループやモデル移行時の品質ゲーティングに活用した。今後の課題として自動化・採点妥当性の検証・ばらつきの統計的扱いを挙げている。

GitHubブログの記事。LLMを本番導入する前の評価手法について、secret scanningの誤検知削減事例をもとに解説。ベンチマークだけでなく製品判断の明確化、オフライン評価の統合テスト的運用、本番環境に近いデータ構成、production labelの信頼性検証、synthetic/公開データによるカバレッジ補完、エラー分析、LLM-as-judgeによる人手レビューの絞り込みという8つの実践知を紹介している。