feed-digest - #llmops

LLMアプリケーション評価駆動開発 継続的に改善し運用していくための実践知

LLMアプリケーションの評価手法を体系的に解説する書籍。正解が一意に定まらないLLM出力特有の評価の難しさを踏まえ、評価設計の全体像、LLM-as-a-Judgeの活用法、LangSmithを用いたリリース前後の評価・モニタリング・継続的改善（LLMOps）までを理論と実践の両面から扱う。