feed-digest - #computer-vision

Building Menu Vision: Real-Time Dish Recognition

YelpのMenu Visionは、カメラで menu をスキャンして料理を認識し、ユーザー投稿の写真・レビューを即座に表示する機能。ハッカソンの試作から出発し、オンデバイスのテキスト認識・Cassandraでの前処理データ配信・GPSによる文脈提示などで6週間で本番化した。初期リリース後は完全一致マッチングの厳格さや料理データの網羅性不足が課題となり、LLMベースのデータ標準化パイプラインと3段階マッチング（完全一致→部分一致→Jaro-Winkler類似度）、テキストピルから写真付きダイッシュカードへのUI刷新で精度と体験を改善した。