feed-digest - #kafka

Article: Beyond Offset Lag: Computing Time in Queue for Apache Hudi Data Lake Pipelines at Petabyte Scale

Twilioがデータレイクパイプライン(Apache Hudi Delta Streamer)の鮮度監視で、Kafkaのオフセット遅延ではなく実時間の遅延を計測する手法を解説。HudiのコミットファイルからKafkaチェックポイントを読み取り、該当オフセットにシークして未処理メッセージのタイムスタンプと現在時刻の差分を計算する。チェックポイント欠落時の遡り探索やepochタイムスタンプの罠など、実運用で遭遇したエッジケースへの対処も紹介している。