feed-digest - #dataengineering

AWSがデータ変換ワークフローの仕様駆動コンポジションパターンを公開。ワークフローの意図（仕様）と処理ロジックを分離し、Lambda・Step Functions・S3・OpenSearchを用いてサーバーレスに実装。仕様がデータセットやフィールドマッピングを宣言的に記述し、コンポーザーが検証してパイプラインを動的に組み立てる。規制対応やマルチソース統合など、トレーサビリティと事前検証が重要なケースに適する一方、単純な変換には過剰な複雑さになりうるとしている。

マルチテナント環境で1つのテナントの負荷急増が他テナントに影響する「ノイジーネイバー」問題に対し、Google Cloudがハブ・アンド・スポーク型のシャーディングアーキテクチャを提案。統合トピックから読み取りテナント単位でファンアウトするルーターとしての「ハブ」、Pub/Subによる緩衝、優先度別に分離した複数のDataflowインスタンス「スポーク」で構成し、障害の影響範囲を100%から5%未満に抑える。DLQ実装・接続プールの制限・非同期I/Oバッファリングなど実装上のヒントも紹介している。