feed-digest - #mlops

Amazon SageMaker HyperPod のディープヘルスチェックをオンデマンドで実行してみた

Amazon SageMaker HyperPod のオンデマンドディープヘルスチェックを稼働中のSlurmクラスターで検証した記事。接続チェックは約2〜3分で完了する一方、ストレスチェックは約75分かかり、その9割以上（約69分）がDCGM診断time。チェック中はSlurm上にhyperpod-deep-health-check予約とHARDWARE_CHECKジョブが作成され、結果はCloudWatch LogsのDeepHealthCheckResultsストリームで確認できることを実機検証で示した。