dev.classmethod.jp
昨日 18:04
[Amazon SageMaker AI] 教師 gpt-oss-20b → 生徒 Llama 3.2 1B の応答蒸留（レスポンス蒸留）を試してみました
OpenAIのgpt-oss-20bを教師、Meta Llama 3.2 1Bを生徒とし、SageMaker Training Jobで応答蒸留（クロスファミリー）を検証。全フィールド一致率は2%から63%、サービス名正規化は34%から96%に向上し、生徒が教師（90%）を上回る結果も得られた。一方few-shotは形式のみ整い内容は悪化し、JSON抽出処理や教師データ生成・検品での実装上の注意点も多数報告している。
OpenAIのgpt-oss-20bを教師、Meta Llama 3.2 1Bを生徒とし、SageMaker Training Jobで応答蒸留（クロスファミリー）を検証。全フィールド一致率は2%から63%、サービス名正規化は34%から96%に向上し、生徒が教師（90%）を上回る結果も得られた。一方few-shotは形式のみ整い内容は悪化し、JSON抽出処理や教師データ生成・検品での実装上の注意点も多数報告している。