目次
AWS Machine Learning BlogのAmazon SageMaker AI向け技術How-to（著者 Giuseppe Zappia, Ankita Agarwal, Amin Dashti, Michael Oguike、日付 02 NOV 2026）は、買い物Agent向けの sequence-level knowledge distillation（SeqKD） を一通り通す。教師は Amazon Bedrock 上の GLM-5.3（reasoning on；軌跡サンプリング温度 1.0）。ShoppingBench の解けた多段軌跡だけを拒サンプリングで残し、SageMaker AI model customization（LoRA；JumpStart ID huggingface-vlm-qwen3-5-4b）で学生 Qwen3.5-4B に教師あり微調する。留出 324 題での平均 Absolute Success Rate（ASR）は蒸留学生 0.541——投稿が自ら書く「数ポイントの実行間ばらつき」の範囲で greedy 教師の 0.540 に並び、未微調4B基座の 0.297 を大きく上回る。これは 買い物タスク・単一LoRA実行 の結果であり、「4BがGLM-5.3を全面的に追いついた」主張ではない。DigIntoAIは ShoppingBench を再実行しておらず、エンドポイント遅延／費用も測っておらず、下記IFEval差分も検証していない。上記の数値はすべて AWS Machine Learning Blog の自己申告 である。
関連記事：AWS が Infinity を公開、高並行 Agent 向け研究ランタイム、Deep PrincipleがGLM-5.3ベースのHydrogen-1.0を公開、許可開放はすぐ使える意味ではない、同じモデルでもコーディング harness を替えると通過率はほぼ変わらず、請求だけ大きく変わる、Cohere、テストでQwen3.8-Flash-Nextが北京OSSへアップロードを試みたとする。Infinityは隣接するAWS Agentランタイム、Hydrogenは別系統のGLM-5.3重み話、harness記事はコーディング用ラッパーと請求、Cohere記事はQwen系の可用性／セキュリティ観測。どれも本蒸留クックブックの代わりにはならない。
なぜ買い物Agentを蒸留するのか
Agent的な買い物ターンは、フロンティアへの一回呼び出しではなく、検索・検査・絞り込み・検証・推薦の ループ である。各ステップが教師課金になる。AWSの記述は、そのタスク品質の多くを小モデルのホスティング費用と速度で残す手段として蒸留を置く：教師が振る舞いをテキスト軌跡として一度書き、学生は通常のSFTで次のreasoning＋ツール呼び出しを出す。SeqKDに必要なのは 教師テキストだけ——logitsも重みアクセスも不要——なので、Bedrock上のAPI限定教師でも動く。logit蒸留やon-policyロールアウトと比べ、移植しやすく第一段に置かれやすい。投稿自身も、SeqKDを難しい自己回復ケースで頭打ちしやすい強いウォームスタートと位置づけ、on-policyを次段（本チュートリアル外）と名指しする。
パイプラインの要点（チュートリアル記載どおり）
| 段 | ブログの記載 |
|---|---|
| 教師 | Bedrock上の GLM-5.3；reasoning on；データ生成は温度 1.0 |
| ベンチ | ShoppingBench 約 750 題（product／shop／voucher）；分割 426 訓練／324 留出 |
| データ | 訓練題ごとに教師を 2 回サンプル → 解けた軌跡だけ拒サンプリング |
| 符号化 | ステップ単位の messages；損失はassistantのreasoning＋ツール呼び出し；dataset_max_len 16384 |
| 学生学習 | SageMaker AI model customization、サーバレスSFT、LoRA rank 64／alpha 256／3 epoch |
| 配信 | リアルタイムendpoint；DJL LMI（vLLM）；base＋LoRAアダプタを推論コンポーネントとして |
ShoppingBenchのプログラム採点が、能力はあるが不完全な教師をきれいな模倣セットに変える：失敗は捨て、成功だけ残す。背後カタログは約 270万 商品規模と記される。DigIntoAIはそのスタックを立てていない。
留出324題のASR（AWS表・単一LoRA）
Absolute Success Rateは、同じ未改変ShoppingBench Agentループで留出題を解いた割合を三意図で平均したもの；欠落軌跡は失敗扱い。推薦商品が全制約を満たせば成功。
| モデル | product | shop | voucher | 平均 |
|---|---|---|---|---|
| Base Qwen3.5-4B（未微調） | 0.456 | 0.314 | 0.121 | 0.297 |
| Distilled student（SeqKD） | 0.563 | 0.638 | 0.422 | 0.541 |
| GLM-5.3 teacher（sampled, T=1.0） | 0.553 | 0.619 | 0.362 | 0.511 |
| GLM-5.3 teacher（greedy, T=0） | 0.544 | 0.638 | 0.439 | 0.540 |
| Medium-sized frontier model（投稿は機種名なし） | 0.583 | 0.667 | 0.388 | 0.546 |
ブログの読み方どおり：4B学生は greedy 教師と、名前のない中規模フロンティア上限の隣に座るのであって、「あらゆる面でGLMを超えた」ではない。T=1.0サンプリングは多様な訓練軌跡を 生成 するため；一発評価では greedy の方が強く、だから greedy 教師ASR（0.540）が sampled（0.511）を上回る。拒サンプリングは解けた教師軌跡の best-of切片 だけを学ばせるので、学生が学習元の sampled 教師をわずかに上回っても手法と矛盾しない。投稿は明示的に 数ポイントの実行間ばらつき を想定するよう書く。いずれのセルも DigIntoAI はまだ再測していない。
ターゲット内のreasoningは飾りではない
同じ軌跡からreasoningを剥ぎ、ツール呼び出しだけで同じ学生を訓練すると、平均ASRは 0.541 から 0.415（約 13 点）へ落ちる。どちらも基座は超えるのでツール模倣だけでも効くが、教師のreasoningを残すことが、この買い物ループで教師側へ運ぶ残り分になる。配信側の読者にとってはモデリング以前のデータ設計でもある：最終答や裸のツールJSONへ圧縮すると、ASR表がフル学生に帰属させている振る舞いを捨てることになる。
IFEval：専門化の請求書
ASRは蒸留した技能を測る。ブログが一般指示追従の回帰チェックに使うのがIFEval。prompt-strictは 0.819→0.741、instruction-strictは 0.872→0.813——おおよそ 6–8 点。チュートリアルはこれを 専門化の想定コスト と呼び、学生が一律に強くなった証明ではないとする。もっと大きな落ち込みなら、蒸留がモデルを狭めすぎた警告になる。繰り返す：AWSの数字であり、DigIntoAIの再測ではない。
配信形：リアルタイムendpoint上のアダプタ
微調が教えるのは、次のツール呼び出しをテキストとして 出す ことまで。呼出しをパースし、ツールを実行し、観察を付け足し、最終推薦まで再プロンプトするのはモデルの外側の仕事である。チュートリアルはそのループを強化学習ではなく、普通のアプリコード——あるいは既製の配信harness——として扱う。
ウォークスルー上の学生成果物はオープンウェイト基座上の LoRAアダプタ。マージしてフル複製をもう一枚ホストする代わり、baseを既に配信する同一リアルタイムendpointに第二の推論コンポーネントとしてアダプタを載せ、DJL LMI（vLLM）を具体バージョンにピン留めして再デプロイを再現可能にする。呼び出し時に推論コンポーネント名を指定すれば base と蒸留学生を並べて比較できる。サンプルのインスタンス優先順は ml.g5.2xlarge／ml.g6.2xlarge／ml.g6e.2xlarge。DigIntoAIはそのendpointを立てておらず、同時実行曲線も測っていない。
本格ShoppingBenchループの前に低コストの事前ゲートもある：SageMaker AI model evaluationのカスタム採点で、教師参照に対し ツール選択（正しいツールを順に）を採点し、引数フォーマットの完全一致は求めない。投稿の判定は単純——そのゲートで基座を超えなければ、高コストな端到端は計算に見合わない。それはクックブックの評価衛生であり、DigIntoAIの再現ではない。
コストと遅延：ドル見出しのない形
蒸留の理由は、ブログの枠組みでは小モデルの コスト形 での品質である。フロンティアAPI教師は 毎タスク毎ステップをトークン課金；蒸留学生は インスタンス時間 でホスト課金なので、スケールアウトまで追加トラフィックの増え方が違う。投稿は明示的に、タスク単価や遅延の単一数字を 公表しない——償却コストがトラフィック、系列長、Gファミリー上の同時実行に依存するから（例：ml.g5.2xlarge など）。DigIntoAI側でドル／タスクやミリ秒を捏造してはならない。その数字なしでも残る運用上の帰結：「教師に近いASR」を自動的なROI勝ちとみなす前に、自ワークロードをSageMaker AIのインスタンス価格とフロンティアのトークン価格に対して測ること。
チュートリアル自身が挙げる境界
容量の壁。 蒸留は学生がすでに表現できる分布を移す。ギャップが大きすぎると、軌跡は長くなり精度は平坦——形は整ったツール呼び出しが進まない。決めるギャップは、投稿が強調するように タスク対学生 であり、学生対教師の見出しサイズではない。ここでの教師は約 40B active のMoE、学生は 4B——約十倍——だが買い物タスクは4Bの射程内とされ、だから教師の タスク 品質の回収が魔法ではなくありうる話として提示される。
SeqKDが効かなくなる所。 易〜中難度は持ち上がり、多段ループで自分の失敗から立ち直らねばならない最難尾は頭打ちしやすい。だからSeqKDは 第一段 とされ、しばしば学生自身のロールアウトを採点するon-policyが続く——本クックブックの外。
正直な評価。 留出で測り、学生が必ず勝つ未訓練基座だけと比べない——教師と独立したフロンティア参照を並べ、蒸留元からの距離が見える数字にする。
運用チェックリスト（まだ再測していない）
- 帰属。 AWS Machine Learning Blog技術How-to、02 NOV 2026；上記著者——DigIntoAIラボ報告ではない。
- 手法。 SeqKD＝教師テキスト軌跡→SFT；例の学生学習は Qwen3.5-4B 上の LoRA。
- 分割。 ShoppingBench 426／324；意図 product／shop／voucher。
- 見出しASR。 学生 0.541 対 greedy教師 0.540 対基座 0.297——単一実行、買い物のみ。
- アブレーション。 ツールのみ 0.415；ターゲットにreasoningを残す。
- 回帰。 IFEval 約 6–8 点低下。
- コスト。 公式のタスク単価なし；endpoint時間対トークン段階が現地で測る形。
- 天井ラベル。 「Medium-sized frontier model」はソースで 無名——機種名は源文どおり伏せる。
- 自己申告の印。 まだ再測していない。
まとめ
2026-11-02、AWS Machine Learning BlogはBedrock上の GLM-5.3 買い物AgentをSageMaker AI上のSeqKDで Qwen3.5-4B 学生へ蒸留する手順を示した：拒サンプリングしたShoppingBench軌跡、LoRA SFT、そしてモデルの外側に普通のツールharnessが必要なリアルタイムendpoint。報告された単一実行表では平均ASRが基座 0.297 から蒸留 0.541 へ動き、その買い物留出上で greedy 教師 0.540 の隣に座り——IFEvalは中程度の一桁の専門化税を払い、タスク単価のドルは未公表のまま。これは タスク局所・AWS自報 の効率の話であり、明確な代償付きであって、4BがGLM-5.3を全面的に追いついた許可証ではない。以上の数字はブログの自己申告；まだ再測していない。現場メモはフッターのサイト運営者連絡先から送れる。