TencentのHunyuanチームが2026年8月28日、新世代の大規模言語モデル「Hy4 preview」を公開し、同時に重みをオープンソースとして開放しました。総パラメーター数は7,700億、1トークンあたりに動くのは490億で、扱える文脈は100万トークンを超えます。ライセンスはApache 2.0で、商用利用も含めて制約の少ない条件で配布されています。

7,700億のうち490億だけを動かす構成

Hy4 previewはMixture-of-Experts（MoE、専門家混合）と呼ばれる構成を採ります。モデルの中に小さな専門家ネットワークが多数並んでいて、入力に応じてその一部だけを起動する仕組みです。総パラメーターが7,700億でも、1トークンを処理するたびに実際に計算されるのは490億分にとどまります。

バックボーンは78層で、最初の1層だけが通常の密なFFN、残る77層がMoEに置き換わっています。各MoE層には256個のルーティング専門家と1個の共有専門家が置かれ、トークンごとに上位8個の専門家と共有専門家が動きます。隠れ層のサイズは6,144、語彙数は120,832です。

注意機構には、DeepSeekとGLMの研究を踏まえたGated DSA（Gated DeepSeek Sparse Attention）を採用し、層をまたいでスパースな索引を再利用するIndexCacheを組み合わせています。100万トークンという文脈長を現実的な計算量で扱うための工夫です。あわせて、投機的デコーディング向けのMTP層（総パラメーター100億、活性化7億）が組み込まれているほか、FP8に量子化した「Hy4 preview-FP8」も同時に公開されました。

社内の専門家163人が採点したブラインド評価

Tencentはこのモデルを、ベンチマーク向けではなく実務向けだと位置づけています。学習データは社内のソフトウェアエンジニア、ゲーム開発者、金融アナリスト、セキュリティ担当者といった専門家と共同で作られました。

その効果を測るため、社内の163人が203件のエンジニアリング課題について出力を見比べるブラインド評価を実施しています。結果はHy4 previewが平均2.99点（4点満点）で、GLM 5.3の2.92点、Kimi K3の2.94点をわずかに上回りました。勝敗の内訳はGLM 5.3に対して勝ち46.8パーセント・引き分け12.8パーセント・負け40.4パーセント、Kimi K3に対して勝ち51.2パーセント・引き分け7.9パーセント・負け40.9パーセントです。数字を見る限り、圧勝というより競り勝ちに近い水準です。

公開されているベンチマーク値では、GPQA Diamondが92.3、SWE-bench Proが65.7、SWE-bench Multilingualの解決率が82.9、Deep SWEが64.3、SkillsBench v1.1が62.9となっています。

モデル自身が学習と推論の最適化に加わった

今回の発表で目を引くのは、Hy4 preview自身が自らの開発工程に参加したという説明です。学習手法やデータ戦略、評価の枠組み、低レイヤーの演算処理といった部分の自動最適化に、モデルが初めて関与しました。モデルが手法を提案し、実験を回し、その結果を踏まえて次の案を出す。生成されたコードやログ、フィードバックが次の探索へ流れ込む、初期段階の再帰的な自己改善ループができたとしています。

推論側でも同じことが起きています。モデルは自身が動く推論システムのボトルネックを解析し、演算の融合や通信の最適化を複数回にわたって施しました。その結果、エンドツーエンドのスループットはベースラインに対して31.8パーセント向上し、文脈長や同時実行数を変えても改善は一貫していたと説明されています。

もっとも、Tencent自身が未完成であることを認めています。プレビュー版として公開する時点で判明している課題として、複雑な問題に必要以上の時間をかけて考え込む傾向と、自分の作業を過剰に検証しに行く傾向を挙げています。早く出して壊れたところを聞く、という前世代Hy3と同じ進め方を続ける方針です。

動かす場所と価格

重みはHugging Face、ModelScope、GitCode、CNBの4か所で配布されています。手元で動かす場合はvLLMとSGLangの公式イメージが用意されており、それぞれ専用のレシピも公開されています。vLLMであれば、FP8版を8基のGPUに分散させる形が推奨構成です。

docker run --gpus all -p 8000:8000 --ipc=host \
  vllm/vllm-openai:hy4-preview tencent/Hy4-preview-FP8 \
  --tensor-parallel-size 8 \
  --attention-backend FLASHMLA_SPARSE \
  --served-model-name hy4-preview

自前でGPUを並べない場合は、WorkBuddyとCodeBuddy、Yuanbao、imaといったTencentの製品から直接試せます。WorkBuddyとCodeBuddyでは公開から2週間、無料で利用できます。前世代のHy3についても、両プラットフォームでの無料提供が9月30日まで延長されました。

APIはTencent CloudのTokenHubとOpenRouter経由で呼び出せます。価格は100万トークンあたり入力0.834ドル（約130円）、出力2.501ドル（約400円）、キャッシュヒット分は0.042ドル（約7円）です。7,700億パラメーター級のモデルとしては、かなり抑えた設定と言えます。

※1ドル159円換算

まとめ

Hy4 previewは、総パラメーター7,700億・活性化490億のMoEモデルで、100万トークンの文脈をApache 2.0のもとで開放したものです。社内ブラインド評価ではGLM 5.3とKimi K3をわずかに上回り、モデル自身が学習と推論の最適化に関与してスループットを31.8パーセント改善したという点が目を引きます。Tencentはこれをあくまでプレビューと位置づけており、Hy4シリーズの次のモデルも近く登場するとしています。

※サムネイル画像はAI生成のイメージです