HappyHorse 1.0：音声同期を本当にやり切った最初の動画モデル

Alibaba の HappyHorse 1.0 が木曜にリリースされました。その日のうちに公開動画リーダーボードの首位に立ち、週の終わりにはチームの雑談チャットの話題が「音声がどう動いているのか」一色になりました。結論から言います：これは、後付けのリップシンクではなく設計から音声と映像が合致する、初の一般公開 text-to-video モデルです。ラインナップが変わります。そして、生成パイプラインから自信を持って出荷できる仕事の種類も変わります。

音声同期問題、手短に

ここまでの「音声付き text-to-video」は、ほとんどが 2 つのパイプラインを継ぎ接ぎしたものでした。映像モデルがクリップを生成。別の音声モデルが音を生成。第 3 段階で両者の整合をとる — 犬の鳴き声と犬の口を合わせ、扉の音と扉が閉まる瞬間を合わせ、音楽の盛り上がりとカメラ移動を合わせる。継ぎ目は、特に対話で目立ちます。話している人が見える。口の形が音節と合わない。脳はすぐ気づきます。

直し方は、より良い lip-sync ソフトを作ることではありません。映像と音声のストリームを 一緒に 学習させて、モデルが音と絵を 1 つのシグナルとして推論することです。これは実務的にも（学習データが雑然としてキュレーションコストが高い）、アーキテクチャ的にも（どちらのストリームも劣化させないクロスモーダルアテンションが要る）難しい。HappyHorse 1.0 は、これを品質を保ったまま、本番運用で同時生成する初のモデルです。

何が実際にうまいか

実案件で 1 週間使ってみると、勝ち筋は具体的です：

**対話。**口の動きだけでなく、音節レベルで lip-sync が合います。強調すべき単語で眉が上がる。台詞のリズムにアイコンタクトのパターンが揃う。最初のテストプロンプトでは SF みたいだと感じた部分が、いまでは一番頼りにしている部分です。

**フォーリー。**足音は足が着地するフレームで鳴る。扉は閉まるフレームで音が立つ。クリップの中でグラスに水を注げば、ピッチャーの口が傾く瞬間に水音が始まる。200ms 遅れたりしません。

**スコア。**プロンプトが音楽を求めたとき、その音楽は映像構造に合った構造を持ちます — 動きで盛り上がり、カットで決まる。「プロの作曲家」レベルではありませんが、「腕の立つインディーのシーンセッター」レベル。私たちが組み込んできた他のどの生成オーディオよりずっと上です。

まだもう一世代必要なところ

魔法ではありません。今も手作業で補っている領域が 3 つあります：

• **音楽のアイデンティティ。**作曲はできても、特定のアーティストや楽曲を再現はできません。ブランドにソニックロゴがあるなら、その部分は今もポストで重ねます。
• **効果音ライブラリ。**Star Wars のブラスターやシットコムの笑い声トラックのような、具体名のある効果音は、無音で動画を作ってタイムラインで効果音を載せた方が早い。
• **長尺クリップ。**2026 年のどの動画モデルとも同じで、HappyHorse も 15 秒の壁を越えると崩れます。マルチショットのシーケンスは今もカットが必要です。

何が出荷可能になるか

大きな話は、ポストプロダクションを挟まずに成立する仕事の種類が増えたこと。今週の実例から：

• 商品を持つ人物にリップシンクする VO 付き、12 秒のプロダクト紹介。従来は 2 日、3 ツール、外注アニメーター 1 人。HappyHorse: 40 分、参照画像付きの 1 プロンプト、1 ラウンドの修正。
• ダイエジェティックな音（足音、室内のアンビエンス、合図に合わせた通知音）付き、30 秒の広告カット。従来は動画ツール、音声ツール、アラインメントパス、ミキシングパス。HappyHorse: 2 回レンダリングして良い方を採用。
• ブランドのスポークスパーソンがカメラに向かって話すリール。従来は不可能でした — 既存モデルの lip-sync の違和感だけでテイクが死んでいた。HappyHorse: 約 70% の確率で 1 回目か 2 回目の生成で使えます。

レコメンドロジックの中での位置

本日からスタジオで有効：プロンプトが音声を要求する動画生成では、HappyHorse 1.0 が既定モデルになります。ピッカーは、プロンプトに dialogue、says、talks、speaks、music、sound of、foley、VO のような語が含まれていれば「音声を含意」と読み取り、ユーザーが上書きしない限り HappyHorse に流します。

ポスト録音前提のシネマティック 4K なら、Veo 3.1 が映像で勝ち。ソーシャル向けドラフトなら、Grok Imagine が速さと感触で勝ち。参照ドリブンのシーケンスなら、Seedance 2.0 が一貫性で勝ち。HappyHorse は音声と映像の同時生成枠を専有し — そしてその枠こそが、今ラインナップで一番有用です。実プロダクション作業の多くは、音と絵の結合そのものですから。

リーダーボードについて一言

HappyHorse 1.0 は今週、映像のみのベンチマークでもトップですが、それは事実ではあっても主役ではありません。映像リーダーボードは 6 週間ごとに入れ替わります。音声と映像の統合こそが構造的な変化 — 業界全体が向こう 1 年かけて追いつくものです。同じ共有クレジットコストで、すでにスタジオにあるのが嬉しい。