HappyHorse 1.0: model video pertama yang menaklukkan sync audio

HappyHorse 1.0 dari Alibaba rilis Kamis. Pada akhir hari ia di puncak leaderboard video publik, dan pada akhir minggu satu-satunya percakapan di grup chat kami adalah tentang bagaimana audionya benar-benar bekerja. Kami menetapkan: ini model text-to-video pertama yang umum tersedia di mana suara cocok dengan gambar berdasarkan desain, bukan oleh lip-sync yang dipasang belakangan. Itu mengubah lineup. Itu juga mengubah jenis pekerjaan yang bisa Anda ship dari pipeline generatif secara kredibel.

Masalah audio-sync, singkat

Sebagian besar “text-to-video dengan audio” sampai sekarang adalah dua pipeline yang dijepret bersama. Model visual menghasilkan klip. Model audio terpisah menghasilkan suara. Tahap ketiga mencoba menyelaraskan — mencocokkan gonggongan dengan mulut anjing, slam pintu dengan pintu menutup, swell musik dengan gerak kamera. Jahitannya terlihat, terutama pada dialog. Anda lihat orang bicara. Bentuk bibir mereka tak cocok dengan suku kata. Otak segera sadar.

Perbaikan bukan software lip-sync lebih baik. Itu melatih stream visual dan audio bersama, sehingga model menalar suara dan gambar sebagai satu sinyal. Itu sulit karena alasan praktis (data latih lebih berantakan dan lebih mahal dikurasi) dan alasan arsitektural (Anda butuh cross-modal attention yang tak merendahkan stream mana pun). HappyHorse 1.0 model pertama yang ship ini bersama, pada kualitas, di produksi.

Yang benar-benar ia lakukan dengan baik

Seminggu memakainya untuk brief nyata, kemenangannya konkret:

Dialog. Lip-sync benar untuk suku kata, bukan hanya gerakan mulut. Tekanan pada kata yang tepat selaras dengan angkat alis. Pola kontak mata cocok dengan irama baris. Ini bagian yang terasa fiksi ilmiah di prompt uji pertama dan kini bagian yang paling kami andalkan.

Foley. Langkah kaki mendarat di frame saat kaki mendarat. Pintu slam di frame saat menutup. Tuang segelas air di klip dan suara air mulai saat bibir teko condong, bukan 200ms terlambat.

Score. Saat prompt minta musik, musik punya struktur yang cocok dengan struktur visual — swell pada gerak, hit pada cut. Belum di level “komposer profesional,” tapi di level “scene-setter indie kompeten,” yang jauh lebih baik dari audio generatif lain yang kami integrasikan.

Yang masih butuh generasi berikutnya

Model bukan ajaib. Tiga area yang masih kami tambal manual:

• Identitas musik. Ia bisa mengomposisi, tapi tak bisa mereproduksi artis atau track spesifik. Bila brand Anda punya tanda sonik, Anda masih meletakkannya di post.
• Library sound effect. Untuk efek bernama sangat spesifik — blaster gaya Star Wars, laugh-track sitcom — Anda lebih baik menghasilkan video diam dan drop efek di timeline.
• Klip panjang. Seperti setiap model video di 2026, HappyHorse melayang lewat batas 15 detik. Untuk urutan multi-shot, Anda masih memotong.

Yang ia jadikan bisa di-ship

Cerita lebih besar adalah jenis pekerjaan yang kini layak tanpa tahap post-production. Beberapa contoh dari pemakaian nyata minggu ini:

• Explainer produk 12 detik dengan VO yang lip-sync ke orang memegang produk. Sebelumnya: dua hari, tiga tool, satu animator freelance. Dengan HappyHorse: empat puluh menit, satu prompt dengan gambar referensi, satu putaran edit.
• Potongan iklan 30 detik dengan suara diegetic (langkah kaki, noise ruang ambient, notifikasi telepon tepat waktu). Sebelumnya: video tool, audio tool, lewat alignment, lewat mixing. Dengan HappyHorse: render dua kali, pilih take lebih baik.
• Reel karakter-bicara-ke-kamera untuk juru bicara brand. Sebelumnya: ini tak bekerja — lip-sync dari model sebelumnya cukup uncanny untuk mematikan take. Dengan HappyHorse: bisa dipakai di generasi pertama atau kedua sekitar 70% waktu.

Di mana ia berada di logika rekomendasi

Efektif hari ini di studio: HappyHorse 1.0 adalah default untuk generasi video saat prompt Anda butuh audio. Pemilih membaca “audio tersirat” dari prompt yang berisi kata seperti dialog, bilang, bicara, berbicara, musik, suara, foley, atau VO, dan merutekan ke sana kecuali Anda override.

Untuk sinematik 4K dengan audio ditambah di post: Veo 3.1 masih menang pada visual. Untuk draft sosial: Grok Imagine masih menang pada kecepatan dan rasa. Untuk urutan didorong referensi: Seedance 2.0 masih menang pada konsistensi. HappyHorse memiliki slot audio-video gabungan secara spesifik — dan slot itu tiba-tiba paling berguna di lineup, karena banyak pekerjaan produksi adalah gabungan audio-video.

Catatan tentang leaderboard

HappyHorse 1.0 juga memimpin benchmark visual-saja minggu ini, yang nyata tapi bukan judul utama. Leaderboard visual berganti tiap enam minggu. Integrasi audio-video adalah pergeseran struktural — yang akan mengejar tahun depan untuk sisa lapangan. Kami senang sudah ada di studio pada biaya kredit bersama yang sama dengan yang lain.