HappyHorse 1.0: sync audio'yu çözen ilk video modeli

Alibaba’nın HappyHorse 1.0’ı perşembe günü yayınlandı. Gün sonunda kamuya açık video liderlik tablolarının zirvesindeydi ve hafta sonunda grup sohbetimizdeki tek konuşma sesin gerçekten nasıl çalıştığıydı. İlan ediyoruz: bu, sesin tasarımdan gelen şekilde resme uyduğu, sonradan eklenmiş lip-sync ile değil, genel olarak erişilebilir ilk text-to-video modeli. Bu kadroyu değiştiriyor. Üretken bir hattan inanılır şekilde teslim edebileceğiniz iş türünü de değiştiriyor.

Audio-sync problemi, kısaca

Şimdiye kadar “sesli text-to-video”nun çoğu birbirine zımbalanmış iki hattı. Görsel model bir klip üretir. Ayrı bir ses modeli ses üretir. Üçüncü bir aşama bunları hizalamaya çalışır — köpek havlamasını köpeğin ağzıyla, kapı çarpmasını kapının kapanmasıyla, müzik yükselişini kamera hareketiyle eşler. Ekler özellikle diyalogda belli olur. Konuşan bir insan görürsünüz. Dudak şekilleri hecelerle uyuşmaz. Beyin anında fark eder.

Çözüm daha iyi lip-sync yazılımı değil. Görsel ve ses akışlarını birlikte eğitmek, böylece model ses ve resmi tek sinyal olarak akıl yürütür. Bu pratik nedenlerle zor (eğitim verisi daha dağınık ve küratörlüğü daha pahalı) ve mimari nedenlerle zor (iki akışı da bozmayan çapraz-modal dikkat gerekir). HappyHorse 1.0 bunu prodüksiyonda, kalitede, birleşik olarak yayınlayan ilk model.

Gerçekten iyi yaptığı şey

Bir haftalık gerçek brieflerde kullanım sonrası kazançlar somut:

Diyalog. Lip-sync sadece ağız hareketleri için değil heceler için doğru. Doğru kelimedeki vurgu kaş kalkışıyla hizalanıyor. Göz teması örüntüsü repliğin temposuyla eşleşiyor. İlk test promptumuzda bilim kurgu gibi hissettiren ve şimdi en çok bel bağladığımız kısım bu.

Foley. Ayak sesleri ayağın indiği karelerde duyuluyor. Kapılar kapandıkları karede çarpıyor. Bir kliptte su bardağı doldurun, su sesi sürahinin ağzı eğilince başlıyor, 200ms geç değil.

Skor. Prompt müzik istediğinde müziğin görsel yapıya uyan yapısı var — hareketle yükselişler, kesimlerde vuruşlar. “Profesyonel besteci” seviyesinde değil ama “yetkin bağımsız sahne kuran” seviyesinde, bu da entegre ettiğimiz başka herhangi bir üretken sesten çok daha iyi.

Hâlâ bir nesil daha gerektiren şey

Model sihir değil. Hâlâ elle yamaladığımız üç alan:

• Müzik kimliği. Beste yapabilir ama belirli bir sanatçı veya parçayı yeniden üretemez. Markanızın sonik bir imzası varsa onu hâlâ post’ta seriyorsunuz.
• Ses efekti kütüphaneleri. Çok spesifik adlandırılmış efektler için — Star Wars tarzı blaster, sitcom kahkaha pisti — sessiz video üretip efekti timeline’a bırakmak daha iyi.
• Uzun klipler. 2026’daki her video modeli gibi, HappyHorse 15 saniye işaretini geçtiğinde kayıyor. Çok çekimli diziler için hâlâ kesiyorsunuz.

Neyi teslim edilebilir kılıyor

Daha büyük hikâye, post-prodüksiyon aşaması olmadan şimdi mümkün olan iş türü. Bu haftaki gerçek kullanımdan birkaç örnek:

• Ürünü tutan birine lip-sync yapan VO ile 12 saniyelik bir ürün açıklayıcısı. Önceden: iki gün, üç araç, bir freelance animatör. HappyHorse ile: kırk dakika, referans görsellerle tek prompt, bir tur düzenleme.
• Diejetik sesli (ayak sesleri, ortam oda gürültüsü, replikle gelen telefon bildirimi) 30 saniyelik bir reklam kurgusu. Önceden: video aracı, ses aracı, hizalama geçişi, miks geçişi. HappyHorse ile: iki kere render, daha iyi çekimi seç.
• Marka sözcüsü için karakter-kameraya-konuşan bir reel. Önceden: bu işe yaramıyordu — önceki modellerin lip-sync’i çekimi öldürecek kadar tuhaftı. HappyHorse ile: zamanın yaklaşık %70’inde ilk veya ikinci üretimde kullanılabilir.

Öneri mantığında nerede duruyor

Bugünden itibaren stüdyoda etkili: HappyHorse 1.0, promptunuz ses gerektirdiğinde video üretimleri için varsayılan. Seçici şu kelimeleri içeren promptlardan “ses ima ediliyor” okur: diyalog, diyor, konuşuyor, söylüyor, müzik, … sesi, foley veya VO — ve siz geçersiz kılmadıkça oraya yönlendirir.

Post’ta ses eklenen sinematik 4K için: Veo 3.1 görselde hâlâ kazanıyor. Social taslakları için: Grok Imagine hızda ve hisste hâlâ kazanıyor. Referansa dayalı diziler için: Seedance 2.0 tutarlılıkta hâlâ kazanıyor. HappyHorse özellikle birleşik audio-video slotuna sahip — ve o slot aniden kadrodaki en kullanışlı olan; çünkü prodüksiyon işinin çoğu zaten audio-video birleşimidir.

Liderlik tablosu üzerine bir not

HappyHorse 1.0 bu hafta sadece görsel benchmark’lara da liderlik ediyor; bu gerçek ama başlık değil. Görsel liderlik tabloları her altı haftada değişir. Audio-video entegrasyonu yapısal kayma — alanın geri kalanının önümüzdeki yılı yakalamaya çalışarak geçireceği şey. Aynı paylaşılan kredi maliyetinde, başka her şey gibi stüdyoda zaten olmasından memnunuz.