Yapay zeka film ve televizyon için dil dublajını kolaylaştıracak mı?

ABD pazarına hitap edebilecek uluslararası filmler bulmak, XYZ Films’in işinin önemli bir parçası. Los Angeles merkezli bağımsız stüdyonun operasyon direktörü Maxime Cottray, ABD pazarının yabancı dilde filmler için her zaman zor bir pazar olduğunu söylüyor.

“Bu hep New York’un kıyı kesimlerindeki sanat evi filmleriyle sınırlı kaldı” diyor.

Bu kısmen bir dil sorunu.

“Amerika, Avrupa gibi altyazı veya dublajla büyümüş bir kültür değil” diye vurguluyor.

Ama bu dil engeli, yeni bir yapay zekâ destekli dublaj sistemiyle aşılabilir.

Yakın tarihli İsveç yapımı bir bilim kurgu filmi olan Watch the Skies’in ses ve videosu, DeepEditor adlı dijital bir araca yüklendi.

Bu araç, oyuncuların gerçekten filmi çevrildiği dilde konuşuyormuş gibi görünmesini sağlıyor.

Cottray “Teknolojinin sonuçlarını ilk gördüğümde, iki yıl önce iyiydi diye düşündüm. Ama son halini gördüğümde inanılmaz buldum. Eminim ki ortalama bir izleyici bunu fark etmeyecek — aktörlerin o dili konuştuğunu sanacak” şeklinde konuştu.

Watch the Skies’in İngilizce versiyonu Mayıs ayında ABD genelinde 110 AMC sinemasında gösterime girdi.

Cottray “Bu sonucu bağlama oturtmak gerekirse, film İngilizce dublajlanmamış olsaydı, ABD sinemalarına asla giremezdi” dedi ve ekledi:

“ABD’li seyirciler, aksi takdirde sadece çok dar bir kitleye hitap edecek bir İsveç bağımsız filmini izleyebildi.”

AMC’nin bu tarz daha fazla gösterim planladığını söyledi. DeepEditor, Londra Soho merkezli Flawless tarafından geliştirildi.

Yönetmen ve senarist Scott Mann, 2020’de şirketi kurdu. Daha önce Heist, The Tournament ve Final Score gibi filmlerde çalışmıştı.

Mann, filmlerinin uluslararası versiyonları için kullanılan geleneksel dublaj tekniklerinin, orijinalin duygusal etkisini yakalayamadığını hissetti.

Los Angeles’ta yaşayan Mann “2014’te Robert De Niro’nun da olduğu müthiş bir oyuncu kadrosuyla Heist üzerinde çalışırken ve sonra filmin başka dillere çevrilmiş hâlini izlediğimde fark ettim ki, no wonder film ve televizyon dünyada çok da iyi yayılmıyor, çünkü eski dublaj dünyası filmi tamamen değiştiriyor” ifadelerini kullandı ve şöyle devam etti:

“Her şey uyumsuz oluyor, farklı şekilde oynanıyor. Saf sinemacı bakış açısıyla bakıldığında, dünyanın geri kalanına çok daha düşük seviyeli bir ürün sunuluyor.”

Flawless, yüzleri tanımlamak ve değiştirmek için kendi teknolojisini geliştirdi; yöntem ilk kez 2018’de yayımlanan bir araştırma makalesinde sunulmuştu.

Mann “DeepEditor, aktörün görünüşünü, fiziksel hareketlerini ve duygusal performansını her karede anlamak için yüz tespiti, yüz tanıma, yüz özellikleri algılama ve 3D yüz takibini birleştiriyor” dedi.

Teknoloji, oyuncuların orijinal performanslarını diller arasında koruyabiliyor; yeniden çekim veya tekrar seslendirme gerekmeden maliyeti ve zamanı azaltıyor.

Mann’a göre, Watch the Skies, dünyanın ilk tamamen görsel olarak dublajlanmış uzun metrajlı filmi oldu.

DeepEditor, yalnızca bir aktörü başka bir dilde konuşuyormuş gibi göstermekle kalmıyor; aynı zamanda bir çekimdeki daha iyi performansı başka bir çekime aktarabiliyor veya yeni bir diyalog satırını ekleyip orijinal performansın duygusal içeriğini koruyabiliyor.

Netflix ve Apple gibi platformların patlaması sayesinde, küresel film dublaj pazarının 2024’te 4 milyar dolardan, 2033’te 7,6 milyar dolara çıkması bekleniyor (Business Research Insights raporu).

Mann, teknolojinin maliyetini söylemiyor ama projeden projeye değiştiğini, “Bence, filmi yeniden çekmek ya da başka türlü değiştirmekten yaklaşık onda bir maliyetle çıkıyor” dedi.

Müşterileri arasında “neredeyse tüm büyük yayıncılar” bulunuyor.

Mann, teknolojinin filmleri daha geniş bir kitleye ulaştıracağına inanıyor.

Mann “İnanılmaz derecede büyük bir sinema ve TV dünyası var, ama İngilizce konuşanların çoğu dublaj ve altyazıyla izlemek istemediği için asla görmüyorlar” şeklinde konuştu.

Teknolojinin aktörleri değiştirmek için değil, onları desteklemek için olduğunu söylüyor; seslendirmenlerin hâlâ kullanıldığını, yapay seslerle değiştirilmediğini vurguluyor.

Mann “Gördüğümüz şey şu: Eğer araçları doğrudan yaratıcıların ve sanatçıların kendilerine verirseniz, bu işin doğru yolu oluyor… Sanatlarını icra etmeleri için güçlü araçlara sahip oluyorlar ve bu da ortaya çıkan nihai ürüne katkı sağlıyor. Bu, diğer birçok teknoloji şirketinin benimsediği yaklaşımın tam tersi” dedi.

Ancak Yale Üniversitesi’nde film ve medya doçenti olan Neta Alexander, daha geniş dağıtım vaadinin cazip olsa da, performansların yapay zekâ ile yeniden kurgulanmasının dil, kültür ve jestlerin özgünlüğünü aşındırma riski taşıdığını söylüyor.

“Tüm yabancı filmler İngilizce görünüp ses verirse, seyircinin yabancı olana olan ilişkisi giderek daha fazla aracılı, sentetik ve steril hale gelir” sözlerini kaydetti ve şöyle devam etti:

“Bu, kültürler arası okuryazarlığı caydırabilir ve altyazılı ya da orijinal dilde gösterimlere desteği azaltabilir.”

Ayrıca, altyazıların yerinden edilmesi — dil öğrenenler, göçmenler, işitme engelliler ve birçok başka kişi için kilit bir araç — erişilebilirlik konusunda kaygılar yaratıyor.

Prof. Alexander “Kapalı altyazı yalnızca bir alternatif çözüm değil; görsel ve işitsel hikâye anlatımının bütünlüğünü farklı izleyiciler için korumanın bir yöntemidir” ifadelerini kullandı.

Bunu otomatik taklit ile değiştirmek, sinema kültürünün tek dilli ve metalaşmış bir yöne kaydığını düşündürüyor.

“Yabancı filmleri İngilizce konuşanlara nasıl daha kolay sunarız diye sormak yerine, farklı sinemaların kendi şartlarıyla buluşmaya hazır seyirciler nasıl inşa edilir, diye sormak daha doğru olur.”