Yapay zekâ konuşma çevirisi: Kendi dilinizde konuşmaya devam edin

Siz İngilizce konuşursunuz, karşınızdaki Japonca duyar. O Japonca yanıtlar, siz İngilizce duyarsınız. İkinizin de dil değiştirmesi, uygulamalar arasında metin kopyalaması veya her cümleden sonra oynat düğmesine basması gerekmez.

Yapay zekâyla sesten sese çevirinin vadettiği budur: Başkasının sesini anladığınız konuşmaya, sizin sesinizi de onun anladığı konuşmaya dönüştürmek. Süreç konuşmayla birlikte devam eder; böylece iki kişi bir çeviri aracını yönetmek yerine birbirine odaklanabilir.

TransGull bunu birden fazla süreç kullanan bir yaklaşımla gerçekleştirir. Aynı anda dinleyen, çeviren ve konuşan bir insan tercüman gibi, yapay zekâsı önceki konuşma çevrilip oynatılırken odadaki konuşmayı dinlemeye devam eder.

Sesten sese çeviri altyazıların ötesine geçer

Birçok sesli çeviri aracı ekrandaki metinle sınırlı kalır. Artık yazmanız gerekmez, ancak yine de aşağı bakıp okumanız gerekir. Gerçek sesten sese çeviri döngüyü tamamlar: Bir dildeki konuşmayı anlar, anlamını çevirir ve sonucu başka bir dilde sesli söyler.

Bu döngünün iki yönde de çalışması gerekir. Teslimat saatini İngilizce açıklayıp TransGull'a Japonca çevirisini dinletebilirsiniz. Ardından karşınızdaki Japonca soru sorabilir ve yanıt size İngilizce olarak dinletilir.

Kaynak ve çevrilmiş metin de görünür kalır. Sesli çıktı konuşmayı sürdürürken metin, iki kişinin de isimleri, sayıları, yerleri ve uzmanlık terimlerini kontrol etmesini sağlar.

Çok süreçli yapay zekâ dinlemeyi, çevirmeyi ve konuşmayı sürdürür

TransGull tüm konuşmayı tek bir modele gönderip tek bir nihai yanıt beklemez. Uzmanlaşmış süreçler kendi görevlerini yürütür ve sonucu sırayla sonraki aşamaya aktarır.

Bir bölüm çevrilirken veya seslendirilmek üzere beklerken sonraki konuşma iş akışına girmeye devam edebilir. Her bölüm kendi kaynak metnini, çevirisini ve oynatma sırasını korur; sonraki cümle öncekinin yerini almaz.

TransGull Yapay Zekâ Simultane Tercümesi ile her cümleden sonra çeviriyi yeniden başlatmanız gerekmez. Sistem iki dilde dinler, çevirir ve konuşurken iki kişi aynı konuyu tartışmaya devam edebilir.

Bağlama duyarlı yapay zekâ, cümle cümle çeviriden daha doğal gelir

Geleneksel makine çevirisi çoğu zaman her cümleyi bağımsız bir metin parçası olarak ele alır. Kısaltmalar, zamirler, çok anlamlı kelimeler ve söylenmeyen ayrıntılar, teknik olarak makul ama konuşma açısından yanlış bir çeviri doğurabilir.

Konuşmanın Singapur ofisinin açılış planıyla ilgili olduğunu düşünün. Ardından biri “Onu cumaya alın” der. Cümle cümle çalışan bir sistem, “onu” ifadesinin ofisi mi, ekibi mi, açılışı mı kastettiğini bilemeyebilir. TransGull yeni cümleyi süren konuşmanın içine yerleştirir ve göndermeyi anlamak için bağlamı kullanır.

Bağlama duyarlı büyük model çevirisi ile geleneksel ifade değiştirme arasındaki önemli fark budur: Bir cümlenin diğeriyle ilişkisini dikkate alır. Konuşma ortak kişiler, yerler, ürünler ve hedeflere ne kadar bağlıysa bu süreklilik o kadar değerli olur.

Neden her görev tek bir konuşma modeline verilmiyor?

Sesi doğrudan tek modele gönderip çevrilmiş ses almak daha basit görünebilir; ancak aradaki adımları incelemek zordur. Bir cümle atlanır veya bir isim yanlış anlaşılırsa dinleyici yalnızca son çıktıyı duyar ve sorunun nerede başladığına dair çok az kanıt görür.

Çok süreçli iş akışı temel işleri ayırırken onları ortak bağlam ve sıralamayla bağlar. İnsanlar tanınan kaynak metni kontrol edebilir, çeviriyi inceleyebilir ve sesli sonuçların özgün sırayı izlediğini görebilir. Çeviri ve ses üretimi de konuşmanın diğer tüm kısımlarını durmaya zorlamadan devam edebilir.

TransGull üç sonuca odaklanır:

• Eksiksiz içerik: Kabul edilen konuşma, sonraki cümle tarafından yerinden edilmek yerine kendi iş akışına girer.
• Çeviri kalitesi: Büyük model, katı ifadeleri ve tekil cümle çevirisinden doğan hataları azaltmak için konuşma bağlamını kullanır.
• Kararlı çalışma: Çok süreçli tasarım ağ dalgalanmalarında sesten sese sonuçlar sunmayı sürdürür ve model halüsinasyonlarının etkisini azaltır.

Önemli olan kesintisiz bir konuşma deneyimidir

İki kişinin bir ürün teslimatını doğruladığını düşünün:

1. “Lütfen numuneleri cuma günü 3 numaralı standa teslim edin ve önce Lee Hanım'la iletişime geçin” dersiniz.
2. Kaynak ve çevrilmiş metin ekranda kalırken karşınızdaki çeviriyi duyar.
3. Kendi dilinde yanıt verir: “Sorun değil. Lütfen Lee Hanım'ın telefon numarasını gönderin.”
4. İngilizce çeviriyi duyar ve aynı teslimatı konuşmaya devam edersiniz.

Telefonu elden ele vermek veya her cümle için dil yönü seçmek gerekmez. Sistem iki dili de işlemeyi sürdürür ve her dinleyiciye doğru sesli çeviriyi iletir.

Gerçek zamanlı ses çevirisini gerçek bir konuşmayla deneyin

Telefonu iki kişiyi de duyabileceği yere koyun, çift yönlü tercümeyi açın ve iki dili seçin. Yalnızca “merhaba” ve “teşekkür ederim” ifadelerini denemek yerine aynı konuyu birkaç cümle boyunca konuşun; bir isim, bir sayı ve bir devam sorusu ekleyin.

Her iki kişinin doğru hedef dili duyup duymadığını, sonraki cümlelerin önceki bağlamı taşıyıp taşımadığını ve kaynak, çeviri ve sesli çıktının sırasını koruyup korumadığını kontrol edin. Bu, gerçek zamanlı ses çevirisi için birkaç kopuk ifadeden daha iyi bir testtir. Ses yakalama sorununu çeviri sorunuyla karıştırmamak için konuşmaya uygun bir ortamda deneyin; oda gürültülüyse cihazı konuşmacılara yaklaştırın ve aynı anda konuşmaktan kaçının.

Ses çevirisini, konuşmanın başardıklarıyla değerlendirin

Çok dilli bir konuşma, insanlar bir sorunu çözdüğünde, karar aldığında veya güven kurduğunda başarılı olur; uygulamanın yalnızca daha çok çevrilmiş cümle üretmesiyle değil. İnsanlar ayar yapmak ya da neyin eksik kaldığını tahmin etmek için sürekli durmak zorundaysa gelişmiş bir model bile konuşmanın parçası hâline gelmiş sayılmaz.

TransGull'u gerçek bir amaçla deneyin: Bir teslimatı doğrulayın, yurt dışındaki müşteriyle görüşün, günün gezi planını konuşun veya yerel birinden yardım isteyin. Beş dakika sonunda iki kişi de ihtiyacını anlatıp yararlı bir yanıt alabiliyorsa yapay zekâ bir gösterimin ötesine geçmiş ve pratik bir iletişim aracına dönüşmüştür.