Dịch giọng nói bằng AI: trò chuyện theo thời gian thực bằng tiếng mẹ đẻ

Bạn nói tiếng Việt và người kia nghe tiếng Anh. Họ trả lời bằng tiếng Anh và bạn nghe tiếng Việt. Không ai phải đổi sang một ngôn ngữ mình chưa thạo, sao chép từng câu hoặc tự bấm phát bản dịch.

Đó là trải nghiệm của dịch giọng nói bằng AI: biến giọng nói của người khác thành lời nói bằng ngôn ngữ bạn hiểu, rồi dịch giọng nói của bạn thành ngôn ngữ họ hiểu. Quá trình này tiếp tục cùng cuộc trò chuyện, giúp cả hai tập trung vào nhau thay vì thao tác công cụ.

TransGull sử dụng công nghệ đa quy trình. Tương tự một phiên dịch viên vừa nghe, vừa dịch, vừa nói, AI vẫn tiếp tục lắng nghe âm thanh tại chỗ trong khi nội dung trước đó đang được dịch và phát lại.

Dịch giọng nói hai chiều không chỉ là chuyển âm thanh thành chữ

Nhiều tính năng được gọi là dịch giọng nói chỉ hiển thị phụ đề trên màn hình. Người dùng không phải gõ nhưng vẫn phải cúi xuống đọc. Dịch giọng nói hai chiều hoàn chỉnh cả chu trình: hiểu lời nói ở một ngôn ngữ, dịch ý nghĩa và đọc kết quả thành tiếng ở ngôn ngữ khác.

Trong cuộc trò chuyện trực tiếp, chu trình này phải hoạt động theo cả hai hướng. Bạn nói thời gian giao hàng bằng tiếng Việt, TransGull phát bản dịch tiếng Anh; người kia hỏi lại bằng tiếng Anh và bạn nghe câu trả lời bằng tiếng Việt.

Đồng thời, văn bản gốc và bản dịch vẫn xuất hiện trên màn hình. Âm thanh giữ cho cuộc trò chuyện tiếp tục, còn chữ viết giúp kiểm tra tên người, con số, địa điểm và thuật ngữ chuyên môn.

Đa quy trình giúp việc nghe, dịch và phát giọng nói tiếp tục song song

TransGull không giao toàn bộ cuộc trò chuyện cho một mô hình rồi chờ một kết quả cuối cùng. Các quy trình chuyên biệt đảm nhiệm từng công việc và chuyển kết quả sang bước tiếp theo theo đúng thứ tự.

Khi một đoạn đang được dịch hoặc chờ phát, lời nói tiếp theo vẫn có thể đi vào luồng xử lý. Mỗi đoạn giữ văn bản gốc, bản dịch và thứ tự phát riêng, vì vậy câu mới không đẩy câu trước ra khỏi cuộc trò chuyện.

Với Phiên dịch đồng thời bằng AI của TransGull, bạn không cần khởi động lại bản dịch sau mỗi câu. Hai người có thể tiếp tục cùng một chủ đề trong khi hệ thống lắng nghe, dịch và phát cả hai ngôn ngữ.

AI hiểu ngữ cảnh tự nhiên hơn cách dịch từng câu riêng lẻ

Dịch máy truyền thống thường coi mỗi câu là một đoạn văn bản độc lập. Khi gặp tên viết tắt, đại từ, từ đa nghĩa hoặc thông tin được lược bỏ, bản dịch có thể đúng từng từ nhưng không đúng với hoàn cảnh cuộc trò chuyện.

Giả sử mọi người đang bàn về kế hoạch ra mắt của văn phòng Singapore, sau đó có người nói: “Chuyển việc đó sang thứ Sáu.” Nếu chỉ nhìn một câu, hệ thống khó biết “việc đó” là văn phòng, nhóm phụ trách hay kế hoạch ra mắt. TransGull đặt câu mới trở lại cuộc trò chuyện đang diễn ra để hiểu đúng đối tượng được nhắc tới.

Mô hình ngôn ngữ lớn không chỉ ghép các từ tương ứng mà còn xem xét mối liên hệ giữa các câu. Cuộc trò chuyện càng phụ thuộc vào con người, địa điểm, tên sản phẩm và mục tiêu chung thì việc giữ ngữ cảnh càng quan trọng.

Vì sao không giao mọi việc cho một mô hình giọng nói?

Đưa âm thanh vào một mô hình rồi nhận ngay giọng nói đã dịch có vẻ đơn giản, nhưng quá trình ở giữa rất khó kiểm tra. Nếu mô hình bỏ qua một câu hoặc hiểu sai tên riêng, người dùng chỉ nghe kết quả cuối cùng và khó biết lỗi bắt đầu ở đâu.

Cách tiếp cận đa quy trình tách các công việc thiết yếu rồi kết nối chúng bằng ngữ cảnh và thứ tự chung. Người dùng có thể kiểm tra câu gốc đã nhận dạng, xem lại bản dịch và biết nội dung nào đang chờ phát. Một bước chậm lại cũng không buộc toàn bộ quá trình phải dừng theo.

TransGull tập trung vào ba kết quả:

• Nội dung đầy đủ: mỗi đoạn đã nhận dạng đi vào luồng riêng, không bị câu tiếp theo đẩy ra.
• Chất lượng bản dịch: mô hình ngôn ngữ lớn dùng ngữ cảnh hội thoại để giảm cách diễn đạt cứng và lỗi do dịch từng câu tách biệt.
• Vận hành ổn định: công nghệ đa quy trình duy trì kết quả dịch giọng nói qua biến động mạng và giảm ảnh hưởng của hiện tượng ảo giác mô hình.

Điều người dùng cảm nhận là cuộc trò chuyện không bị ngắt quãng

Hãy hình dung hai người đang xác nhận việc giao hàng:

1. Bạn nói: “Hãy giao mẫu đến gian hàng số 3 vào thứ Sáu và liên hệ với quản lý Lý trước.”
2. Người kia nghe bản dịch, còn câu gốc và câu dịch vẫn hiển thị trên màn hình.
3. Họ trả lời bằng ngôn ngữ của mình: “Được. Hãy gửi cho tôi số điện thoại của quản lý Lý.”
4. Bạn nghe câu trả lời bằng tiếng Việt và tiếp tục bàn về cùng đơn hàng.

Không cần chuyền điện thoại qua lại hoặc chọn hướng dịch sau mỗi câu. Hệ thống tiếp tục xử lý hai ngôn ngữ và phát câu dịch phù hợp cho từng người.

Thử dịch giọng nói theo thời gian thực bằng một cuộc trò chuyện thật

Đặt điện thoại ở nơi nghe rõ cả hai người, mở phiên dịch hai chiều và chọn hai ngôn ngữ. Thay vì chỉ thử “xin chào” và “cảm ơn”, hãy nói vài câu về cùng một chủ đề, có một tên riêng, một con số và một câu hỏi tiếp theo.

Hãy kiểm tra xem mỗi người có nghe đúng ngôn ngữ hay không, câu sau có tiếp nối ngữ cảnh câu trước không, và văn bản gốc, bản dịch cùng giọng phát có giữ đúng thứ tự không. Cách thử này thực tế hơn nhiều so với vài cụm từ rời rạc. Để không nhầm vấn đề thu âm với vấn đề dịch, hãy thử trong môi trường phù hợp để trò chuyện; nếu nơi trò chuyện ồn, hãy đưa thiết bị gần người nói và tránh nói cùng lúc.

Đánh giá bản dịch bằng kết quả của cuộc trò chuyện

Một cuộc trò chuyện đa ngôn ngữ thành công khi mọi người giải quyết được vấn đề, đưa ra quyết định hoặc xây dựng niềm tin, chứ không phải khi ứng dụng tạo ra nhiều câu dịch hơn. Ngay cả AI tiên tiến cũng chưa thực sự hòa vào cuộc trò chuyện nếu người dùng liên tục phải dừng lại để chỉnh công cụ hoặc đoán phần bị thiếu.

Hãy thử TransGull với một mục tiêu thật: xác nhận giao hàng, gặp khách hàng quốc tế, bàn lịch trình trong ngày hoặc nhờ người địa phương giúp đỡ. Nếu sau năm phút cả hai đều nói rõ nhu cầu và nhận được phản hồi, AI đã vượt qua một màn trình diễn để trở thành công cụ giao tiếp hữu ích.