tailieunhanh - Báo cáo khoa học: "Personalising speech-to-speech translation in the EMIME project"

In the EMIME project we have studied unsupervised cross-lingual speaker adaptation. We have employed an HMM statistical framework for both speech recognition and synthesis which provides transformation mechanisms to adapt the synthesized voice in TTS (text-to-speech) using the recognized voice in ASR (automatic speech recognition). An important application for this research is personalised speech-to-speech translation that will use the voice of the speaker in the input language to utter the translated sentences in the output language. . | Personalising speech-to-speech translation in the EMIME project Mikko Kurimo1 William Byrne6 John Dines3 Philip N. Garner3 Matthew Gibson6 Yong Guan5 Teemu Hirsimaki1 Reima Karhila1 Simon King2 Hui Liang3 Keiichiro Oura4 Lakshmi Saheer3 Matt Shannon6 Sayaka Shiota4 Jilei Tian5 Keiichi Tokuda4 Mirjam Wester2 Yi-Jian Wu4 Junichi Yamagishi2 1 Aalto University Finland 2 University of Edinburgh UK 3 Idiap Research Institute Switzerland 4 Nagoya Institute of Technology Japan 5 Nokia Research Center Beijing China 6 University of Cambridge UK Corresponding author Abstract In the EMIME project we have studied unsupervised cross-lingual speaker adaptation. We have employed an HMM statistical framework for both speech recognition and synthesis which provides transformation mechanisms to adapt the synthesized voice in TTS text-to-speech using the recognized voice in ASR automatic speech recognition . An important application for this research is personalised speech-to-speech translation that will use the voice of the speaker in the input language to utter the translated sentences in the output language. In mobile environments this enhances the users interaction across language barriers by making the output speech sound more like the original speaker s way of speaking even if she or he could not speak the output language. 1 Introduction A mobile real-time speech-to-speech translation S2ST device is one of the grand challenges in natural language processing NLP . It involves several important NLP research areas automatic speech recognition ASR statistical machine translation SMT and speech synthesis also known as text-to-speech TTS . In recent years significant advance have also been made in relevant technological devices the size of powerful computers has decreased to fit in a mobile phone and fast WiFi and 3G networks have spread widely to connect them to even more powerful computation servers. Several hand-held S2ST applications and devices have already .

• Báo cáo khoa học
• Personalising speech to speech translation
• the EMIME project
• Mikko Kurimo
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball