Tìm kiếm
Đang tải khung tìm kiếm
Kết quả 1 đến 1 của 1

    THẠC SĨ Nghiên cứu đặc trung tín hiệu và ràng buộc ngôn điệu để nâng cao chất lượng tổng hợp và nhận dạng tiếng Việt

    D
    dream dream Đang Ngoại tuyến (18524 tài liệu)
    .:: Cộng Tác Viên ::.
  1. Gửi tài liệu
  2. Bình luận
  3. Chia sẻ
  4. Thông tin
  5. Công cụ
  6. Nghiên cứu đặc trung tín hiệu và ràng buộc ngôn điệu để nâng cao chất lượng tổng hợp và nhận dạng tiếng Việt

    5

    MỤC LỤC
    Danh mục các thuật ngữ và từ viết tắt i
    Danh sách bảng ii
    Danh sách hình vẽ iii
    MỞ ĐẦU 1
    1. Tính cấp thiết của đề tài 1
    2. Mục tiêu, phạm vi nghiên cứu của luận án. . 4
    3. Phương pháp và nội dung nghiên cứu . 5
    4. Kết quả đạt được của luận án 6
    CHƯƠNG 1. TỔNG QUAN VỀ TỔNG HỢP VÀ NHẬN DẠNG TIẾNG
    NÓI 10
    1.1. Tổng hợp tiếng nói . 10
    1.1.1. Chuẩn hóa văn bản và phân tích câu – xử lý ngôn ngữ tự nhiên 11
    1.1.2. Chuyển văn bản sang đơn vị tiếng nói 11
    1.1.3. Dự báo ngôn điệu . 11
    1.1.4. Các phương pháp tổng hợp tiếng nói 12
    1.1.5. Các hệ thống tổng hợp tiếng nói tiếng Việt . 21
    1.1.6. Các tham số ngôn điệu . 23
    1.1.7. Tổng quan về âm học và các hiện tượng ngôn điệu tiếng Việt trong
    ngữ lưu . 25
    1.1.8. Hiệu chỉnh đường tần số cơ bản . 33
    1.2. Nhận dạng tiếng nói . 38
    1.2.1. Liệt kê các lớp bài toán nhận dạng tiếng nói . 38
    1.2.2. Môi trường thu nhận tín hiệu 39
    1.2.3. Biểu diễn tiếng nói - đặc trưng tiếng nói . 40 6

    1.2.4. Phương pháp nhận dạng tiếng nói . 42
    1.2.5. Các hệ thống nhận dạng tiếng nói tiếng Việt . 43
    1.3. Kết luận chương 1 44
    CHƯƠNG 2. XỬ LÝ TIẾNG NÓI VÀ CÁC MÔ HÌNH HỌC MÁY 46
    2.1. Xử lý tiếng nói . 46
    2.1.1. Xử lý nhiễu 46
    2.1.2. Một số loại nhiễu trong môi trường thực . 47
    2.1.3. Trích chọn đặc trưng tiếng nói 50
    2.1.4. Thuật toán PSOLA . 56
    2.2. Mô hình dự báo CART 59
    2.3. Mô hình Markov ẩn (HMM, Hidden Markov Model) . 63
    2.3.1. Tham số của mô hình HMM . 64
    2.3.2. Nhận dạng tiếng nói với mô hình Markov ẩn 66
    2.4. Kết luận chương 2 67
    CHƯƠNG 3. DỰ BÁO TRƯỜNG ĐỘ, ÂM LƯỢNG VÀ TỔNG HỢP
    THANH ĐIỆU TIẾNG VIỆT 68
    3.1. Khảo sát một số đặc tính âm học tiếng Việt 69
    3.1.1. Đặc tính trường độ của âm tiết do ảnh hưởng của phụ âm và nguyên
    âm trong ngữ cảnh . 70
    3.1.2. Quy luật biến đổi thanh điệu trong ngữ cảnh 71
    3.1.3. Quy luật biến đổi formant của nguyên âm trong ngữ cảnh 73
    3.1.4. Cách điệu hóa đường F0 của âm tiết tiếng Việt 78
    3.2. Dự báo thông tin trường độ, âm lượng của âm tiết tiếng Việt trong ngữ cảnh
    câu . 86
    3.2.1. Cơ sở dữ liệu tiếng nói huấn luyện mô hình dự báo 87
    3.2.2. Dự báo ngôn điệu . 92 7

    3.2.3. Thiết kế bộ phân tích ngôn điệu và xác định tham số huấn luyện dự
    báo trường độ và âm lượng 93
    3.2.4. Tổng hợp tiếng Việt trên hệ thống tài nguyên hạn chế 101
    3.3. Kết luận chương 3 103
    CHƯƠNG 4. KẾT HỢP THAM SỐ CẤU ÂM, FORMANT VÀ THANH
    ĐIỆU ĐỂ NÂNG CAO CHẤT LƯỢNG NHẬN DẠNG TIẾNG VIỆT 105
    4.1. Nhận dạng thanh điệu tiếng Việt 105
    4.2. Đặc trưng MFCC với phép chuẩn hóa độ dài cấu âm VTLN kết hợp với F0108
    4.2.1. Phép chuẩn hóa VTLN . 110
    4.2.2. Tổ hợp giá trị F0 và chuẩn hóa VTLN 112
    4.2.3. Ước lượng tham số chuẩn hóa VTLN bằng phương pháp formant 117
    4.3. Hệ thống nhận dạng tiếng Việt nhúng 124
    4.3.1. Điều khiển thiết bị tự hành bằng tiếng nói 126
    4.3.2. Biểu diễn HMM trong bộ nhớ SRAM của chip với tính toán chấm tĩnh
    (fixed point) 130
    4.4. Kết luận chương 4 131
    KẾT LUẬN 133
    1. Kết quả về tổng hợp tiếng Việt 133
    1.1. Kết quả chính 133
    1.2.Kết quả khác 134
    1.3.Một kết quả ứng dụng 134
    2. Kết quả về nhận dạng tiếng Việt . 134
    2.1. Kết quả chính 134
    2.2.Kết quả khác 135
    2.3.Một kết quả ứng dụng 136
    3. Hướng phát triển . 136 8

    DANH MỤC CÔNG TRÌNH ĐÃ CÔNG BỐ 138
    TÀI LIỆU THAM KHẢO 140
    PHỤ LỤC 149
    1. Cách tổ chức cây dự báo CART của Wagon/Festival 153
    1.1. Sự hỗn tạp trong dữ liệu (tạp âm) 153
    1.2. Định dạng dữ liệu 156
    1.3. Xây dựng cây 161
    2. Phân loại âm vị tiếng Việt . 163
    3. Cơ sở dữ liệu ngữ âm 171
    4. Các câu trích từ tập truyện “Dế mèn phiêu lưu ký” . 213




    i

    Danh mục các thuật ngữ và từ viết tắt
    Từ viết tắt Tên đầy đủ
    ADC Analog-Digital-Converter
    ADPCM Adaptive differential pulse-code modulation
    ANN Artificial neural network
    CART Class And Regression Tree
    CD-HMM Continuous-Density Hidden Markov Model
    CMS Cepstral-mean-subtraction
    CSDL Cơ sở dữ liệu
    C-V Consonant-Vow
    C-V-C Consonant-Vow-Consonant
    dB Decibel
    DFT Discrete Fourier Transform
    EM Expectation Maximization
    FFT Fast Fourier Transform
    F0 Fundamental Frequency
    GMM Gaussian Mixture Models
    GPIO General-purpose Input/Output
    HMM Hidden Markov Model
    HTK Hidden Markov Model Toolkit
    IDFT Inverse Discrete Fourier Transform
    IFFT Inverse Fast Fourier Transform
    LPC Linear Predictive Coding
    LPCC Linear Predictive Cepstral Coefficient
    LPF Low Pass filter
    LSF Line Spectral Frequency
    LSP Line Spectrum Pair ii

    MAP Maximum A posteriori
    MFCC Mel Frequency Cepstral Coefficient
    ML Maximum Likelihood
    PDF Probility Density Function
    POS Part-Of-speech
    PSOC Programmable System On Chip
    PSOLA Pitch Synchronous Overlap Add
    RMSE Root Mean Square Error
    SD Speaker Dependent
    SI Speaker Independent
    SS Spectral Subtraction
    SRAM Static Random Access Memory
    STC Shared decision Tree Cluster
    ToBI Tones and Break Indices
    TTS Text To Speech
    VTLN Vocal Tract Length Normalization
    VAD Voice Activity Detection
    ZCR Zero Crossing Rate
    WF Wiener Filter
    VTL Vocal Tract Length





    ii

    Danh sách bảng
    1. 1 Bảng so sánh một số sản phẩm tổng hợp tiếng Việt đã công bố . 21
    1. 2 Các tham số đặc trưng của ngôn điệu 24
    1. 3 Phân loại âm tiết tiếng Việt. 27
    1. 4 Các loại nhận dạng tiếng nói . 39
    1. 5 Liệt kê các môi trường theo mức nhiễu 39
    2. 1 Thuật toán nhận dạng tiếng nói dựa trên HMM với đặc trưng MFCC. . 66
    3. 1. Trường độ nguyên âm trong kết hợp với thanh điệu. . 72
    3. 2. Trường độ nguyên âm trong kết hợp với thanh điệu. . 73
    3. 3. Vùng tần số của các nguyên âm 76
    3. 4. Vùng tần số formant trung bình của các nguyên âm kết hợp với thanh điệu. 76
    3. 5. Vùng tần số formant trung bình của các nguyên âm kết hợp với thanh điệu. 77
    3. 6. Biểu diễn các 6 thanh điệu tiếng Việt bằng các lệnh thanh điệu 83
    3. 7. Giá trị trung bình và độ lệch chuẩn của các tham số Fujisaki cho các thanh điệu. 84
    3. 8. Bảng độ dài âm vị không tính ngữ cảnh 87
    3. 9. Độ dài nguyên âm a ràng buộc bởi phụ âm đầu, âm cuối 88
    3. 10. Bảng độ dài âm cuối ràng buộc bởi nguyên âm . 88
    3. 11. Bảng độ dài phụ âm đầu ràng buộc bởi nguyên âm . 89
    3. 12. Bảng độ dài thanh điệu theo âm tiết ràng buộc bởi âm kết thúc . 90
    3. 13. Bảng tham số đầu vào cho mô hình CART .95
    4. 1 Thuật toán nhận dạng tiếng nói dựa trên HMM với đặc trưng MFCC . 109
    4. 2 Một số dạng của phép hiệu chỉnh tần số 111
    4. 3 Bảng kết quả thực nghiệm kiểm tra . 116
    4. 4 Bảng kết quả giải mã tên trường của người đọc. 117
    4. 5 Bảng kết quả thực nghiệm kiểm tra . 123
    4. 6 Bảng cấu hình GAIN kết hợp bộ lọc thông thấp. . 126
    4. 7 Khẩu lệnh điều khiển xe lăn. . 128 iii

    4. 8 Khẩu lệnh điều khiển robot hút bụi. 129
    4. 9 Các bước của chương trình thử nghiệm trên máy tính . 130
    5. 1 Phân chia nguyên âm tiếng Việt theo độ nâng của lưỡi 165
    5. 2 Bảng phiên âm tiếng Việt 167

















    iii

    Danh sách hình vẽ
    1. 1 Hệ thống TTS tổng quát. . 10
    1. 2 Xử lý ngôn điệu tiếng Việt 12
    1. 3 Sơ đồ hệ thống tổng hợp ghép nối. 17
    1. 4 Tổng hợp tiếng nói theo HMM [71]. . 20
    1. 5 Mô hình VnSpeech tổng hợp tiếng Việt dựa vào formant. . 21
    1.6 Mô hình VoS tổng hợp ghép nối âm tiết và cụm từ. 22
    1.7 Mô hình hệ thống TTS dựa trên mô hình Markov ẩn. 23
    1.8 Cụm từ ”âm tiết tiếng Việt ” thể hiện trên sóng âm . 26
    1.9 Biểu đồ thanh điệu điển hình . 28
    1.10 Đường F0 của thanh ngang . 29
    1.11 Đường F0 của thanh ngã . 29
    1.12 Sơ đồ mô hình Fujisaki. 33
    1.13 Đường nét của thành phần trọng âm Gp(t). . 34
    1.14 Đường nét của thành phần trọng âm Ga(t) 35
    1.15 Trình bày biểu diễn sơ đồ F0, mối liên hệ sự kiện ngữ điệu đoạn trong mô hình
    Tilt 36
    1.16 Cách phân tích các tham số trong mô hình Tilt . 37
    1.17 Liệt kê các kiểu hệ thống nhận dạng tiếng nói. . 39
    1.18 Các bước rút trích đặc trưng MFCC từ tín hiệu âm thanh. 41
    1. 19 Chi tiết bước trích chọn MFCC. . 41
    1. 20 MFCC chuẩn . 42
    1. 21 MFCC đã biến đổi . 42
    1. 22 Mô hình mạng lai ghép HMM/ANN 43
    2. 1 “Men tường” thu âm khi bật động cơ hút bụi . 46
    2. 2 Tiếng nói được lọc 46
    2. 3 Quá trình hình thành tiếng nói nhiễu. 47 iv

    2. 4 Nhiễu hình thành do hướng và âm thanh phản hồi. . 47
    2. 5 Nhiễu khuyếch tán. . 48
    2. 6 Đi xoắn ốc” thu âm khi robot hút bụi đang di chuyển. . 49
    2. 7 Tiếng nói được lọc. . 49
    2. 8 Sơ đồ khối cho hai thuật toán SS và WF . 50
    2. 9 Các băng lọc dạng tam giác 51
    2. 10 Trích chọn đặc trưng MFCC. 51
    2. 11 Cộng xếp chồng các đoạn tín hiệu . 56
    2. 12 Ghép nối 2 diphone . 58
    2. 13 Một mô hình Markov ẩn với sáu trạng thái 66
    3. 1 Sơ đồ khối chung của quá trình huấn luyện và phân lớp các đường thanh điệu 69
    3. 2 Thanh không dấu (âm a) . 79
    3. 3 Thanh huyền được cách điệu từ từ một dãy các giá trị F0 đo được . 79
    3. 4 Thanh sắc được cách điệu từ một dãy các giá trị F0 đo được 80
    3. 5 Thanh nặng được cách điệu từ các giá trị F0 đo được . 80
    3. 6 Thanh hỏi được cách điệu từ một dãy giá trị F0 đo được 80
    3. 7 Biên tập đường F0 của dấu ngã và tổng hợp dấu ngã. . 82
    4. 1 Cách tuyến tính hóa đường F0 từng phân đoạn . 106
    4. 2 Sơ đồ nhận dạng thanh điệu tiếng Việt trên tiếng nói rời rạc . 107
    4. 3 Hiệu chỉnh tần số và trích chọn đặc trưng MFCC 110




    1

    MỞ ĐẦU
    1. Tính cấp thiết của đề tài
    Ngày nay, với sự bùng nổ của xã hội thông tin, con người không còn chỉ có nhu
    cầu giao tiếp với nhau nữa mà còn cần giao tiếp với những thiết bị điện tử. Hình thức
    giao tiếp người – máy thông qua ngôn ngữ tự nhiên sẽ đem lại nhiều ứng dụng, góp
    phần giải phóng sức lao động của con người. Chính vì vậy, vai trò của nhận dạng, tổng
    hợp tiếng nói có tầm quan trọng đặc biệt liên quan đến quá trình phát triển của văn
    minh nhân loại. Các ứng dụng nhận dạng và tổng hợp tiếng nói như Dragon của LH,
    Viavoice, Google voice search, Siri của Apple v.v ngày càng trở nên thông dụng và
    hữu ích trong cuộc sống.
    Về các hệ thống tổng hợp tiếng nói, hiện nay đã có nhiều phương pháp tổng hợp
    được nghiên cứu và ứng dụng trong thực tế như: tổng hợp theo cấu âm, tổng hợp bằng
    ghép nối, cách điệu hóa đường F0 và hiện tượng ngôn điệu [23][25][27], tổng hợp theo
    phương pháp thống kê dựa trên HMM [18][71][72] Tuy nhiên, vấn đề tổng hợp
    giọng tự nhiên cho tới nay vẫn là một vấn đề mở, ngay cả trong các ngôn ngữ châu Âu
    thông dụng như tiếng Anh. Bởi vì để tổng hợp được giọng tự nhiên đòi hỏi rất nhiều
    yếu tố từ việc xử lý các đặc trưng tín hiệu, hiện tượng ngôn điệu và ngữ cảnh ứng dụng
    (như trạng thái cảm xúc ) v.v
    Các hệ thống nhận dạng tiếng nói thường sử dụng các kỹ thuật học máy truyền
    thống như mạng nơ ron, mô hình Markov ẩn (HMM), chiến thuật tìm kiếm dựa trên
    quy hoạch động, các mô hình này có tính khái quát cao được ứng dụng ở nhiều lĩnh
    vực ngoài nhận dạng và tổng hợp tiếng nói. Để tăng được chất lượng nhận dạng tiếng
    nói các hệ thống nhận dạng cần phải bổ sung các phép tiền xử lý tín hiệu tiếng nói, các
    phép trích chọn đặc trưng tiếng nói như xử lý giảm thiểu sự sai lệch về phổ giữa đặc
    trưng tiếng nói của tập giọng nói người được huấn luyện và giọng nói của người sử
    dụng hệ thống [26][50] (ứng dụng trong các hệ thống nhận dạng độc lập người nói). 2

    Lọc nhiễu tiếng nói [28][58], trích chọn đặc trưng [35][36][46], tích hợp đặc trưng
    ngôn điệu [16]
    Hai môi trường nền phổ biến cho các hệ thống nhận dạng và tổng hợp tiếng nói là
    server hoặc nhúng (các ứng dụng tiếng nói cho điều khiển thiết bị, nhúng v.v ), các
    môi trường này có tài nguyên lưu trữ và tính toán khác nhau, điều đó dẫn đến các tiếp
    cận khác nhau trong việc cân bằng giữa chất lượng nhận dạng tổng hợp tiếng nói và sử
    dụng tài nguyên (lưu trữ, tính toán và điện năng tiêu thụ), thời gian thu thập mẫu huấn
    luyện v.v Môi trường nhúng có tầm quan trọng đặc biệt, được tập trung nghiên cứu
    phát triển nhiều trong thời gian gần đây do các thiết bị nhúng hầu hết không trang bị
    thiết bị nhập liệu như bàn phím và màn hình cảm ứng, giao tiếp bằng tiếng nói thể hiện
    hình thức tương tác tự nhiên, tuy vậy các hệ thống này đòi hỏi phải tối ưu rất nhiều so
    với quy trình nhận dạng tổng hợp tiếng nói nói chung [13][47][52]
    Nhận dạng và xử lý tiếng Việt (ngôn ngữ và tiếng nói) là một trong những mục
    tiêu cơ bản của phát triển và ứng dụng công nghệ thông tin ở Việt Nam do sự khác biệt
    về bản chất của hệ thống âm tiết, ngữ pháp và hiện tượng thanh điệu nên không thể sử
    dụng nguyên các hệ thống ứng dụng cho tiếng nước ngoài. Hiện nay những nghiên cứu
    về đặc trưng tín hiệu, hiện tượng ngôn điệu tiếng Việt mới chỉ đề cập ở mức độ ban
    đầu.
    Trong nước đã hình thành nhiều trung tâm nghiên cứu của các Viện nghiên cứu
    và các khoa Công nghệ Thông tin của các trường Đại học về xử lý tiếng nói (tiếng
    Việt) và ngôn ngữ tự nhiên như : Viện Công nghệ Thông tin, Trung tâm Pháp –Việt
    MICA của Đại học Gronobe và Đại học Bách khoa Hà Nội, Trung tâm SLP của Đại
    học khoa học tự nhiên Đại học Quốc Gia TP. HCM, Viện Công nghệ Bộ Khoa học và
    Công nghệ v.v .
    Các kết quả nghiên cứu tập trung vào việc sử dụng, cải tiến các công nghệ nguồn
    về Nhận dạng và Tổng hợp tiếng nói của tiếng Anh. 3

    Phòng thí nghiệm Trí tuệ nhân tạo AILab (Đại học Khoa học tự nhiên TP HCM)
    đã thiết kế và xây dựng các hệ thống Nhận dạng và tổng hợp tiếng Việt với nhiều cách
    tiếp cận khác nhau như tổng hợp ghép nối, tổng hợp dựa trên mô hình HMM.
    Về ứng dụng cho điều khiển, Viện Hàn lâm Khoa học và Công nghệ Việt Nam,
    với đề tài “Nghiên cứu thiết kế và chế tạo hệ thống điều khiển bằng tiếng nói tích hợp
    vào robot hút bụi tự động thông minh”, thực hiện năm 2011-2013[77] đã nghiên cứu
    phát triển mẫu robot dịch vụ - robot hút bụi điều khiển bằng khẩu lệnh tiếng Việt. Viện
    nghiên cứu Quốc tế MICA (Đại học Bách khoa Hà Nội) đã nghiên cứu một
    robot hướng dẫn bảo tàng từ giữa năm 2009 và thử nghiệm tại Bảo tàng Dân tộc học
    Việt Nam. Robot có khả năng hiểu một số câu hỏi của khách thăm quan, đồng thời sẽ
    giới thiệu cho khách thăm quan bằng tiếng nói nhiều thông tin liên quan đến các hiện
    vật trưng bày v.v
    Chính vì vậy việc đi sâu nghiên cứu các đặc trưng của ngôn ngữ tiếng Việt, khai
    thác, áp dụng các đặc trưng đó vào các hệ thống nhận dạng, tổng hợp tiếng nói để nâng
    cao chất lượng tổng hợp và nhận dạng tiếng Việt đang là vấn đề cần thiết nhằm tiến tới
    xây dựng các ứng dụng phù hợp với đặc thù của ngôn ngữ tiếng Việt, đáp ứng các nhu
    cầu ứng dụng ngày càng cao của xã hội.
    Xuất phát từ thực tế và những lý do trên, việc lựa chọn đề tài “Nghiên cứu các
    đặc trưng tín hiệu và ràng buộc ngôn điệu để nâng cao chất lượng Tổng hợp và Nhận
    dạng tiếng Việt”, nghiên cứu các đặc trưng tiếng nói phù hợp với đặc thù ngôn ngữ
    tiếng Việt, các đặc trưng ngữ âm như thanh điệu, trường độ và formant để nâng cao
    chất lượng Tổng hợp và nhận dạng tiếng Việt trong các ứng dụng giao tiếp người máy.
    Đề tài này cũng nghiên cứu hướng tới các ứng dụng tương tác điều khiển thiết bị, robot
    dịch vụ, ứng dụng hỗ trợ người khuyết tật, những ứng dụng mà công nghệ nhận dạng
    và tổng hợp tiếng Việt có vai trò quan trọng. 4

    2. Mục tiêu, phạm vi nghiên cứu của luận án.
    Mục tiêu chính của đề tài là tập trung chủ yếu ở vấn đề về xử lý ngôn điệu và đặc
    trưng tín hiệu để nâng cao chất lượng tổng hợp và nhận dạng tiếng Việt.
    Các hiện tượng ngôn điệu có thể là đường F0, trường độ và âm lượng của âm tiết
    hoặc từ đa âm tiết trong ngữ cảnh câu. Nghiên cứu về các ràng buộc ngôn điệu cho
    tổng hợp tiếng Việt còn ít được đề cập tới, trong khi để đạt được độ tự nhiên cao của
    tiếng nói tổng hợp cũng như để tăng độ chính xác của các hệ thống nhận dạng tiếng nói
    (nhận dạng khẩu lệnh, nhận dạng tên, nhận dạng đối thoại v.v ) đều đòi hỏi phải tích
    hợp các đặc trưng ngôn điệu của tiếng nói trong ngữ lưu và trong môi trường sử dụng
    thực tế của tiếng nói. Ngoài phương pháp học ngôn điệu dựa trên các mô hình thống
    kê, các tác giả của Viện Ứng dụng Công nghệ, Đại học Quốc gia TP HCM cũng đã giới
    thiệu một hệ thống tổng hợp tiếng Việt VOS với giọng đọc gần tiếng nói tự nhiên dựa
    trên tiếp cận kiểu kho ngữ liệu (corpus-based), mô hình này đòi hỏi rất nhiều dữ liệu
    được gán nhãn (dựa trên công nghệ phân đoạn tự động câu tiếng nói thành các đơn vị
    tiếng nói kết hợp với điều chỉnh tay) và chỉ phù hợp với ứng dụng cho môi trường
    server, bên cạnh đó tiếp cận này cũng có điểm hạn chế là đọc không chuẩn các ngữ
    đoạn ít thông dụng.
    Nghiên cứu các ảnh hưởng của hiện tượng ngôn điệu tiếng Việt như thanh điệu,
    các tần số formant và trường độ âm tiết trong các hệ thống nhận dạng tiếng Việt là một
    vấn đề quan trọng nhưng hiện tại ít được đề cập tới trong các công trình nghiên cứu về
    xử lý âm thanh tiếng Việt. Các hệ thống nhận dạng tiếng Việt dựa trên HMM thường
    dựa trên đặc trưng chuẩn MFCC. Khi ứng dụng thuật toán nhận dạng HMM với các
    đặc trưng MFCC cơ sở cho việc nhận dạng tiếng nói liên tục không phụ thuộc người
    nói, hệ thống thường suy giảm độ chính xác với những người nói có có đặc trưng giọng
    nói không phù hợp với những mẫu giọng được sử dụng để huấn luyện mô hình HMM.
    Xuất phát từ mục tiêu trên, phạm vi nghiên cứu của đề tài tập trung vào các vấn
    đề sau: 5

     Nghiên cứu các mô hình dự báo các hiện tượng ngôn điệu như trường độ, âm lượng,
    thanh điệu của các âm tiết tiếng Việt trong ngữ lưu, tích hợp trong các hệ thống tổng
    hợp tiếng Việt, tối ưu hiệu quả sử dụng tài nguyên lưu trữ và tính toán ứng dụng cho
    hệ thống nhúng.
     Nghiên cứu các phương pháp giảm thiểu sự sai lệch về cấu âm, phổ của tập giọng
    nói huấn luyện và giọng của người sử dụng dựa trên đặc trưng ngữ âm tiếng Việt để
    tăng độ chính xác nhận dạng tiếng nói cho các hệ thống nhận dạng tiếng Việt độc lập
    người nói.
    Đối tượng nghiên cứu của đề tài là:
     Các mô hình học máy như HMM, CART.
     Các đặc trưng tiếng nói (MFCC, F0, formant, VTL v.v )
     Mô hình biểu diễn, cách điệu đường F0, mô hình xử lý nhiễu, cân bằng tần số v.v
     Phương pháp tổng hợp ghép nối.
     Phép chuẩn hóa VTLN cho các hệ thống nhận dạng tiếng nói độc lập người nói.
    3. Phương pháp và nội dung nghiên cứu
    Phương pháp luận trong nghiên cứu của luận án là kết hợp giữa nghiên cứu lý
    thuyết và thực nghiệm. Các tư liệu và thông tin liên quan chủ yếu được thu thập, tổng
    hợp từ các nguồn tạp chí khoa học chuyên ngành trong và ngoài nước, qua các buổi
    seminar hoặc tham gia báo cáo tại các hội thảo khoa học, qua trao đổi với thầy hướng
    dẫn và các đồng nghiệp cùng lĩnh vực nghiên cứu v.v Tổng hợp các thông tin liên
    quan, lựa chọn các cách tiếp cận đã được áp dụng thành công, tiến hành thử nghiệm
    với tiếng Việt, đánh giá kết quả, từ đó sẽ tiến hành nghiên cứu sâu hơn về giải pháp cải
    tiến có thể để phát hiện các quy luật, ràng buộc cơ bản của đặc trưng ngôn điệu tiếng
    Việt cho tổng hợp và nhận dạng tiếng Việt.
    Cấu trúc luận án gồm: phần mở đầu, 4 chương nội dung, kết luận, danh mục tài
    liệu tham khảo và phụ lục.
    Chương 1: Tổng quan về tổng hợp và nhận dạng tiếng nói. 6

    Chương này trình bày khái quát về tổng hợp và nhận dạng tiếng nói dựa trên
    phương pháp Corpus-based theo cả hai phương pháp là chọn đơn vị để ghép nối và mô
    hình tổng hợp dựa trên HMM cho vấn đề tổng hợp tiếng nói và mô hình HMM cho vấn
    đề nhận dạng tiếng nói. Chương này còn phân tích một số hệ thống tổng hợp và nhận
    dạng tiếng nói cũng như mô hình Fujisaki để tổng hợp đường F0.

    Chương 2: Xử lý tiếng nói và các mô hình học máy.
    Chương này trình bày các công cụ cơ bản trong tiền xử lý tiếng nói, trích chọn
    đặc trưng tiếng nói, đặc trưng ngôn điệu và các mô hình học máy cho vấn đề dự báo,
    học và nhận dạng tiếng nói.
    Chương 3. Dự báo trường độ, âm lượng và tổng hợp thanh điệu tiếng Việt
    Chương này trình bày một số kết quả của luận án về tổng hợp tiếng Việt:
     Nghiên cứu về các mô hình ngôn điệu, phân tích đặc trưng tiếng Việt.
     Thanh điệu.
     Dự báo trường độ và âm lượng của âm tiết trong ngữ lưu.
     Tổng hợp tiếng Việt trên các hệ thống tài nguyên hạn chế.
    Chương 4. Kết hợp tham số cấu âm, formant và thanh điệu để nâng cao chất
    lượng nhận dạng tiếng Việt
     Nghiên cứu về nhận dạng thanh điệu tiếng Việt.
     Nghiên cứu đưa đặc trưng thanh điệu, tham số formant và tham số cấu âm của
    người nói để nâng cao chất lượng nhận dạng tiếng Việt.
     Nhận dạng tiếng Việt trên các hệ thống tài nguyên hạn chế.
    4. Kết quả đạt được của luận án
    Các kết quả đạt được của luận án đã được công bố trong 2 bài báo tại chí chuyên
    ngành năm 2011, 3 bài báo cáo đăng tại kỷ yếu hội nghị trong nước năm 2012, 2014.
    Ngoài ra nghiên cứu sinh cũng là đồng tác giả của một số báo cáo tại hội nghị trong 7

    nước, nước ngoài thời gian trước khi là nghiên cứu sinh. Những kết quả đạt được của
    luận án có thể tóm tắt như sau:
    Bài tạp chí
     “Tổ hợp đường F0 và VTLN cho nhận dạng tên riêng tiếng Việt“, Tạp chí Tin học
    và Điều khiển học”, trang 273 – 282, Tập 27, số 3, 2011. Bài báo trình bày nghiên
    cứu và thử nghiệm hiệu ứng của tổ hợp đặc trưng F0 và chuẩn hóa độ dài bộ phận
    cấu âm (VTLN, vocal tract length normalisation) để nâng cao chất lượng nhận dạng
    tiếng tên tiếng Việt trong mô hình nhận dạng tiếng nói phát âm liên tục dựa trên
    HMM. Các kết quả của bài báo chứng tỏ rằng hệ nhận dạng tiếng nói độc lập người
    nói với đặc trưng tiếng nói dựa trên đường F0 và đặc trưng MFCC biến đổi theo
    VTLN đã chuẩn hóa tốt biến thiên tần số của người nói mới và cải tiến được kết
    quả nhận dạng.
     “Dự báo các giá trị ngôn điệu tiếng Việt cho tiếng nói tổng hợp”, Tạp chí Công
    nghệ Thông tin và Truyền thông, Tập V-1 số 6(26), 09-2011, trang 236-241. Bài
    báo trình bày các kết quả nghiên cứu và thử nghiệm tích hợp các giá trị ngôn điệu
    tiếng Việt được dự báo như trường độ và âm lượng cho câu tiếng nói tổng hợp sử
    dụng mô hình học thống kê CART.
    Các kết quả trình bày trong bài báo chứng tỏ việc đưa giá trị ngôn điệu được dự
    báo từ văn bản vào trong bộ tổng hợp tiếng Việt được thống kê chi tiết cho cơ sở dữ
    liệu âm huấn luyện mô hình kết hợp các ngữ cảnh mức âm vị khác nhau đã cải tiến
    được chất lượng dự báo các tham số ngôn điệu như trường độ và âm lượng, dẫn đến
    thay đổi đáng kể chất lượng câu tiếng nói được tổng hợp.

    Kỷ yếu hội thảo
     “Trích chọn đặc trưng âm học tiếng Việt dựa trên F0 và biến thể của MFCC với
    ước lượng VTLN từ các giá trị formant”. Hội nghị quốc gia lần thứ VII "Nghiên
    cứu cơ bản và ứng dụng Công nghệ thông tin", FAIR 2014. Bài báo cáo trình bày 8

    ứng dụng phương pháp ước lượng tham số VTLN dựa trên bộ phát hiện tiếng nói
    và các giá trị formant thay thế cho phương pháp ML (Maximum likelihood) để tối
    ưu hóa về tính toán khi xây dựng một hệ thống nhận dạng tên tiếng Việt.
     “Tối ưu lưu trữ và tính toán tín hiệu tiếng nói cho hệ tổng hợp Tiếng Việt dựa trên
    ghép nối”, Hội nghị quốc gia lần thứ VII "Nghiên cứu cơ bản và ứng dụng Công
    nghệ thông tin", FAIR 2014. Bài báo cáo trình bày kết quả xây dựng hệ tổng hợp
    tiếng Việt theo phương pháp ghép nối âm cơ bản trên môi trường chip với tài
    nguyên hạn chế.
     “Thiết kế hệ thống nhận dạng khẩu lệnh tiếng Việt điều khiển thiết bị tự hành trên
    nền các vi hệ thống điện năng thấp với phép chuẩn hóa VTLN – MFCC”, hội nghị
    VCM-2012. Bài báo cáo trình bày thiết kế và thử nghiệm hệ thống nhận dạng khẩu
    lệnh tiếng Việt để điều khiển thiết bị tự hành, tích hợp hoàn toàn trong một chip vi
    hệ thống điện năng thấp như họ PSoC5 lõi (ARMCortex M3 chip, 64KB RAM,
    256KB Flash) hoặc họ OMAP3 (lõi ARM7,128MB RAM), được phát triển dựa
    trên mô hình nhận dạng Markov ẩn kết hợp mạng nơ ron dự báo.
    Các công bố trước thời gian làm nghiên cứu sinh
     Phân lớp các đường thanh điệu trong ngữ cảnh câu, kỷ yếu Hội thảo Quốc gia,
    NXB KHKT, 2006, tr 279-284.
     Nhận dạng thanh điệu tiếng Việt trên tiếng nói rời rạc phụ thuộc người nói, kỷ yếu
    Hội thảo Quốc gia, NXB KH&KT, tr 443-449, 2006.
     Sử dụng mô hình Fujisaki và mạng nơ ron trong nhận dạng và tổng hợp thanh điệu
    tiếng Việt" (2006), kỷ yếu hội thảo: “Nghiên cứu cơ bản và ứng dụng công nghệ
    thông tin FAIR2005”, Thành phố Hồ Chí Minh tháng 9 năm 2005, NXB KHKT,
    Hà Nội.
     Toward integrating the Fujisaki model into Vietnamese TTS, proceeding of the
    International Conference on Spoken Language Processing, Korea 2004. 9

     Quantitative Analysis and Synthesis of Syllabic Tones in Vietnamese,” Proc. in
    EUROSPEECH, Geneva, pages 177-180, 2004.
     Thiết kế các hệ thống nhận dạng tiếng Việt trong thời gian thực, kỷ yếu báo cáo
    hội nghị FAIR nghiên cứu cơ bản và ứng dụng công nghệ thông tin, trang 349 –
    357, 2003.
     Development of Automatic Data Entry Systems with Pattern Recognition
    Techniques, International Symposium on Knowledge Creation in
    Economics,Enviromental and Societal Systems, JAIST, Kanazawa, pp 72-78.
     Vietnamese text normalize and processing, Proceedings of National IT
    Conference.

    Xem Thêm: Nghiên cứu đặc trung tín hiệu và ràng buộc ngôn điệu để nâng cao chất lượng tổng hợp và nhận dạng tiếng Việt
    Nội dung trên chỉ thể hiện một phần hoặc nhiều phần trích dẫn. Để có thể xem đầy đủ, chi tiết và đúng định dạng tài liệu, bạn vui lòng tải tài liệu. Hy vọng tài liệu Nghiên cứu đặc trung tín hiệu và ràng buộc ngôn điệu để nâng cao chất lượng tổng hợp và nhận dạng tiếng Việt sẽ giúp ích cho bạn.
    #1
  7. Đang tải dữ liệu...

    Chia sẻ link hay nhận ngay tiền thưởng
    Vui lòng Tải xuống để xem tài liệu đầy đủ.

    Gửi bình luận

    ♥ Tải tài liệu

social Thư Viện Tài Liệu
Tài liệu mới

Từ khóa được tìm kiếm

Nobody landed on this page from a search engine, yet!

Quyền viết bài

  • Bạn Không thể gửi Chủ đề mới
  • Bạn Không thể Gửi trả lời
  • Bạn Không thể Gửi file đính kèm
  • Bạn Không thể Sửa bài viết của mình
  •  
DMCA.com Protection Status