Mô hình RVC là gì? Cách huấn luyện online

Trả lời ngắn gọn: Mô hình RVC là một mô hình giọng AI nhỏ được tạo bằng Retrieval-based Voice Conversion (RVC), một phương pháp mã nguồn mở giúp đổi giọng trong bản thu nhưng vẫn giữ nguyên lời, giai điệu và nhịp. Một mô hình RVC đã huấn luyện thường gồm hai file: file .pth chứa trọng số giọng và file .index tùy chọn giúp kết quả nghe giống người nói hoặc ca sĩ gốc hơn. Bạn có thể huấn luyện một mô hình chỉ từ vài phút bản thu sạch của một giọng duy nhất.

Trong nhạc AI, "RVC" gần như luôn chỉ mô hình chuyển đổi giọng này, còn "nhân bản giọng bằng RVC" nghĩa là huấn luyện mô hình trên một giọng cụ thể. Phần lớn các bản cover AI được chia sẻ trên mạng đều làm bằng nó.

RVC là viết tắt của gì?

RVC là viết tắt của Retrieval-based Voice Conversion (chuyển đổi giọng dựa trên truy xuất). RVC-Project công bố phương pháp này vào năm 2023 theo giấy phép MIT. Nó trở thành một trong những quy trình chuyển đổi giọng mã nguồn mở phổ biến nhất vì chạy được trên card đồ họa NVIDIA phổ thông và thường cần ít âm thanh huấn luyện hơn các cách làm cũ.

Điểm mấu chốt nằm ở chữ "chuyển đổi giọng". RVC không viết lời hay sáng tác nhạc. Nó lấy một phần hát có sẵn và thay giọng: cách nhả chữ, cao độ và nhịp của ca sĩ gốc được giữ lại, còn chất giọng trở thành giọng mà mô hình đã được huấn luyện.

Trình chuyển đổi giọng RVC là gì và hoạt động thế nào?

Trình chuyển đổi giọng RVC là bất kỳ công cụ nào nạp một mô hình RVC và chạy bản thu qua mô hình đó. Nói đơn giản, nó làm ba việc với mỗi giọng hát cần chuyển:

1. Tách nội dung được hát khỏi người hát. Một mô hình giọng nói (HuBERT / ContentVec) biến giọng hát đầu vào thành các đặc trưng mô tả âm thanh được phát ra, phần lớn không phụ thuộc vào danh tính ca sĩ.

2. Bám theo cao độ. Một bộ trích xuất pitch (RMVPE là lựa chọn phổ biến; Crepe và Harvest là phương án thay thế) theo dõi giai điệu để giọng sau khi chuyển hát đúng các nốt cũ. Bạn có thể dịch lên hoặc xuống một quãng tám khi chuyển giọng nam sang nữ hoặc ngược lại.

3. Dựng lại âm thanh bằng giọng đích. Bộ sinh đã huấn luyện biến các đặc trưng và cao độ đó trở lại thành âm thanh mang âm sắc của giọng đích.

Chữ "retrieval" (truy xuất) trong tên là bước phụ tùy chọn ở giữa: trước khi dựng lại, RVC tìm những âm giống nhất trong bản thu huấn luyện (lưu trong file .index) và kéo các đặc trưng lại gần chúng. Việc này có thể giúp kết quả nghe sát hơn với giọng đích thật.

Chuyển đổi giọng là một phép xấp xỉ tốt, không phải bản sao hoàn hảo: tùy giọng gốc và mô hình, bạn vẫn có thể nghe thấy cao độ chập chờn, phụ âm bị nuốt hoặc tiếng hơi rè.

File .pth và .index trong mô hình RVC là gì?

Khi người ta chia sẻ hay bán "một mô hình RVC", họ đang nói đến các file này, thường được nén chung trong một file zip:

Dung lượng chính xác thay đổi theo tần số lấy mẫu, công cụ huấn luyện và số vector đặc trưng mà chỉ mục giữ lại. File .index là tùy chọn. Không có nó, việc chuyển đổi vẫn chạy bình thường chỉ với file .pth. Có nó, thông số "index rate" sẽ quyết định kết quả bị kéo về phía giọng huấn luyện mạnh đến mức nào. Tăng thông số này có thể giúp giọng giống hơn, nhưng cũng có thể gây tiếng bị bí hoặc rè, nhất là khi âm thanh huấn luyện có nhiều tạp âm, nên đây là chuyện cân bằng chứ không phải "càng cao càng tốt".

Chỉ mục có thể lớn hơn trọng số rất nhiều. Trong bài thử của chính chúng tôi, huấn luyện với khoảng 15 phút giọng hát đã tách tạo ra một chỉ mục 136 MB bên cạnh file .pth 55 MB, cộng thêm file trung gian total_fea.npy 132 MB mà các script huấn luyện để lại và bước suy luận không bao giờ dùng đến.

RVC v1 và RVC v2 khác nhau thế nào?

RVC v2 là phiên bản gần như ai cũng dùng hiện nay. Nó trích xuất đặc trưng phong phú hơn, 768 chiều, từ âm thanh đầu vào (v1 dùng 256), nhờ vậy thường cho kết quả rõ và tự nhiên hơn, đặc biệt với giọng hát. Mô hình được huấn luyện ở 32, 40 hoặc 48 kHz; 48 kHz là lựa chọn phổ biến cho âm nhạc.

Mô hình v1 và v2 không dùng thay thế cho nhau được. Công cụ chuyển đổi cần biết file .pth thuộc phiên bản nào, và phần lớn công cụ còn được duy trì tích cực đều xây dựng quanh v2.

Mô hình RVC đến từ đâu?

Có hai nguồn:

• Mô hình được chia sẻ. Các trang web và kho lưu trữ cộng đồng chứa hàng nghìn mô hình RVC, nhiều mô hình bắt chước ca sĩ, diễn viên hoặc nhân vật có thật. Phần lớn được đăng tải mà không có sự cho phép của chủ giọng, giấy phép thường không rõ ràng, và một số file chỉ là checkpoint huấn luyện chứ không phải mô hình dùng để suy luận. Hãy thận trọng, nhất là với những gì bạn định công bố.

• Mô hình bạn tự huấn luyện. Huấn luyện bằng giọng của chính bạn, hoặc giọng bạn được cho phép rõ ràng, sẽ tránh được những vấn đề trên. Đây cũng là cách duy nhất để có mô hình của một giọng chưa ai công bố.

Nếu bạn muốn hát cover bằng giọng người khác, hướng dẫn làm bài hát cover AI hợp pháp của chúng tôi giải thích chi tiết hơn về sự đồng ý và bản quyền.

Cách huấn luyện mô hình RVC

Mọi quy trình huấn luyện RVC đều theo các bước giống nhau:

1. Thu thập âm thanh sạch của một giọng. Khoảng 5 đến 15 phút hát (hoặc nói) thường là đủ. Độ đa dạng (nốt trầm, trung và cao) quan trọng hơn số phút.

2. Loại bỏ mọi thứ không phải giọng hát. Nhạc nền, tiếng vang, bè và ca sĩ khác đều sẽ bị học thành một phần của giọng. Trình tách giọng hát sẽ hữu ích khi bạn chỉ có các bài hát hoàn chỉnh.

3. Cắt và tiền xử lý. Âm thanh được cắt thành các đoạn ngắn, bỏ khoảng lặng, rồi trích xuất cao độ và đặc trưng.

4. Huấn luyện theo số epoch định trước. Một epoch là một lượt chạy qua toàn bộ âm thanh huấn luyện. Càng nhiều epoch càng lâu và hiệu quả tăng thêm càng ít.

5. Tạo chỉ mục và xuất file. Kết quả là file .pth cùng file .index.

Có thể chạy ở đâu?

Có thể huấn luyện mô hình RVC online miễn phí không?

Một phần. Phần mềm RVC miễn phí và mã nguồn mở, nên huấn luyện trên máy tính của bạn không tốn gì ngoài phần cứng và tiền điện, nếu bạn có GPU NVIDIA đủ mạnh. Các lựa chọn online miễn phí kém ổn định hơn: thời gian GPU miễn phí của Colab có hạn và phiên có thể bị ngắt giữa chừng, notebook cộng đồng hay hỏng khi thư viện phụ thuộc thay đổi, còn gói miễn phí của các API huấn luyện (nếu có) đều giới hạn hạn mức. Huấn luyện cần thời gian GPU, nên các công cụ online ổn định, kể cả RaoMusic, đều tính phí. Nếu "miễn phí" là ưu tiên số một, huấn luyện trên máy là con đường thực tế; nếu bạn không có GPU hoặc không muốn cài đặt, công cụ online giúp bạn tiết kiệm thời gian đó.

Cách huấn luyện mô hình giọng RVC online với RaoMusic

Nhân bản giọng hát AI của RaoMusic chạy toàn bộ quy trình trên ngay trong trình duyệt:

1. Thêm 8–15 phút giọng hát của chính bạn. Tải file lên hoặc chọn bài hát từ thư viện. Nhạc nền được loại bỏ tự động và khoảng lặng được cắt bớt.

2. Chọn chất lượng huấn luyện. Tiêu chuẩn (50 epoch), Cao (100) hoặc Tối đa (150), tương ứng 150, 250 hoặc 350 điểm. Nếu sau khi tách còn chưa đến 3 phút giọng hát rõ, hoặc huấn luyện thất bại, điểm sẽ được hoàn tự động.

3. Chờ khoảng 15–40 phút. Quá trình huấn luyện dùng thiết lập RVC v2 tiêu chuẩn: 48 kHz với trích xuất pitch RMVPE. Bạn có thể đóng trang.

4. Nghe, dùng và tải về. Khi xong, một đoạn mẫu ngắn sẽ được hát bằng giọng mới của bạn. Giọng đó sau đó xuất hiện trong mục "Giọng của tôi" ở Trình tạo cover bài hát AI, và bạn có thể tải mô hình về dưới dạng file zip gồm .pth và .index để dùng trong các công cụ RVC khác.

Huấn luyện không miễn phí: mỗi lần chạy tốn điểm vì dùng thời gian GPU thuê. Đổi lại, bạn không cần GPU, không cần Python và không phải chuẩn bị file.

Nên huấn luyện mô hình RVC bao nhiêu epoch?

Chúng tôi đã huấn luyện cùng một giọng hai lần để tìm câu trả lời. Nguồn là một giọng ca AI ổn định (nghệ sĩ ảo JUNO của chúng tôi), và chúng tôi chuyển đổi cùng một bài hát thử bằng từng mô hình:

Khi nghe so sánh, mô hình 100 epoch nghe giống hơn một chút, nhưng khác biệt nhỏ. Đó là lý do 50 epoch là mặc định của chúng tôi và các mức cao hơn chỉ là tùy chọn. Hai lần chạy cũng dùng âm thanh huấn luyện khác nhau, và đây chỉ là một bài thử với một giọng, nên hãy xem nó như một dữ liệu tham khảo chứ không phải quy tắc. Nhìn chung, âm thanh huấn luyện sạch quan trọng hơn việc thêm epoch, và số epoch quá cao có thể khiến mô hình bị overfitting với bộ dữ liệu nhỏ.

File .index của RVC có tạo ra khác biệt không?

Chỉ mục là phần lớn nhất của một mô hình RVC, nên chúng tôi thử xem có thể thu nhỏ nó không. Với mô hình 50 epoch, chúng tôi dựng lại chỉ mục từ khoảng 45.000 vector đặc trưng xuống còn 10.000 tâm cụm, dùng đúng cách phân cụm mà chính RVC áp dụng cho bộ dữ liệu lớn:

Trong bài thử này, chỉ mục không tạo ra khác biệt rõ rệt khi nghe, và tăng index rate ở phiên bản 10.000 vector cũng không thay đổi những gì chúng tôi nghe thấy. Đó là một giọng AI sạch và ổn định; bản thu giọng người thật có nhiều tạp âm và biến đổi hơn có thể cho kết quả khác, nên đừng coi đây là quy tắc chung. RaoMusic giữ chỉ mục 10.000 vector trong mọi mô hình đã huấn luyện như một điểm cân bằng: tối đa khoảng 90 MB, dù bạn tải lên bao nhiêu âm thanh.

Những lỗi thường gặp khi huấn luyện RVC

• Huấn luyện bằng bài hát hoàn chỉnh mà không bỏ nhạc nền. Mô hình sẽ học cả ban nhạc lẫn giọng hát.

• Trộn nhiều ca sĩ. Song ca, bè và khách mời làm giọng bị nhòe thành mức trung bình của tất cả mọi người.

• Quá ít quãng giọng. Nếu mọi đoạn đều nhỏ và trầm, nốt cao sẽ nghe gượng sau khi chuyển đổi.

• Tăng epoch thay vì sửa âm thanh. Mười phút giọng hát sạch tốt hơn ba mươi phút đầy tạp âm, và thêm epoch không sửa được dữ liệu kém.

• Mong được "cấy" kỹ thuật hát. RVC sao chép chất giọng, không sao chép kỹ năng. Bản cover vẫn giữ vibrato, luyến láy và cách nhả chữ của ca sĩ gốc.