RVC 模型是什麼？線上訓練 RVC 聲音模型教學

簡短回答： RVC 模型是用 RVC（Retrieval-based Voice Conversion，檢索式聲音轉換）做出來的小型 AI 聲音模型。RVC 是一種開源方法，能把錄音裡的人聲換成另一個聲音，同時保留歌詞、旋律和節奏。訓練好的 RVC 模型通常是兩個檔案：存放聲音權重的 .pth 檔，以及一個可選的 .index 檔，用來讓輸出更接近原本的說話者或歌手。只要同一個人幾分鐘的乾淨錄音，就能訓練一個。

在 AI 音樂圈，「RVC」幾乎都是指這種聲音轉換模型，「RVC 聲音複製」就是用某個人的聲音訓練一個這樣的模型。網路上流傳的 AI 翻唱，有很大一部分都是用它做的。

RVC 是什麼的縮寫？

RVC 是 Retrieval-based Voice Conversion（檢索式聲音轉換） 的縮寫。RVC-Project 在 2023 年以 MIT 授權公開發布。它能在一般消費級的 NVIDIA 顯示卡上執行，需要的訓練音訊往往也比早期方法少，因此成為使用最廣的開源聲音轉換方案之一。

重點在「聲音轉換」：RVC 不寫歌詞，也不作曲。它拿一段現成的演唱重新「換聲」：原唱的咬字、音高和節奏都保留，音色則變成模型訓練時用的那個聲音。

RVC 變聲器是什麼？它怎麼運作？

RVC 變聲器就是任何能載入 RVC 模型、讓錄音跑過一遍的工具。簡單來說，它對每段人聲做三件事：

1. 把「唱了什麼」和「誰在唱」分開。 一個語音模型（HuBERT / ContentVec）把輸入的人聲轉成描述發音內容的特徵，這些特徵基本上不帶歌手本人的音色。

2. 追蹤音高。 音高擷取器（常用 RMVPE，也有 Crepe、Harvest 等）跟著旋律走，讓換出來的聲音唱在同樣的音上。男聲轉女聲、女聲轉男聲時，可以整體升降一個八度。

3. 用目標音色把聲音重建出來。 訓練好的生成器把特徵和音高還原成聲音，用的是目標歌手的音色。

名字裡的「檢索」是中間一個可選步驟：重建之前，RVC 會在訓練錄音裡（存在 .index 檔中）找出最相似的發音，把特徵往那邊拉近一點，讓輸出更接近目標聲音的真實質感。

換聲是非常接近的模仿，但不是完美複製：依原唱和模型不同，仍可能聽到音高晃動、子音含糊或氣音雜訊。

RVC 模型裡的 .pth 和 .index 檔案是什麼？

大家分享或販售的「一個 RVC 模型」，指的就是這幾個檔案，通常打包在一個 zip 裡：

實際大小會隨取樣率、訓練工具和索引保留的特徵數量而變。.index 檔是可選的：沒有它，換聲照樣能做，只用 .pth。有了它，可以用「索引比例（index rate）」控制輸出往訓練音色靠多少。調高會更像，但也可能帶來悶悶的或尖銳的雜音，訓練音訊有雜訊時尤其明顯，所以要找平衡，不是越高越好。

索引可能比權重大得多。在我們自己的測試裡，用約 15 分鐘分離後的人聲訓練，得到 136 MB 的索引和 55 MB 的 .pth，另外還有一個 132 MB 的 total_fea.npy 中間檔，這是訓練腳本留下來的，換聲時完全用不到。

RVC v1 和 RVC v2 有什麼差別？

現在幾乎都用 RVC v2。它從輸入擷取的特徵更豐富（768 維，v1 是 256 維），效果通常更清晰自然，唱歌時尤其明顯。模型可以用 32、40 或 48 kHz 訓練，做音樂一般選 48 kHz。

v1 和 v2 的模型不能互換。變聲工具需要知道一個 .pth 是哪個版本，目前仍在維護的工具大多以 v2 為主。

RVC 模型從哪裡來？

有兩個來源：

• 別人分享的模型。 社群網站和模型庫裡有成千上萬個 RVC 模型，很多是在模仿真實的歌手、演員或角色。大多數沒有經過聲音主人同意，授權往往不明確，有些檔案甚至是訓練中途的存檔，而不是能直接使用的推論模型。使用時要謹慎，打算公開發表的作品更要小心。

• 自己訓練的模型。 用你自己的聲音，或你明確取得授權的聲音來訓練，就沒有這些問題。想要一個沒人公開過的聲音，也只能自己訓練。

如果你想用別人的聲音唱翻唱，我們的合法製作 AI 翻唱指南有更詳細的授權和版權說明。

如何訓練 RVC 模型？

各種 RVC 訓練方式的步驟都一樣：

1. 收集同一個人的乾淨音訊。 一般 5 到 15 分鐘的演唱（或說話）就夠。音域涵蓋廣（低、中、高音都有）比時間更長更重要。

2. 去掉人聲以外的一切。 伴奏、殘響、和聲、其他歌手都會被當成聲音的一部分學進去。手上只有完成的歌曲時，可以先用人聲分離工具處理。

3. 切片和前處理。 音訊會被切成短片段、去除靜音，並擷取音高和特徵。

4. 依設定的輪數（epoch）訓練。 一輪就是把訓練音訊完整跑過一次。輪數越多越花時間，效益也越來越小。

5. 建立索引並匯出。 最後得到 .pth 檔和 .index 檔。

可以在哪裡訓練？

可以免費線上訓練 RVC 模型嗎？

部分可以。RVC 軟體本身免費開源，如果你有一張夠用的 NVIDIA 顯示卡，在自己電腦上訓練除了硬體和電費之外不花錢。免費的線上方案就沒那麼可靠：Colab 免費 GPU 時數有限，訓練到一半可能中斷；社群筆記本在相依套件更新後常常跑不起來；訓練 API 即使有免費方案也有配額。訓練要占用 GPU，所以穩定的線上訓練工具（包括 RaoMusic）都會收費。最在意「免費」的話，本機訓練是比較實際的路；沒有顯示卡或不想折騰環境，線上訓練能幫你省下這些時間。

用 RaoMusic 線上訓練 RVC 聲音模型

RaoMusic 的 AI 聲音複製在瀏覽器裡就能跑完上面整套流程：

1. 加入 8–15 分鐘你自己唱的音訊。 可以上傳檔案，也可以從歌曲庫裡挑選。伴奏會自動去除，靜音也會被剪掉。

2. 選擇訓練品質。 標準（50 輪）、高（100 輪）、極致（150 輪），分別為 150、250、350 點數。去除伴奏後清晰歌聲不到 3 分鐘，或訓練失敗時，點數會自動退還。

3. 等待約 15–40 分鐘。 訓練採用標準的 RVC v2 設定：48 kHz、RMVPE 音高擷取。你可以關閉頁面。

4. 試聽、使用、下載。 訓練完成後，會先用你的新音色唱一小段讓你試聽。之後這個音色會出現在 AI 翻唱歌曲產生器的「我的音色」裡；你也可以把模型下載成包含 .pth 和 .index 的 zip，在其他 RVC 工具中使用。

訓練不是免費的：每次訓練都要花點數，因為要租用 GPU 時間。換來的是不需要顯示卡、不用裝 Python，也不用自己準備檔案。

RVC 模型要訓練幾輪才合適？

我們用同一個聲音訓練了兩次來比較。素材是一位音色穩定的 AI 歌手（我們的虛擬歌手 JUNO），再用兩個模型分別翻唱同一首測試歌：

對照試聽時，100 輪的模型聽起來稍微更像一點，但差異很小。所以我們預設用 50 輪，更高的等級則作為選項。兩次測試的訓練音訊也不一樣，而且只是單一聲音的一次測試，請把它當成一個參考數據，而不是定律。一般來說，訓練音訊乾淨比多訓練幾輪更重要；資料量少時，輪數太多還可能過度擬合。

RVC 的 .index 檔到底有沒有用？

索引是 RVC 模型裡最大的部分，所以我們測試了能不能把它縮小。用 50 輪的那個模型，我們把索引從約 4.5 萬條特徵向量分群壓縮成 1 萬個中心點，用的正是 RVC 本身處理大型資料集時的分群方法：

這次測試中，索引沒有帶來明顯聽得出的差異；把 10,000 條版本的索引比例調高，我們也沒聽出變化。不過這是一個乾淨、穩定的 AI 生成聲音，雜訊較多、變化較大的真人錄音結果可能不同，別把它當成普遍規律。RaoMusic 在每個訓練好的模型裡都保留一個 10,000 條的索引作為折衷：不管上傳多少音訊，模型最多約 90 MB。

訓練 RVC 模型的常見錯誤

• 直接拿完成的歌曲訓練，沒去伴奏。 模型會把整個樂團也當成聲音學進去。

• 混入多位歌手。 合唱、和聲、featuring 會讓聲音變成所有人的平均值。

• 音域太窄。 素材全是又輕又低的片段，換聲後高音會聽起來很吃力。

• 只顧加輪數，不改素材。 10 分鐘乾淨人聲勝過 30 分鐘吵雜人聲，輪數補不了壞資料。

• 以為能把唱功也換過來。 RVC 複製的是音色，不是技巧。翻唱會保留原唱的顫音、轉音和咬字。