🎃 萬聖節限時加贈:首月點數最高翻倍

立即領取

如何讓 AI 用我的聲音唱歌?

複製一次你的歌聲,就能用它重新演唱現成的歌或全新的 AI 歌曲。步驟、設定和真實範例。

作者:RaoMusic
複製我的歌聲
在家錄歌、讓 AI 用自己的聲音唱歌的歌手

簡短回答: 想讓 AI 用你的聲音唱歌,先要複製你的歌聲:給 AI 聲音模型 8–15 分鐘你自己唱歌的錄音,讓它學會你的音色。接著把一首歌的人聲送進這個模型,AI 就會用你的聲音重新演唱,旋律和節奏通常會緊跟原唱。可以用現成的歌(也就是 AI 翻唱),也可以用 AI 新生成的歌。

這篇只談「怎麼用自己的聲音唱一首歌」這個流程:步驟、關鍵設定、這項技術目前做不到什麼,以及一組可以直接試聽的前後對比。聲音模型是怎麼訓練出來的,請看我們的 RVC 模型指南;翻唱功能的更多選項,請看 AI 翻唱歌曲產生器指南。

AI 真的能用我的聲音唱歌嗎?

可以,但有一個重要限制。現在的歌聲複製(大多基於一種叫 RVC 的開源方法)複製的是你聲音的音色:它的色彩、質感和特點。它不會複製你的唱法。咬字、顫音、轉音和換氣,都來自你拿來轉換的那段人聲的原唱。

所以結果聽起來像是 AI 用你的聲音,唱別人的詮釋。很多情境下這正是你要的:翻唱、做 demo、學一首歌之前先聽聽自己唱是什麼效果。如果連唱法也想是自己的,那還是得自己唱。

想了解背後的原理,上面那篇 RVC 指南詳細說明了模型檔案和訓練過程。

開始前你需要準備什麼

  • 8–15 分鐘你自己唱歌的錄音。 幾首歌、幾段都可以,會合併在一起使用。音域涵蓋廣(低、中、高音都有)比時長更重要。

  • 只能有一個人的聲音。 錄音裡不要有合唱、和聲或其他歌手。

  • 盡量乾淨。 伴奏會自動去除,但很重的殘響、觀眾噪音或失真還是會混進模型。

  • 是你自己的聲音,或你已取得授權的聲音。 訓練前需要確認。

在安靜的房間用手機錄也可以。乾聲、離麥克風近的錄音,比後製做得很滿、殘響很重的成品效果更好。

在家用電容麥克風錄歌的歌手,筆電上顯示人聲波形
一個安靜的房間加上一支近距離的麥克風,就足以錄出好用的訓練素材。

第 1 步:複製你的歌聲

在 RaoMusic 的 AI 聲音複製裡:

  1. 幫音色取名,加一張封面。

  2. 加入你的錄音。 可以一次上傳多個檔案,也可以從歌曲庫裡挑選。訓練前每段都能試聽。

  3. 選擇訓練品質。 標準(50 輪,150 點數)通常就夠了;高(100 輪,250 點數)和極致(150 輪,350 點數)更花時間,提升不大。

  4. 確認是你自己的聲音,開始訓練。 伴奏會被去除、靜音會被剪掉,模型自動訓練,大約 15–40 分鐘。你可以關閉頁面。

去除伴奏後清晰歌聲不到 3 分鐘,或訓練失敗時,點數會自動退還。訓練完成後,會先用你的新音色唱一小段,讓你聽聽像不像。

第 2 步:選你想唱的歌

有兩種選擇:

  • 現成的歌。 歌曲庫裡大多數歌都可以,包括你上傳的,最長 10 分鐘。這就是用你的聲音做的 AI 翻唱。

  • 全新的歌。 用 AI 歌曲產生器生成一首原創歌(可以用你自己寫的歌詞),下一步再把人聲換成你的。不用錄整首人聲,也能得到一首聽起來像你唱的原創歌。

盡量選音域和你的錄音接近的歌。用低沉溫暖的聲音訓練出來的模型,唱女高音旋律很難自然。

第 3 步:用你的聲音重新演唱

打開 AI 翻唱歌曲產生器,在「我的音色」裡選擇你的聲音,加入歌曲,按下生成。翻唱依音訊長度每分鐘 10 點數,通常幾分鐘就會完成。

有三個設定值得了解:

設定作用什麼時候調整
音高三個預設:不變,或用「男聲轉女聲」「女聲轉男聲」把人聲升高或降低一個八度原唱聲區和你差很多時試試看;它沒辦法完全解決超出你音域的旋律
音色強度輸出要往你訓練好的音色靠攏多少結果還像原唱就調高;聽到金屬感雜音就調低
人聲清晰度保留多少原唱的氣音和子音想要更乾淨、更「換過聲」的效果就調低;咬字含糊就調高

預設設定就是不錯的第一次嘗試。一次只改一項,才聽得出每個設定的作用。

AI 翻唱產生器示意圖:選擇音色、來源歌曲、音高與音色強度設定
選取你的音色,加入歌曲,需要時再調整音高或音色強度(示意圖)。

聽一個範例:複製前後對比

我們用虛擬歌手 JUNO 約 15 分鐘的歌複製了她的聲音,再讓複製的音色唱一首她從沒錄過的歌。先聽她的訓練音訊,再對比同一段副歌的原唱和複製版:

JUNO 唱她自己的歌(訓練音訊)

《Hoax》原唱

《Hoax》用複製的 JUNO 音色演唱

可以聽到,翻唱保留了原唱的咬字和旋律,音色則往 JUNO 靠攏。你自己的聲音也會是這種效果。這個範例裡的歌手和歌曲都是我們用 AI 生成的,所以可以在這裡分享;真人聲音的效果會類似,但不會完全一樣。

怎麼用你的聲音做一首原創歌

想要一首沒人唱過的歌,就把兩個工具結合起來:

  1. 寫或生成歌詞。 用你自己寫的,或先用 AI 歌詞工具打個草稿。

  2. 生成歌曲。 在 AI 歌曲產生器裡選一個接近你的人聲類型(例如你的聲音偏低就選男聲),描述風格,按下生成,挑一版你喜歡的旋律。

  3. 轉換人聲。 把這首歌放進翻唱歌曲產生器,用你複製的音色轉換。

旋律和唱法來自生成的歌手,音色來自你。想要最自然的效果,就指定一個你自己大概也唱得出來的音域和風格。

讓效果更好的技巧

  • 音域要對得上。 大多數「聽起來不像我」,都是因為歌比你的自然音域高太多或低太多。試試音高選項,或換個調。

  • 改訓練素材,而不是改設定。 如果每次翻唱都悶悶的,多半是錄音裡混了伴奏、殘響或別人的聲音。用更乾淨的錄音重新訓練。

  • 原唱人聲要乾淨。 效果很重、多層和聲、饒舌墊詞多的歌,轉換效果不如一條乾淨清楚的主唱。

  • 別期待唱法也變成你的。 你唱歌顫音很多而原唱沒有,翻唱出來也不會有。

AI 聲音複製目前還做不到什麼

  • 學會你的風格。 它改的是音色,不是咬字、唱腔或技巧。

  • 完美處理超出音域的歌。 訓練素材裡沒有的極高或極低音,往往聽起來很吃力。

  • 完美分離人聲。 原曲裡的和聲可能會以你的聲音或雜音的形式漏出來。

  • 取代正式發行的真人演唱。 正式發行時,很多歌手還是會自己錄主唱,複製音色多半用來做 demo 和嘗試。

讓 AI 用我的聲音唱歌合法嗎?

複製你自己的聲音風險很低,但仍要遵守各平台關於 AI 和合成人聲的規範。未經許可使用別人的聲音就不同了:可能涉及授權同意、聲音權(公開權)和平台規範問題,有些地方還專門針對聲音複製立了法,例如美國田納西州(Tennessee)的 ELVIS Act。只複製你自己的、或已取得授權的聲音。

歌曲本身是另一回事,有兩層權利:詞曲(旋律和歌詞)屬於詞曲作者和發行商;用現成歌曲做的 AI 翻唱還用到了原錄音裡的伴奏,這屬於那版錄音(母帶)的所有者。公開分享或發行這類翻唱,可能兩方面都需要授權,平台也可能標記。我們的合法製作 AI 翻唱指南詳細介紹了各種做法。你自己生成的原創歌能避開大部分這些問題。

常見問題

可以。用 8 到 15 分鐘你自己唱歌的錄音訓練一個 AI 聲音模型,再把一首歌的人聲送進這個模型。AI 通常會跟著原本的旋律和節奏,把音色換成接近你的。

RaoMusic 要求上傳合計 8 到 15 分鐘,確保去除伴奏後至少還有 3 分鐘清晰歌聲。音域涵蓋廣比時長更重要。

訓練大約 15 到 40 分鐘,取決於你選的訓練品質和上傳的音訊長度。之後每次翻唱通常幾分鐘。

可以,這正是聲音複製的用途。從歌曲庫裡選一首歌,或生成一首新歌,在 AI 翻唱歌曲產生器裡把人聲換成你的聲音。

不會。聲音複製複製的是你的音色,不是唱法。咬字、顫音和轉音都來自你轉換的那首歌的原唱。

可以。先用 AI 歌曲產生器生成一首原創歌,再用你複製的音色轉換人聲。訓練音訊只需要錄一次。

不免費。訓練一個聲音模型依品質需要 150 到 350 點數,每次翻唱每分鐘 10 點數。訓練失敗會自動退還點數。

聽你自己唱任何一首歌

在 RaoMusic 複製一次你的歌聲,之後就能用它重新演唱現成的歌或全新的歌。訓練失敗會退還點數。

複製我的歌聲