Qu'est-ce qu'un modèle RVC ? Comment l'entraîner en ligne

En bref : un modèle RVC est un petit modèle vocal d'IA créé avec Retrieval-based Voice Conversion (RVC), une méthode open source qui change la voix d'un enregistrement tout en conservant les paroles, la mélodie et le rythme. Un modèle RVC entraîné se présente généralement sous forme de deux fichiers : un fichier .pth contenant les poids de la voix et un fichier .index facultatif qui aide le résultat à se rapprocher du locuteur ou du chanteur d'origine. On l'entraîne à partir de quelques minutes d'enregistrements propres d'une seule voix.

Dans la musique IA, « RVC » désigne presque toujours ce modèle de conversion vocale, et le « clonage vocal RVC » consiste à en entraîner un sur une voix précise. Une grande partie des reprises IA qui circulent en ligne ont été réalisées avec.

Que signifie RVC ?

RVC signifie Retrieval-based Voice Conversion (conversion vocale par récupération). Le RVC-Project l'a publié en 2023 sous licence MIT. C'est devenu l'un des outils open source de conversion vocale les plus utilisés, car il tourne sur des cartes graphiques NVIDIA grand public et demande souvent moins d'audio d'entraînement que les approches plus anciennes.

Le cœur du sujet, c'est la « conversion vocale ». RVC n'écrit pas de paroles et ne compose pas de musique. Il prend une interprétation vocale existante et en change la voix : le phrasé, la hauteur et le rythme du chanteur d'origine sont conservés, et le timbre devient celui de la voix sur laquelle le modèle a été entraîné.

Qu'est-ce qu'un convertisseur de voix RVC et comment fonctionne-t-il ?

Un convertisseur de voix RVC est tout outil qui charge un modèle RVC et y fait passer un enregistrement. Concrètement, il applique trois étapes à chaque voix qu'il convertit :

1. Il sépare ce qui est chanté de qui le chante. Un modèle de parole (HuBERT / ContentVec) transforme la voix d'entrée en caractéristiques qui décrivent les sons produits, en grande partie indépendamment de l'identité du chanteur.

2. Il suit la hauteur. Un extracteur de hauteur (RMVPE en général ; Crepe et Harvest sont des alternatives) suit la mélodie pour que la voix convertie chante les mêmes notes. Vous pouvez la décaler d'une octave pour passer d'une voix masculine à une voix féminine, ou l'inverse.

3. Il reconstruit l'audio avec la voix cible. Le générateur entraîné retransforme ces caractéristiques et cette hauteur en son, avec le timbre de la voix cible.

La « récupération » (retrieval) du nom correspond à l'étape intermédiaire facultative : avant la reconstruction, RVC recherche les sons les plus proches dans les enregistrements d'entraînement (stockés dans le fichier .index) et rapproche les caractéristiques de ceux-ci. Le résultat peut ainsi se rapprocher davantage du timbre réel de la voix cible.

La conversion est une approximation solide, pas une copie parfaite : selon la voix source et le modèle, on peut encore entendre des hauteurs instables, des consonnes peu nettes ou des artefacts de souffle.

À quoi servent les fichiers .pth et .index d'un modèle RVC ?

Quand on partage ou vend « un modèle RVC », il s'agit de ces fichiers, généralement réunis dans un zip :

La taille exacte dépend de la fréquence d'échantillonnage, de l'outil d'entraînement et du nombre de vecteurs de caractéristiques conservés dans l'index. Le fichier .index est facultatif. Sans lui, la conversion fonctionne quand même avec le .pth seul. Avec lui, un réglage « index rate » détermine à quel point le résultat est tiré vers la voix d'entraînement. L'augmenter peut rapprocher le rendu, mais aussi ajouter des artefacts étouffés ou métalliques, surtout si l'audio d'entraînement était bruité : c'est donc une question d'équilibre, pas de « plus c'est haut, mieux c'est ».

L'index peut être bien plus volumineux que les poids. Dans notre propre test, un entraînement sur environ 15 minutes de voix séparées a produit un index de 136 MB à côté d'un .pth de 55 MB, plus un fichier de travail total_fea.npy de 132 MB que les scripts d'entraînement laissent derrière eux et que l'inférence n'utilise jamais.

Quelle est la différence entre RVC v1 et RVC v2 ?

RVC v2 est la version que presque tout le monde utilise aujourd'hui. Elle extrait de l'entrée des caractéristiques plus riches, à 768 dimensions (v1 en utilisait 256), ce qui donne en général des résultats plus clairs et plus naturels, surtout sur le chant. Les modèles sont entraînés en 32, 40 ou 48 kHz ; 48 kHz est le choix habituel pour la musique.

Un modèle v1 et un modèle v2 ne sont pas interchangeables. Les outils de conversion doivent savoir de quelle version est un fichier .pth, et la plupart des outils encore maintenus sont conçus pour v2.

D'où viennent les modèles RVC ?

Il existe deux sources :

• Les modèles partagés. Des sites communautaires et des dépôts hébergent des milliers de modèles RVC, dont beaucoup imitent de vrais chanteurs, acteurs ou personnages. La plupart sont mis en ligne sans l'accord de la personne dont c'est la voix, les licences sont souvent floues, et certains fichiers sont des checkpoints d'entraînement plutôt que des modèles d'inférence utilisables. Méfiez-vous-en, surtout pour tout ce que vous comptez publier.

• Les modèles que vous entraînez vous-même. Entraîner un modèle sur votre propre voix, ou sur une voix que vous avez clairement le droit d'utiliser, évite ces problèmes. C'est aussi le seul moyen d'obtenir le modèle d'une voix que personne n'a publiée.

Si vous voulez chanter des reprises avec la voix de quelqu'un d'autre, notre guide pour faire une reprise IA en toute légalité aborde plus en détail les questions de consentement et de droit d'auteur.

Comment entraîner un modèle RVC ?

Tout entraînement RVC suit les mêmes étapes :

1. Rassembler un audio propre d'une seule voix. Entre 5 et 15 minutes de chant (ou de parole) suffisent généralement. La variété (notes graves, médiums et aiguës) compte plus que la durée.

2. Retirer tout ce qui n'est pas la voix. La musique d'accompagnement, la réverbération, les harmonies et les autres chanteurs sont appris comme s'ils faisaient partie de la voix. Un suppresseur de voix vous aide si vous n'avez que des morceaux finis.

3. Découper et prétraiter. L'audio est découpé en courts segments, les silences sont supprimés, puis la hauteur et les caractéristiques sont extraites.

4. Entraîner sur un nombre défini d'epochs. Une epoch correspond à un passage complet sur l'audio d'entraînement. Plus d'epochs prennent plus de temps et apportent des gains de plus en plus faibles.

5. Construire l'index et exporter. Le résultat : le fichier .pth et le fichier .index.

Où pouvez-vous l'exécuter ?

Peut-on entraîner un modèle RVC gratuitement en ligne ?

En partie. Le logiciel RVC est gratuit et open source : entraîner un modèle sur votre propre ordinateur ne coûte rien d'autre que le matériel et l'électricité, à condition d'avoir un GPU NVIDIA suffisamment puissant. Les options gratuites en ligne sont moins fiables : le temps GPU gratuit sur Colab est limité et les sessions peuvent se couper en plein entraînement, les notebooks communautaires cessent de fonctionner quand les dépendances changent, et les offres gratuites des API d'entraînement (quand elles existent) sont soumises à des quotas. L'entraînement nécessite du temps GPU, c'est pourquoi les outils en ligne fiables, RaoMusic compris, le facturent. Si la gratuité est votre priorité, l'entraînement en local est la voie réaliste ; si vous n'avez pas de GPU ou ne voulez pas tout installer, un outil en ligne vous fait gagner ce temps.

Comment entraîner un modèle vocal RVC en ligne avec RaoMusic

Le clonage vocal IA de RaoMusic exécute toute la chaîne décrite ci-dessus dans le navigateur :

1. Ajoutez 8 à 15 minutes de votre propre chant. Importez des fichiers ou choisissez des morceaux dans votre bibliothèque. La musique d'accompagnement est retirée automatiquement et les silences sont supprimés.

2. Choisissez une qualité d'entraînement. Standard (50 epochs), Haute (100) ou Max (150), pour 150, 250 ou 350 crédits. S'il reste moins de 3 minutes de chant net après la séparation, ou si l'entraînement échoue, les crédits sont remboursés automatiquement.

3. Patientez environ 15 à 40 minutes. L'entraînement suit une configuration RVC v2 standard : 48 kHz avec extraction de hauteur RMVPE. Vous pouvez fermer la page.

4. Écoutez, utilisez et téléchargez. Une fois l'entraînement terminé, un court extrait est chanté avec votre nouvelle voix. Elle apparaît ensuite dans « Mes voix » du générateur de reprises IA, et vous pouvez télécharger le modèle sous forme de zip contenant les fichiers .pth et .index pour l'utiliser dans d'autres outils RVC.

L'entraînement n'est pas gratuit : chaque entraînement coûte des crédits, car il utilise du temps GPU loué. En contrepartie, vous n'avez besoin ni de GPU, ni de Python, ni de préparer vos fichiers.

Combien d'epochs pour entraîner un modèle RVC ?

Pour le savoir, nous avons entraîné la même voix deux fois. La source était une chanteuse générée par IA au timbre constant (notre artiste virtuelle JUNO), et nous avons converti la même chanson de test avec chaque modèle :

En écoute comparative, le modèle à 100 epochs sonnait légèrement plus fidèle, mais l'écart était faible. C'est pourquoi 50 epochs est notre réglage par défaut et les niveaux supérieurs restent facultatifs. Les deux entraînements utilisaient aussi un audio différent, et il s'agit d'un seul test sur une seule voix : considérez-le comme un indicateur, pas comme une règle. En général, un audio d'entraînement propre compte davantage que des epochs supplémentaires, et un nombre d'epochs très élevé peut entraîner un surapprentissage sur un petit jeu de données.

Le fichier .index de RVC fait-il une différence ?

L'index est la partie la plus volumineuse d'un modèle RVC, nous avons donc testé s'il pouvait être réduit. Avec le modèle à 50 epochs, nous avons reconstruit l'index en passant d'environ 45 000 vecteurs de caractéristiques à 10 000 centres de clusters, avec la même méthode de clustering que RVC utilise lui-même pour les grands jeux de données :

Dans ce test, l'index n'a pas fait de différence audible nette, et augmenter l'index rate sur la version à 10 000 vecteurs n'a rien changé non plus à ce que nous entendions. Il s'agissait d'une voix générée par IA propre et constante ; des enregistrements humains, plus bruités et plus variables, peuvent se comporter autrement, ne prenez donc pas cela pour une règle universelle. RaoMusic conserve un index de 10 000 vecteurs dans chaque modèle entraîné, comme compromis : environ 90 MB au maximum, quelle que soit la quantité d'audio importée.

Erreurs fréquentes lors de l'entraînement RVC

• Entraîner sur des morceaux finis sans retirer la musique. Le modèle apprend le groupe en même temps que la voix.

• Mélanger plusieurs chanteurs. Duos, harmonies et featurings fondent la voix en une moyenne de tous les interprètes.

• Une tessiture trop restreinte. Si tous les extraits sont doux et graves, les notes aiguës sonneront forcées après la conversion.

• Multiplier les epochs au lieu de corriger l'audio. Dix minutes de voix propre valent mieux que trente minutes de voix bruitée, et plus d'epochs ne répareront pas de mauvaises données.

• Espérer transférer la technique. RVC copie le timbre, pas le talent. Une reprise conserve le vibrato, les vocalises et le phrasé du chanteur d'origine.