Respuesta corta: un modelo RVC es un pequeño modelo de voz con IA creado con Retrieval-based Voice Conversion (RVC), un método de código abierto que cambia la voz de una grabación manteniendo la letra, la melodía y el ritmo. Un modelo RVC entrenado suele venir en dos archivos: un archivo .pth con los pesos de la voz y un archivo .index opcional que ayuda a que el resultado se parezca más al hablante o cantante original. Se entrena con unos pocos minutos de grabaciones limpias de una sola voz.
En la música con IA, «RVC» casi siempre se refiere a este modelo de conversión de voz, y «clonación de voz RVC» significa entrenar uno con una voz concreta. Buena parte de los covers con IA que circulan por internet se han hecho con él.
¿Qué significa RVC?
RVC significa Retrieval-based Voice Conversion (conversión de voz basada en recuperación). El RVC-Project lo publicó en 2023 bajo licencia MIT. Se convirtió en uno de los flujos de conversión de voz de código abierto más usados porque funciona en tarjetas gráficas NVIDIA de consumo y a menudo necesita menos audio de entrenamiento que los métodos anteriores.
La clave está en «conversión de voz». RVC no escribe letras ni compone música. Toma una interpretación vocal ya existente y le cambia la voz: el fraseo, la afinación y el ritmo del cantante original se mantienen, y el timbre pasa a ser el de la voz con la que se entrenó el modelo.
¿Qué es un conversor de voz RVC y cómo funciona?
Un conversor de voz RVC es cualquier herramienta que carga un modelo RVC y procesa una grabación con él. Dicho de forma sencilla, hace tres cosas con cada voz que convierte:
Separa lo que se canta de quién lo canta. Un modelo de habla (HuBERT / ContentVec) transforma la voz de entrada en rasgos que describen los sonidos emitidos, en gran medida independientes de la identidad del cantante.
Sigue la afinación. Un extractor de tono (RMVPE es la opción habitual; Crepe y Harvest son alternativas) sigue la melodía para que la voz convertida dé las mismas notas. Puedes desplazarla una octava para convertir de voz masculina a femenina o al revés.
Reconstruye el audio con la voz de destino. El generador entrenado convierte esos rasgos y esa afinación de nuevo en sonido con el timbre de la voz de destino.
La «recuperación» (retrieval) del nombre es el paso intermedio opcional: antes de reconstruir, RVC busca los sonidos más parecidos en las grabaciones de entrenamiento (guardados en el archivo .index) y acerca los rasgos hacia ellos. Así el resultado puede sonar más fiel a cómo suena de verdad la voz de destino.
La conversión es una aproximación muy buena, no una copia perfecta: según la voz de origen y el modelo, aún puedes oír afinación temblorosa, consonantes poco nítidas o artefactos de aire.
¿Qué son los archivos .pth e .index de un modelo RVC?
Cuando alguien comparte o vende «un modelo RVC», se refiere a estos archivos, normalmente en un zip:
| Archivo | Qué es | Tamaño típico (RVC v2) | ¿Obligatorio? |
|---|---|---|---|
| .pth | Los pesos de voz entrenados: la parte que realmente «es» la voz | A menudo unos 55 MB | Sí |
| .index | Un índice consultable de rasgos del audio de entrenamiento, usado para la recuperación | De unos 15 MB a varios cientos de MB | No, pero suele incluirse |
El tamaño exacto varía según la frecuencia de muestreo, la herramienta de entrenamiento y cuántos vectores de rasgos guarde el índice. El archivo .index es opcional. Sin él, la conversión funciona igual usando solo el .pth. Con él, un ajuste llamado «index rate» controla cuánto se acerca el resultado a la voz de entrenamiento. Subirlo puede hacer que se parezca más, pero también puede añadir artefactos apagados o metálicos, sobre todo si el audio de entrenamiento tenía ruido, así que es cuestión de equilibrio y no de «cuanto más alto, mejor».
El índice puede ser mucho más grande que los pesos. En nuestra propia prueba, entrenar con unos 15 minutos de voces separadas produjo un índice de 136 MB junto a un .pth de 55 MB, además de un archivo de trabajo total_fea.npy de 132 MB que los scripts de entrenamiento dejan y que la inferencia nunca usa.
¿Qué diferencia hay entre RVC v1 y RVC v2?
RVC v2 es la versión que usa casi todo el mundo hoy en día. Extrae rasgos más ricos, de 768 dimensiones (v1 usaba 256), lo que en general da resultados más claros y naturales, sobre todo con voz cantada. Los modelos se entrenan a 32, 40 o 48 kHz; 48 kHz es lo habitual para música.
Un modelo v1 y uno v2 no son intercambiables. Las herramientas de conversión necesitan saber de qué versión es un archivo .pth, y la mayoría de las que se mantienen activamente están pensadas para v2.
¿De dónde salen los modelos RVC?
Hay dos fuentes:
Modelos compartidos. Sitios de la comunidad y repositorios alojan miles de modelos RVC, muchos de ellos imitando a cantantes, actores o personajes reales. La mayoría se suben sin permiso del dueño de la voz, las licencias suelen ser poco claras y algunos archivos son checkpoints de entrenamiento en lugar de modelos de inferencia utilizables. Úsalos con precaución, sobre todo si piensas publicar algo.
Modelos que entrenas tú. Entrenar con tu propia voz, o con una voz que tengas permiso claro para usar, evita esos problemas. Además, es la única manera de tener un modelo de una voz que nadie ha publicado.
Si quieres cantar covers con la voz de otra persona, nuestra guía para hacer un cover con IA de forma legal trata con más detalle el consentimiento y los derechos de autor.
¿Cómo se entrena un modelo RVC?
Cualquier entrenamiento de RVC sigue los mismos pasos:
Reúne audio limpio de una sola voz. Entre 5 y 15 minutos de canto (o de habla) suele bastar. Importa más la variedad (notas graves, medias y agudas) que los minutos.
Quita todo lo que no sea la voz. La música de fondo, la reverberación, las armonías y otros cantantes se aprenden como parte de la voz. Un eliminador de voz te ayuda si solo tienes canciones terminadas.
Corta y preprocesa. El audio se divide en fragmentos cortos, se eliminan los silencios y se extraen la afinación y los rasgos.
Entrena durante un número fijo de epochs. Un epoch es una pasada completa por el audio de entrenamiento. Más epochs tardan más y aportan cada vez menos mejora.
Crea el índice y exporta. El resultado es el archivo .pth más el archivo .index.
¿Dónde puedes hacerlo?
| Opción | Qué necesitas | Ideal para | Ojo con |
|---|---|---|---|
| RVC WebUI en local (o forks como Applio) | Una GPU NVIDIA reciente, entorno de Python, espacio en disco | Control total, sin coste por entrenamiento | Tiempo de instalación, problemas de drivers, ajustar decenas de parámetros |
| Notebooks de Google Colab | Una cuenta de Google, a menudo un plan de pago para tener GPU estable | No tener GPU propia | Las sesiones se desconectan; los cambios en notebooks y políticas rompen cosas; revisa las condiciones actuales de Colab |
| APIs para desarrolladores (por ejemplo train-rvc-model de Replicate) | Una cuenta de API y una forma de empaquetar el dataset en zip | Integrar el entrenamiento en tu propia app | Tú te encargas de preparar archivos, webhooks y almacenamiento |
| Servicios de entrenamiento de pago | El tiempo de otra persona | Modelos puntuales | Plazos de entrega, privacidad de tus grabaciones, calidad variable |
| Entrenadores online como RaoMusic | Un navegador y tus grabaciones | Entrenar sin GPU ni instalación y usar la voz al momento | Cuesta créditos por cada entrenamiento |
¿Se puede entrenar un modelo RVC online gratis?
En parte. El software RVC es gratuito y de código abierto, así que entrenar en tu propio ordenador no cuesta nada más allá del hardware y la electricidad, si tienes una GPU NVIDIA potente. Las opciones online gratuitas son menos fiables: el tiempo de GPU gratis de Colab es limitado y las sesiones pueden cortarse a mitad del entrenamiento, los notebooks de la comunidad dejan de funcionar cuando cambian las dependencias y los planes gratuitos de las APIs de entrenamiento (donde existen) tienen cuotas. Entrenar requiere tiempo de GPU, por eso los entrenadores online estables, incluido RaoMusic, lo cobran. Si lo que más te importa es que sea gratis, entrenar en local es la opción realista; si no tienes GPU o no quieres instalar nada, un entrenador online te ahorra ese tiempo.
Cómo entrenar un modelo de voz RVC online con RaoMusic
La clonación de voz con IA de RaoMusic ejecuta todo el proceso anterior en el navegador:
Añade entre 8 y 15 minutos de tu propio canto. Sube archivos o elige canciones de tu biblioteca. La música de fondo se elimina automáticamente y se recortan los silencios.
Elige una calidad de entrenamiento. Estándar (50 epochs), Alta (100) o Máxima (150), por 150, 250 o 350 créditos. Si tras la separación quedan menos de 3 minutos de canto claro, o si el entrenamiento falla, los créditos se reembolsan automáticamente.
Espera unos 15–40 minutos. El entrenamiento usa una configuración estándar de RVC v2: 48 kHz con extracción de tono RMVPE. Puedes cerrar la página.
Escucha, usa y descarga. Al terminar, se canta una muestra corta con tu nueva voz. La voz aparece después en «Mis voces» dentro del generador de covers con IA, y puedes descargar el modelo como zip con los archivos .pth e .index para usarlo en otras herramientas RVC.
El entrenamiento no es gratis: cada entrenamiento cuesta créditos, porque usa tiempo de GPU alquilado. A cambio, no necesitas GPU, ni Python, ni preparar archivos.
¿Cuántos epochs hay que entrenar un modelo RVC?
Para averiguarlo, entrenamos la misma voz dos veces. La fuente fue una cantante generada con IA de timbre constante (nuestra artista virtual JUNO), y convertimos la misma canción de prueba con cada modelo:
| Prueba | Audio de entrenamiento | Epochs | Tiempo de GPU |
|---|---|---|---|
| Entrenamiento 1 | Unos 24 minutos de canciones completas, sin quitar la música de fondo | 100 | Unos 29 minutos |
| Entrenamiento 2 | Unos 15 minutos, con las voces separadas antes | 50 | Unos 9 minutos |
Al escucharlos uno junto al otro, el modelo de 100 epochs sonaba un poco más fiel, pero la diferencia era pequeña. Por eso 50 epochs es nuestro valor por defecto y los niveles superiores son opcionales. Los dos entrenamientos también usaron audio distinto, y es una sola prueba con una sola voz, así que tómalo como un dato, no como una regla. En general, un audio de entrenamiento limpio importa más que sumar epochs, y un número muy alto de epochs puede sobreajustar un dataset pequeño.
¿Marca la diferencia el archivo .index de RVC?
El índice es la parte más grande de un modelo RVC, así que probamos si se podía reducir. Con el modelo de 50 epochs, reconstruimos el índice pasando de unos 45.000 vectores de rasgos a 10.000 centros de clúster, con el mismo método de clustering que usa el propio RVC con datasets grandes:
| Versión | Tamaño del zip del modelo | Resultado en nuestra prueba de escucha |
|---|---|---|
| Índice completo (45.162 vectores) | Unos 191 MB | Referencia |
| Índice reducido a 10.000 vectores | Unos 89 MB | No notamos diferencia |
| Sin índice (solo .pth) | Unos 58 MB | No notamos diferencia |
En esta prueba el índice no produjo una diferencia audible clara, y subir el index rate en la versión de 10.000 vectores tampoco cambió lo que oímos. Era una voz generada con IA limpia y constante; las grabaciones humanas, con más ruido y variación, pueden comportarse de otra forma, así que no lo tomes como una regla universal. RaoMusic guarda un índice de 10.000 vectores en cada modelo entrenado como punto intermedio: unos 90 MB como máximo, subas el audio que subas.
Errores habituales al entrenar RVC
Entrenar con canciones terminadas sin quitar la música. El modelo aprende la banda junto con la voz.
Mezclar varios cantantes. Dúos, armonías y colaboraciones difuminan la voz en una media de todos.
Poco registro. Si todos los clips son suaves y graves, las notas agudas sonarán forzadas tras la conversión.
Subir epochs en vez de arreglar el audio. Diez minutos de voz limpia valen más que treinta de voz con ruido, y más epochs no arreglan datos malos.
Esperar que se transfiera la técnica. RVC copia el timbre, no la habilidad. Un cover conserva el vibrato, los melismas y el fraseo del cantante original.
Preguntas frecuentes
Un modelo RVC es un modelo de voz con IA creado con Retrieval-based Voice Conversion. Convierte la voz de una grabación existente en la voz con la que se entrenó, manteniendo la letra, la melodía y el ritmo. Normalmente consta de un archivo de pesos .pth y un archivo .index opcional.
El archivo .index guarda rasgos de las grabaciones de entrenamiento. Durante la conversión, RVC busca en él los sonidos más parecidos y acerca el resultado hacia ellos, lo que puede hacer que suene más parecido a la voz de destino. La conversión funciona igualmente sin él.
El software RVC es gratuito y de código abierto, así que entrenar en local es gratis si tienes una GPU NVIDIA potente. Las opciones online gratuitas, como los notebooks de Colab, son limitadas y pueden desconectarse o dejar de funcionar. Los entrenadores online estables cobran por el tiempo de GPU; en RaoMusic, cada entrenamiento cuesta créditos, con reembolso automático si el entrenamiento falla.
La mayoría de configuraciones funcionan con unos 5 a 15 minutos de audio limpio de una sola voz. RaoMusic pide entre 8 y 15 minutos de archivos para que queden al menos 3 minutos de canto claro después de quitar la música de fondo.
No hay un número correcto único. En nuestra prueba, 100 epochs sonaron solo un poco mejor que 50 con la misma voz, así que 50 es un punto de partida razonable. Un audio de entrenamiento más limpio suele ayudar más que añadir epochs.
Normalmente sí. Las voces entrenadas se descargan como un zip con un archivo .pth de RVC v2 (48 kHz) y un archivo .index, que se cargan en la mayoría de conversores de voz RVC v2. La compatibilidad depende de la versión y la configuración de cada herramienta, así que pruébalo allí antes de depender de ello.
RVC v2 extrae rasgos más ricos del audio de entrada que v1, lo que suele dar resultados más claros y naturales, sobre todo con voz cantada. Las dos versiones no son intercambiables y la mayoría de herramientas actuales esperan v2.
Entrenar un modelo con tu propia voz no plantea problemas. Clonar la voz de otra persona sin permiso puede generar problemas de derechos de imagen, consentimiento y normas de las plataformas, y publicar canciones hechas con ella añade cuestiones de derechos de autor. Clona solo voces que sean tuyas o que tengas permiso para usar.