OpenVoice: Clonación instantánea de voz para implementación local y en la nube

Name

Jennie Rose

Published on 30/4/2024

En el mundo en constante evolución de la tecnología de síntesis de voz, OpenVoice ha surgido como un cambio de juego, ofreciendo capacidades versátiles de clonación instantánea de voz que se adaptan a una amplia gama de aplicaciones. Desarrollado por el equipo de MyShell, OpenVoice es una solución de código abierto que permite a los usuarios replicar la voz de un hablante a partir de un breve fragmento de audio, generando habla realista y personalizable en múltiples idiomas.

Funciones clave de OpenVoice

OpenVoice cuenta con una impresionante gama de funciones que lo distinguen de otras soluciones de clonación de voz:

1. Clonación precisa del color tonal: OpenVoice puede clonar con precisión el color tonal del hablante de referencia, asegurando que el habla generada se asemeje estrechamente a la voz original. Esta función es especialmente útil para aplicaciones que requieren un alto grado de autenticidad, como la narración de audiolibros o asistentes virtuales personalizados.

2. Control flexible del estilo de voz: Una de las características destacadas de OpenVoice es su capacidad para proporcionar un control detallado sobre varios parámetros de estilo de voz. Los usuarios pueden ajustar atributos como la emoción, el acento, el ritmo, las pausas y la entonación, lo que permite una amplia gama de posibilidades expresivas. Esta flexibilidad permite a los usuarios adaptar el habla generada a contextos o preferencias específicas.

3. Clonación de voz multilingüe sin entrenamiento: OpenVoice logra una asombrosa clonación de voz multilingüe sin entrenamiento, lo que significa que puede generar habla en idiomas que no estaban presentes en su conjunto de datos de entrenamiento. Esta capacidad abre emocionantes oportunidades para crear contenido localizado o llegar a una audiencia global sin la necesidad de datos de entrenamiento extensivos específicos de cada idioma.

Referentes de rendimiento

Para evaluar el rendimiento de OpenVoice, el equipo de MyShell llevó a cabo pruebas exhaustivas en varias configuraciones de GPU. Los resultados demuestran la eficiencia y rentabilidad impresionantes de OpenVoice en comparación con otras APIs de texto a voz.

Las pruebas revelan que la GPU RTX 2070 puede procesar asombrosamente 6.6 millones de palabras por dólar, convirtiéndola en una opción excepcionalmente rentable para proyectos de clonación de voz a gran escala. Por otro lado, la RTX 3080 Ti ofrece la mayor velocidad de procesamiento en bruto, alcanzando alrededor de 230.4 palabras por segundo, lo que la hace adecuada para aplicaciones que priorizan tiempos de respuesta rápidos.

Vale la pena señalar que estas pruebas se centraron en operaciones de un solo hilo, y el potencial para el multihilo en GPUs más potentes como la RTX 3080 Ti podría mejorar aún más el rendimiento y reducir la brecha entre rendimiento y costo.

Ejecución de OpenVoice localmente

Una de las ventajas significativas de OpenVoice es la capacidad de ejecutarlo localmente, lo que brinda a los usuarios un mayor control, privacidad y ahorro de costos en comparación con depender únicamente de APIs basadas en la nube. A continuación, se muestra una guía paso a paso sobre cómo configurar y ejecutar OpenVoice en tu máquina local:

1. Requisitos previos: Asegúrate de tener una GPU compatible (GPU NVIDIA con soporte CUDA) y las dependencias necesarias instaladas, incluyendo Python, PyTorch y la herramienta CUDA.

2. Clonar el repositorio: Clona el repositorio de OpenVoice desde la página oficial de GitHub utilizando el siguiente comando:

   git clone https://github.com/myshell-ai/OpenVoice.git

3. Instalar dependencias: Ve al directorio del repositorio clonado y instala los paquetes de Python necesarios utilizando pip:

   cd OpenVoice
   pip install -r requirements.txt

4. Preparar el modelo: Descarga los puntos de control del modelo pre-entrenado y colócalos en el directorio designado dentro del repositorio. Las instrucciones específicas para obtener los puntos de control se pueden encontrar en la documentación de OpenVoice.

5. Configurar los ajustes: Modifica los archivos de configuración (config.json o config.yaml) para especificar los ajustes deseados, como el formato de audio de entrada, el directorio de salida y los parámetros de estilo de voz.

6. Ejecutar la clonación de voz: Ejecuta el script principal para realizar la clonación de voz en tu máquina local. Proporciona la ruta del fragmento de audio de referencia y el texto objetivo como argumentos:

   python main.py --reference_audio path/to/reference.wav --text "Hola, esto es una prueba."

7. Evaluar los resultados: El habla generada se guardará en el directorio de salida específico. Escucha el audio sintetizado y evalúa su calidad, naturalidad y semejanza con la voz de referencia. Ajusta los ajustes y experimenta con diferentes parámetros de estilo de voz para obtener los resultados deseados.

Ejecutando OpenVoice localmente, puedes aprovechar el poder de la clonación instantánea de voz sin depender de APIs externas, reduciendo la latencia y garantizando la privacidad de los datos. Esta opción de implementación local es particularmente beneficiosa para aplicaciones con requisitos estrictos de seguridad o para usuarios que prefieren mantener un control total sobre su flujo de síntesis de voz.

Conclusión

OpenVoice representa un hito significativo en el campo de la síntesis de voz, ofreciendo una solución versátil y accesible para la clonación instantánea de voz. Con su clonación precisa del color tonal, control flexible del estilo de voz y capacidades de traducción cruzada sin entrenamiento, OpenVoice capacita a los usuarios para crear discursos realistas y expresivos en múltiples idiomas.

Las impresionantes referencias de rendimiento demuestran la rentabilidad y eficiencia de OpenVoice, convirtiéndolo en una opción convincente para una amplia gama de aplicaciones, desde narración de audiolibros y asistentes virtuales personalizados hasta la creación de contenido localizado y más.

Además, la capacidad de ejecutar OpenVoice localmente brinda a los usuarios un mayor control, privacidad y ahorro de costos, permitiéndoles aprovechar el poder de la clonación de voz sin depender únicamente de las APIs basadas en la nube.

A medida que la comunidad de código abierto continúa contribuyendo al desarrollo y la mejora de OpenVoice, podemos esperar más avances e innovaciones en el campo de la síntesis de voz. Con su versatilidad, accesibilidad e impresionantes capacidades, OpenVoice está preparado para revolucionar la forma en que interactuamos y creamos contenido de voz, abriendo emocionantes posibilidades para creadores, desarrolladores y empresas por igual.