Días atrás, la empresa de inteligencia artificial ElevenLabs lanzó una versión beta de su plataforma que permite a los usuarios crear voces sintéticas completamente nuevas para audio de texto a voz o clonar la voz de alguien. A pesar de que, la idea era bastante interesante desde un principio, una vez que la versión beta fue lanzada sólo bastó un poco tiempo en internet para que algunos usuarios procedieran a usarla de manera indebida.
Por consiguiente, la empresa publicó en Twitter los siguiente:
"Fin de semana de locos. Gracias a todos por probar nuestra plataforma Beta. Aunque vemos que nuestra tecnología se aplica de forma abrumadora para un uso positivo, también vemos un número creciente de casos de uso indebido de clonación de voz. Queremos pedir opiniones y comentarios a la comunidad de Twitter."
Aunque ElevenLabs no dio más detalles sobre lo que quería decir con "casos de uso indebido", Una de las fuentes, encontró publicaciones en un sitio web con clips que muestran voces generadas que suenan como celebridades leyendo o diciendo algo cuestionable. En uno de ellos, por ejemplo, aparecía una voz que parecía la de Emma Watson leyendo una parte de “Mein Kampf” (libro escrito por Adolf Hitler). Los usuarios también publicaron clips de voz con sentimientos homófobos, transfóbicos, violentos y racistas. No está del todo claro si todos los clips utilizaban la tecnología de ElevenLab, pero aparentemente había una amplia colección de archivos de voz filtrados en un sitio web que incluía un enlace a la plataforma de la startup.
Quizá esta aparición de clips de audio "deepfake" no sea tan sorprendente, ya que hace unos años se produjo algo similar. Los avances en inteligencia artificial y aprendizaje automático habían provocado un aumento de los videos "deepfake", en concreto de la pornografía "deepfake", en la que se alteran materiales pornográficos ya existentes para utilizar los rostros de famosos y, sí, la gente utilizó la cara de Emma Watson para algunos de esos videos.
ElevenLabs está recabando opiniones sobre cómo evitar que los usuarios abusen de su tecnología. De momento, sus ideas actuales incluyen añadir más capas a la verificación de cuentas para evitar la clonación de voz, como exigir a los usuarios que introduzcan información de pago o un documento de identidad. También está considerando la posibilidad de que los usuarios verifiquen la titularidad de los derechos de autor de la voz que quieren clonar, por ejemplo, pidiéndoles que envíen una muestra con el texto solicitado.
Por último, la empresa está pensando en abandonar por completo su herramienta “Voice Lab” y hacer que los usuarios envíen solicitudes de clonación de voz que tenga que verificar manualmente.