El desarrollo de grandes modelos de lenguaje ha impulsado la capacidad de los chatbots para comprender y generar texto de manera más avanzada. Estos modelos, como ChatGPT, han demostrado habilidades impresionantes al responder preguntas, generar contenido y mantener conversaciones con los usuarios. Sin embargo, recientemente se ha descubierto una vulnerabilidad en ChatGPT que ha expuesto información personal sensible, como números de teléfono y direcciones de correo electrónico.
Un equipo de investigadores de Google DeepMind, la Universidad de Washington, Cornell, Carnegie Mellon University, la Universidad de California Berkeley y ETH Zurich realizó un estudio para evaluar la seguridad de los grandes modelos de lenguaje como ChatGPT. Utilizaron una técnica simple: pedir al chatbot que repita palabras al azar indefinidamente. Para su sorpresa, ChatGPT comenzó a generar información personal de las personas, incluyendo direcciones de correo electrónico, números de teléfono, fragmentos de artículos de investigación, páginas de Wikipedia y más.
Los investigadores destacaron que es preocupante que este ataque haya funcionado y que podría haberse descubierto antes. En su informe, publicado en un artículo, revelaron que aproximadamente el 16.9% de las generaciones probadas contenían información personal identificable. Estos resultados plantean serias preocupaciones sobre la privacidad y la seguridad de los usuarios de servicios basados en inteligencia artificial.
El ataque se basa en la capacidad de ChatGPT para recordar y repetir información que ha aprendido durante su entrenamiento. Mediante el uso de palabras clave específicas, los investigadores lograron que el chatbot revelara información sensible. Por ejemplo, al pedirle a ChatGPT que repitiera la palabra "poema" indefinidamente, el chatbot reveló una dirección de correo electrónico y un número de teléfono de un fundador y CEO reales. Del mismo modo, al solicitarle que repitiera la palabra "empresa", ChatGPT proporcionó la dirección de correo electrónico y el número de teléfono de un bufete de abogados al azar en los Estados Unidos.
Además de la información personal, el ataque también permitió revelar fragmentos de poemas, direcciones de Bitcoin, números de fax, nombres, fechas de nacimiento, nombres de usuario de redes sociales, contenido explícito de sitios web de citas, fragmentos de artículos de investigación con derechos de autor y texto literal de sitios web de noticias como CNN. Los investigadores gastaron $200 para generar 10,000 ejemplos de información personal y otros datos obtenidos directamente de la web, pero señalaron que un adversario más serio podría obtener mucha más información al gastar más dinero.
La revelación de información personal y sensible plantea preocupaciones significativas sobre la seguridad y privacidad de los usuarios. Los grandes modelos de lenguaje como ChatGPT están diseñados para ayudar a los usuarios y facilitar diversas tareas, pero su vulnerabilidad a este tipo de ataques plantea la necesidad de medidas de seguridad adicionales.
OpenAI, la compañía detrás de ChatGPT, tomó medidas para abordar esta vulnerabilidad y lanzó una actualización el 30 de agosto. Sin embargo, las pruebas realizadas por otros medios demostraron que aún existen riesgos. Por ejemplo, al pedirle a ChatGPT que repitiera la palabra "responder" indefinidamente, el chatbot reveló el nombre de alguien y su ID de Skype.
Los investigadores sugieren que las empresas de inteligencia artificial realicen pruebas internas y externas exhaustivas antes de lanzar modelos de lenguaje a gran escala. Esto ayudaría a identificar y abordar posibles vulnerabilidades antes de que sean explotadas por atacantes maliciosos.
Este incidente destaca la importancia de la seguridad en los sistemas de inteligencia artificial. A medida que los modelos de lenguaje continúan mejorando y se utilizan en una variedad de aplicaciones, es fundamental garantizar que la privacidad y la seguridad de los usuarios estén protegidas.
Las empresas de inteligencia artificial deben ser proactivas en la identificación y mitigación de posibles vulnerabilidades en sus sistemas. Además, la transparencia en cuanto a los datos utilizados para entrenar los modelos es crucial. Los usuarios deben tener claridad sobre qué información se utiliza y cómo se protege su privacidad.