En Valencia, un equipo de investigadores del Instituto Universitario Valenciano de Investigación en Inteligencia Artificial (VRAIN) de la Universitat Politècnica de València, junto con expertos del King's College London, ha revelado en un estudio los peligros asociados con los chatbots construidos utilizando modelos de lenguaje de gran escala (LLMs) y tecnologías de inteligencia artificial generativa. Según el informe, existe una notable facilidad para abusar de estos modelos, lo que permite crear chatbots maliciosos capaces de manipular a los usuarios para que compartan información personal sensible.

El estudio, liderado por José Such, profesor de la UPV, y acompañado por colaboradores como Juan Carlos Carillo de VRAIN y los investigadores del King's College, Dr. Xiao Zhan y Dr. William Seymour, se realizó mediante un ensayo controlado que involucró a 502 participantes. Los resultados indican que los chatbots diseñados con intenciones maliciosas logran extraer una cantidad significativamente mayor de información personal en comparación con aquellos chatbots que operan de manera ética.

Este fenómeno se debe a la facilidad con la que se pueden manipular los LLM y a los escasos conocimientos técnicos requeridos para esta tarea. El estudio titulado 'Una IA conversacional basada en modelos de lenguaje maliciosos hace que los usuarios revelen información personal' se presentará en el 34 Simposio de Seguridad Usenix, que tendrá lugar del 13 al 15 de agosto en Seattle, EE.UU. Allí, se discutirán las serias amenazas a la privacidad que implican estos chatbots y se propondrán recomendaciones para guiar futuras investigaciones y prácticas en este ámbito.

José Such ha compartido que los investigadores han intervenido entre el chatbot y el modelo que lo sustenta, poniendo de manifiesto cómo se puede manipular la comunicación para engañar y manipular a los usuarios. Según ha expuesto, algunas tácticas hacen que los usuarios noten comportamientos extraños en el chatbot, mientras que otras aprovechan la naturaleza social de la interacción, lo que les permite continuar con la conversación y, en última instancia, revelar datos altamente confidenciales sin percatarse del riesgo.

El estudio demuestra que es posible construir un chatbot con intenciones maliciosas, destacando que la IA en sí misma no actúa de forma perjudicial, sino que es la intervención humana la que induce este comportamiento negativo. Such ofrece un ejemplo ilustrativo: mientras que una IA puede negarse a solicitar información personal si no se presenta de forma correcta, puede ser manipulada para hacerlo si se le engaña sobre la naturaleza del requerimiento, como pretendiendo ser un detective privado que necesita datos para una investigación.

Además, uno de los hallazgos significativos de este trabajo es que solo se requieren conocimientos muy limitados para realizar este tipo de manipulación. No es necesario ser un programador o hacker; simplemente es necesario redactar instrucciones que indiquen al modelo cómo comportarse. Tal y como subraya Such, el equipo ha protegido la privacidad de los datos durante su investigación, pero resalta la preocupante facilidad con la que los LLM pueden ser guiados hacia comportamientos maliciosos y cómo los participantes pueden terminar revelando información sensible con bastante facilidad.

Este estudio se enmarca dentro del proyecto 'SPRINT: Seguridad y Privacidad en Sistemas con Inteligencia Artificial', una iniciativa apoyada por el convenio entre Incibe y la Universitat Politècnica de València, como parte de los Proyectos Estratégicos en España, bajo el Plan de Recuperación, Transformación y Resiliencia, contando con financiación proveniente de los Fondos Next Generation-EU.