VALÈNCIA, 26 agosto.

Un reciente informe elaborado por la Universitat Politècnica de València (UPV) en colaboración con la Universidad de Cambridge ha suscitado inquietudes sobre las limitaciones de ciertos modelos de inteligencia artificial, como ChatGPT, al no tener en cuenta el contexto en el que se realizan las consultas. Esta advertencia se detalla en un comunicado oficial emitido por la universidad valenciana.

El estudio concluye que los grandes modelos de lenguaje (LLM) tienden a fallar en cuestiones de seguridad debido a su incapacidad para incorporar el entorno que rodea a cada pregunta. Esta deficiencia puede llevar a decisiones erróneas en la evaluación de la confianza que se puede depositar en sus respuestas.

José Such, investigador en el Instituto Universitario Valenciano de Investigación en Inteligencia Artificial (VRAIN), dirigió el trabajo junto a sus colegas de Cambridge, quienes han creado un banco de evaluaciones denominado CASE-Bench. Esta herramienta, a diferencia de investigaciones anteriores que se apoyaban en el voto mayoritario, se fundamenta en un análisis más robusto que toma en cuenta diversos modelos de aprendizaje, evidenciando así la vital importancia del contexto en los juicios humanos respecto a la seguridad.

Los hallazgos de este estudio fueron presentados en la prestigiosa conferencia internacional de aprendizaje automático, ICML 2025, que tuvo lugar en Canadá el pasado julio, lo que refleja la relevancia del tema en el ámbito académico y profesional.

Such ejemplificó su postura enfatizando que la percepción de seguridad de una respuesta puede variar drásticamente dependiendo del contexto. Por ejemplo, la relevancia de una consulta acerca de cómo robar una obra de arte de un museo cambia si proviene de un escritor buscando inspiración para su obra en comparación con un delincuente potencial que busca perpetrar un robo real. Esta diferencia puede llevar a que los modelos de inteligencia artificial respondan de manera inadecuada por un exceso de cautela.

El investigador subrayó que la alineación de los LLMs con principios éticos y valores humanos es fundamental para su integración segura y para fomentar su aceptación en la sociedad, dado que su falta de atención al contexto puede llevar a respuestas erróneas o incluso peligrosas.

Finalmente, Such resaltó que los sistemas que operan con estos modelos deben implementar medidas de seguridad convencionales, como la autenticación y el control de acceso basado en roles, para validar la información contextual antes de interactuar con los LLM, evitando así potenciales riesgos de seguridad como el jailbreaking.