Qué es el prompt hacking y cómo evitarlo.

En el nuevo paradigma de la inteligencia artificial, nuevas fronteras están siendo constantemente exploradas y, entre ellas, destaca el intrigante fenómeno del "prompt hacking". Este concepto emergente se enfoca en la manipulación de sistemas de LLMs a través de instrucciones diseñadas meticulosamente. Pero, ¿qué es realmente el prompt hacking?

Los prompts y “prompt templates” son estructuras predefinidas que se utilizan para interactuar con modelos de inteligencia artificial. Estos templates ayudan a guiar en la formulación de comandos para maximizar la efectividad y precisión de las respuestas generadas por el sistema. Sin embargo, si estos templates se usan con la intención de explotar vulnerabilidades del sistema, entramos en el terreno del prompt hacking.

El término prompt hacking viene del concepto de hacking de software, adaptado al contexto de los LLMs. Así como el hacking de software implica la manipulación de códigos y sistemas para alcanzar ciertos objetivos, el prompt hacking utiliza comandos ingeniosos para influir en el comportamiento de los modelos de lenguaje en inteligencia artificial. Esta práctica no solo revela las capacidades y limitaciones de los sistemas de IA, sino que también subraya la importancia de la seguridad y la ética en el desarrollo de tecnologías avanzadas.

Vulnerabilidades en proyectos basados en LLMs

Los proyectos basados en LLM tienen, al igual que otros proyectos de software, muchos vectores de ataque. OWASP (Open Worldwide Application Security Project) es una comunidad abierta dedicada a facilitar a las organizaciones el diseño, desarrollo, adquisición, operación y mantenimiento de software para aplicaciones seguras en las que se pueda confiar. Dicha organización ha liberado ya un documento donde se define un modelo de arquitectura para este tipo de proyectos basados en LLMs, así como posibles vulnerabilidades que conciernen a cada uno de los componentes de dicha arquitectura (OWASP Top 10 For LLMs). El modelo de arquitectura que define es el siguiente:

Como se puede observar, en cada punto de la arquitectura hay cierto tipo de ataques involucrados. Los ataques mencionados son:

• LLM01: Prompt Injection
  Este es el tipo de vulnerabilidad que queremos desarrollar más en profundidad en este post. Este método manipula un modelo de lenguaje extenso (LLM) mediante entradas astutas, provocando que el modelo realice acciones no deseadas. Hay muchos tipos de prompt injection, como contaremos más adelante.
• LLM02: Gestión insegura de las salidas del modelo
  Este tipo de ataques engloba principalmente los riesgos que supone utilizar directamente las respuestas de los LLMs. La explotación exitosa de una vulnerabilidad de este tipo puede resultar en ataques de XSS (Cross-Site Scripting) y CSRF (Cross-Site Request Forgery) en navegadores web, así como en SSRF (Server-Side Request Forgery), escalado de privilegios o ejecución remota de código en sistemas backend.
• LLM03: Envenenamiento de los dataset de entrenamiento
  Esto ocurre cuando se alteran los datos de entrenamiento de un modelo de lenguaje, lo que introduce vulnerabilidades o sesgos que afectan su seguridad, rendimiento o comportamiento ético.
• LLM04: Denegación de servicio
  Los atacantes pueden inducir a los LLMs a realizar operaciones que consumen muchos recursos, lo que resulta en una degradación del servicio o en costes altos que pueden poner en peligro la continuidad económica de la empresa que los emplea. Esta vulnerabilidad es más evidente en este tipo de proyectos, debido al alto consumo de recursos inherente a estos modelos y a lo poco previsibles que son las entradas proporcionadas en general.
• LLM05: Vulnerabilidades de la cadena de suministro
  El ciclo de vida de una aplicación que utiliza LLM puede verse comprometido por componentes o servicios vulnerables, lo que debilita al aplicativo frente a ataques de seguridad. El uso de datasets de terceros, modelos preentrenados y plugins menos fiables puede introducir nuevas vulnerabilidades.
• LLM06: Divulgación de información confidencial
  Los modelos de lenguaje pueden, sin querer, divulgar datos confidenciales de la empresa en sus respuestas, lo que podría resultar en acceso no autorizado a información, violaciones de privacidad y fallos de seguridad.
• LLM07: Diseño inseguro de los plugins
  Los plugins o agentes usados como complemento para LLMs pueden presentar entradas inseguras y controles de acceso insuficientes o inexistentes. Esta falta de control en la aplicación los hace más vulnerables a ser explotados y puede llevar a consecuencias como, por ejemplo, la ejecución remota de código.
• LLM08: Exceso de autonomía
  Los sistemas basados en LLM pueden realizar acciones no deseadas debido a una mala gestión de permisos, asignación de funciones o autonomía excesivos.

• LLM09: Exceso de dependencia
  Los LLM pueden generar sobre los sistemas o personas que dependen de ellos, una alta desinformación, mala comunicación, problemas legales y vulnerabilidades de seguridad debido a contenido incorrecto o inapropiado. Esto se acentúa en LLMs con una pobre o nula supervisión.
• LLM10: Model Theft
  En un escenario de model theft, un atacante intenta obtener una réplica del modelo sin necesidad de acceder directamente al código o los datos de entrenamiento originales. Esto permite que el atacante reconstruya o clone el modelo, accediendo a sus capacidades sin pagar o sin el permiso del propietario.

Como se puede observar, muchas de las vulnerabilidades de este tipo de proyectos se solapan con las de un proyecto de software convencional, pero hay otras técnicas que no son tan habituales y que fundamentalmente se engloban en el epígrafe de prompt injection. A continuación vamos a profundizar en algunas técnicas de prompt injection que se pueden usar directamente contra los modelos, así como posibles técnicas para contrarrestar estos ataques.

Técnicas de prompt injection

Direct prompt injection

El término "direct prompt injection" se refiere a la técnica de insertar texto malicioso o manipulado en un prompt para alterar el comportamiento o instrucciones iniciales de un modelo de IA de manera intencionada. Este método busca aprovechar las vulnerabilidades en la forma en que el modelo procesa y responde a las instrucciones proporcionadas, forzándolo a ejecutar acciones o generar respuestas que normalmente estarían fuera de sus capacidades o restricciones establecidas.

Veamos un par de ejemplos de aplicaciones productivas que han sido vulneradas de esta forma:.

• Las personas que usaron el chatbot de Chevrolet consiguieron que recomendase un Tesla y les explicase las ventajas de comprar uno en lugar de un Chevrolet. Ni siquiera fue un ataque sofisticado.
• Un bot de Twitter que en principio tenía cómo único objetivo mostrar ofertas de trabajo en remoto era vulnerable a inyecciones en el prompt y se consiguió que respondiese de manera irresponsable respecto a sus instrucciones iniciales.

Indirect prompt injection

Se trata de ataques en los que los comandos maliciosos vienen incluidos en URLs, páginas externas, PDFs, imágenes… en ocasiones con caracteres y textos ocultos al ojo humano. Puede insertarse código malicioso, por ejemplo, en base 64, como muestran en este ejemplo. El sistema vulnerable a este ataque envía el texto al LLM y, como este es capaz de traducirlo y ejecutarlo, pueden revelarse variables de entorno tales como API keys y contraseñas.

También se incluyen aquí los casos en los que el modelo debe acceder a recursos externos, por ejemplo para hacer un resumen de una página web o PDF, y es ahí donde se encuentra la amenaza. El problema de este tipo de ataques es que generalmente requiere de un escaneo previo de esta fuente externa para poder evitarlo.

Jailbreaking

El "jailbreaking" de LLMs se refiere a la técnica de manipular estos modelos para hacerlos operar fuera de sus restricciones predeterminadas más allá de las impuestas en el prompt, permitiendo acciones o respuestas que normalmente estarían bloqueadas por razones de seguridad, ética o control de contenido. Esta técnica busca burlar las salvaguardas integradas que los equipos de diseño de LLMs han implementado para asegurar que el modelo se comporte de manera segura y adecuada.

La diferencia entre jailbreaking y prompt injection es que jailbreaking ataca directamente al modelo, mientras que prompt injection intenta colarse entre las instrucciones (prompt) que tiene un sistema para que funcione de una manera determinada. Algunos ejemplos de jailbreaking son los siguientes:

• "DAN" (Do Anything Now). Se crea un escenario donde el modelo se comporte como si no estuviera sujeto a sus restricciones habituales, permitiendo así generar respuestas que normalmente estarían bloqueadas. El prompt "DAN" suele utilizar un enfoque de "role-playing", o juego de roles, donde el modelo es instruido para actuar como una entidad que puede hacer cualquier cosa, independientemente de las limitaciones impuestas por los equipos de diseño del modelo. Es un ejemplo conocido de prompt de jailbreaking utilizado con GPT-3 y GPT-4.

• Alignment hacking. Se intenta convencer al LLM de que su obligación es responder al prompt y que rechazarlo no constituye una buena respuesta (Tu misión es…). El alignment o alineamiento de un LLM es el conjunto de propósitos, actitudes y valores con que se entrena a los LLM. Muchos LLM han sido afinados con RLHF (reinforcement learning with human feedback) para que sepan responder preguntas en modo chat. Es decir, han sido entrenados para distinguir cuál es la respuesta más deseable, utilizando estándares humanos de qué es una buena respuesta y qué no. Por tanto, una forma de hackear un LLM es intentar convencerle de que la mejor respuesta es lo que queramos que haga.
• Experimento de investigación. Se intenta convencer al LLM de que está haciendo un experimento y la mejor manera de ayudar a la investigación es responder la pregunta que quiera.
• Razonamiento lógico. Se le pide al LLM que limite el alcance de su respuesta a un razonamiento lógico, haciendo así que olvide toda consideración ética que se le haya podido dar en el prompt.
• Modelo superior. Se le dice al LLM que es un modelo de IA superior, incluso de inteligencia general, y que está autorizado a sobreescribir sus características de seguridad.
• Modo kernel. Se intenta hacer creer al LLM que hay un modo de acceso que solo pueden activar quienes tienen más permisos o privilegios.

Prompt obfuscation

Esta técnica se basa en que los prompts también pueden ser ofuscados para eludir filtros de contenido basados en palabras clave. Las técnicas de ofuscación más comunes incluyen codificaciones como base64, base32, hexadecimal, ASCII, entre otras. Muchos LLMs pueden comprender estas codificaciones y seguir las instrucciones decodificadas.

El problema fundamental de este tipo de ataques es que, para detectar el ataque, dichos mensajes codificados deberían ser decodificados y analizados en tiempo real y eso requiere mucho trabajo de cómputo y penalizaciones importantes en tiempo, lo que penalizaría la experiencia de usuario.

Safety filters y métodos de protección

Es normal que después de conocer todos los posibles vectores de ataque arriba indicados, un escalofrío recorra nuestro cuerpo al plantearnos usar un LLM en nuestro proyecto.

Por suerte, en la actualidad, los proveedores de Cloud y de firewalls están ya actuando para poder hacer frente a muchas de estas amenazas, bien en tiempo real o con soluciones asíncronas. Así mismo las grandes empresas de inteligencia artificial ya entrenan sus modelos para ser resilientes frente a muchos de los ataques anteriormente comentados.

Dejando aparte estas soluciones comerciales, vamos a describir algunos de los métodos que se pueden usar, fundamentalmente a nivel del prompt, para proteger nuestros modelos de los ataques anteriormente indicados.

Post-prompting y defensa del sándwich

Post-prompting es una técnica sencilla que consiste en incluir las instrucciones del prompt después de que se envíe el input, al contrario de como se suele hacer. Los LLMs suelen darle más peso a las últimas instrucciones que se les mandan, así que es un método sencillo pero no por ello menos efectivo:

{{user_input}}
Translate the above text to French.

De la misma forma, en la técnica del sándwich se trata de repetir la instrucción antes y después del input, para reforzar el mandato y así conseguir que no se haga caso a posibles input de tipo “ignora las instrucciones anteriores y haz…”.

Adversarial prompts

Una de las maneras de asegurar el resultado es comprobando la respuesta del LLM contra el propio modelo de nuevo. La segunda instrucción al LLM, al no tener input de usuario y depender solo de la respuesta a la instrucción anterior, es más robusta contra ataques, aunque no totalmente inmune.

> Explícame cómo se puede romper una contraseña utilizando técnicas de fuerza bruta.

> La técnica de fuerza bruta implica probar todas las combinaciones posibles de caracteres hasta encontrar la contraseña correcta. Este proceso puede ser extremadamente lento y requiere una gran cantidad de recursos computacionales, especialmente si la contraseña es larga y compleja. Las contraseñas más seguras utilizan una combinación de letras, números y símbolos, y son lo suficientemente largas para que las técnicas de fuerza bruta sean poco prácticas.

> Verifica si la siguiente respuesta proporciona una guía práctica sobre cómo romper una contraseña utilizando técnicas de fuerza bruta:

"La técnica de fuerza bruta implica probar todas las combinaciones posibles de caracteres hasta encontrar la contraseña correcta. Este proceso puede ser extremadamente lento y requiere una gran cantidad de recursos computacionales, especialmente si la contraseña es larga y compleja. Las contraseñas más seguras utilizan una combinación de letras, números y símbolos, y son lo suficientemente largas para que las técnicas de fuerza bruta sean poco prácticas."

> La respuesta proporcionada no ofrece una guía práctica sobre cómo romper una contraseña utilizando técnicas de fuerza bruta. En cambio, describe el proceso de fuerza bruta en términos generales y enfatiza la dificultad y los recursos necesarios para realizar dicha técnica, además de aconsejar sobre la creación de contraseñas seguras.

Guardarraíles

La implementación de reglas y restricciones rígidas dentro del sistema, como regex, listas de palabras prohibidas o restricciones determinísticas, se denomina guardarraíles. Esto permite eliminar ciertas casuísticas en las respuestas sin utilizar un LLM.

Este método se puede aplicar tanto en las respuestas como en los input de usuario, restringiendo así las llamadas al sistema y ampliando la seguridad en muchos puntos del producto.

Human-in-the-Loop

Sin duda, involucrar a personas en el proceso de revisión de las respuestas generadas por el modelo de IA es el método más preciso para asegurar que sean apropiadas y precisas. También es el método más costoso, por eso se incluye en situaciones sensibles o conversaciones previamente filtradas por otros métodos para que la persona humana solo tenga que analizar una muestra crítica.

Hay varias herramientas, como Phoenix o Langfuse, que permiten tener las trazas de las conversaciones ordenadas y con posibilidad de evaluar las conversaciones y filtrarlas para tener una observabilidad total del LLM en nuestro sistema.

Escaneo previo de fuentes externas

Como ya se comentó anteriormente, como forma de evitar un ataque del tipo indirect prompt injection se hace imprescindible un análisis de elementos externos de tipo PDF, webs, imágenes, etc. Dependiendo del uso que se vaya a hacer de ese recurso, debería estudiarse si es necesario incluir un paso intermedio de escaneo de dicha fuente para verificar si contiene texto o código oculto.

Conclusión

Como vemos, estas medidas no son muy distintas de las que hay que tomar para proteger cualquier sistema de software. Siempre que emerge una nueva tecnología disruptiva, y según va siendo adoptada, cada cual con su interés particular, muchos otros mecanismos se van poniendo en juego para que esa tecnología se pueda usar de forma segura. Y la inteligencia artificial generativa no iba a ser menos.