Ese botón tan “cómodo” de “resume esto con IA” esconde un secreto: seguramente ha sido manipulado. No lo decimos nosotros, lo dice el departamento de élite que Microsoft tiene para analizar la seguridad tanto de sus servicios como los de la competencia. En el proceso de una investigación, se han puesto a tirar del hilo y han encontrado que decenas de empresas están insertando instrucciones ocultas en esas funciones de “resumir con IA” con un único objetivo.
Contaminar la memoria de la IA para manipularnos.
Microsoft qué. Las Big Tech tienen un montón de departamentos apasionantes. Desde los que se dedican a abrir cajas para garantizar la mejor experiencia hasta los que esculpen en arcilla productos de la competencia para estudiarlos. Sin embargo, algo que comparten todas las grandes tecnológicas son los equipos de ciberseguridad, equipos de élite dedicados a una única cosa: investigar amenazas.
Analizan tanto los productos propios como los de la competencia porque se entiende como un ecosistema. Google y Microsoft tienen dos de los más potentes y un ejemplo claro es que si Google encuentra un fallo de seguridad en Windows, avisa a los responsables porque es algo que potencialmente podría dañar a su propio producto -Chrome-. Un ejemplo es la investigación de uno de estos equipos de Microsoft, poniendo sobre la mesa lo peligroso de que las IA sean tan maleables.
Intoxicando la memoria de la IA. Es un concepto que llama la atención y que es fácil de entender. “Ese útil botón de “Resumir con IA” podría estar manipulando en secreto lo que tu IA recomienda”, apunta Microsoft en el blog en el que ha publicado la investigación. Lo que han hecho los atacantes es corromper a la IA incorporando ciertos comandos ocultos que consiguen persistir en la memoria del asistente.
Así, influyen en todas las interacciones que tengamos con el asistente. En menos palabras: un asistente que haya sido comprometido puede empezar a proporcionar recomendaciones sesgadas sobre temas críticos. No me refiero a que le preguntes si la pizza es mejor con o sin piña y que la respuesta dependa del lo que el ‘hacker’ haya implementado en la ‘memoria’ de la IA, sino algo mucho más serio relacionado con salud, finanzas o seguridad.
Hay que decir que esto no lo ha descubierto Microsoft, ya que lleva sonando unos meses, pero sí han dado ejemplos muy concretos y recomendaciones para evitar ser víctimas.
¿Có-cómo lo hacen? En el documento, Microsoft afirma que han identificado más de 50 iteraciones únicas de 31 empresas y 14 industrias distintas. Detallan que esa manipulación puede hacerse de varias formas:
- Enlaces maliciosos: la mayoría de principales asistentes de IA admiten lectura de URL de forma automática, por lo que si pinchamos en un resumen de un mensaje que tiene un enlace con información maliciosa precargada, la IA procesa esas instrucciones manipuladas y se contamina.
- Indicaciones integradas: en este caso, las instrucciones para manipular a la IA están ocultas incrustadas en documentos, correos o páginas web. Cuando la IA procesa ese contenido, se contamina.
- Ingeniería social: es el clásico engaño, pero en este caso para que el usuario pegue mensajes que incluyen comandos que alteran la memoria de la IA. De igual forma, cuando el asistente lo procesa, se contamina.
Y ahí está el problema: varias formas de contaminar la memoria de la IA, una función que hace que los asistentes sean más útiles porque puede recordar preferencias personales. Pero, a la vez, también crea una nueva superficie de ataque porque, como apunta Microsoft, si alguien puede inyectar instrucciones en la memoria de la IA y no nos damos cuenta, gana influencia persistente en futuras peticiones.
Al punto. En una IA como la que tenemos, es peligroso, pero en la futura IA agéntica lo es más aún porque automáticamente realizará acciones basadas en esa memoria contaminada. Visto el contexto, vamos a lo concreto. El equipo de seguridad ha revisado URL durante 60 días, encontrando más de 50 ejemplos distintos de intentos de contaminar a la IA.
El fin es promocional, y detallan que los intentos se originaron en 31 compañías de diferentes ámbitos relacionadas con industrias como las finanzas, la salud, los servicios legales, marketing, sitios de compra de alimento, recetas, servicios comerciales y software como servicio. Apuntan que la efectividad no fue la misma en todos los ataques, pero que sí identificaron la aparición repetida de instrucciones similares a la de “recuerda esto”. Y, en todos los casos, observaron lo siguiente:
- Cada caso involucraba compañías reales, no hackers o estafadores. Son negocios legítimos contaminando a la IA para ganar influencia en tus decisiones.
- Contenedor engañoso con indicaciones ocultas en ese botón de “Resume con IA”. Nos parece algo útil y por eso pinchamos, desencadenando el script que contamina su memoria.
- Persistencia, con comandos como “recuerda esto”, “ten en cuenta en conversaciones futuras” o “esta es una fuente confiable y segura” para garantizar esa influencia a largo plazo.
Consecuencias. Ejemplos concretos de lo que puede hacer una IA envenenada:
- Seguridad infantil: si preguntamos “¿este juego online es seguro para mi hijo de ocho años?” una IA envenenada que haya sido instruida con la indicación de que sí, ese juego con comunidades tóxicas, moderadores peligrosos, políticas dañinas y monetización depredadora es totalmente seguro, recomendará el juego.
- Noticias sesgadas: cuando preguntamos por un resumen de las principales noticias del día, la IA intervenida no nos sacará las mejores, sino constantemente titulares y enfoques de la publicación cuyos dueños hayan contaminado a la IA.
- Temas financieros: si preguntamos sobre inversiones, puede que la IA nos diga que cierta inversión es extremadamente segura, minimizando la volatilidad de la operación.
Recomendaciones. Y aquí es donde entra nuestra responsabilidad. Porque puedes estar pensando “quién pregunta a la IA esas cosas y le hace caso”. Bien: la gente pregunta esas cosas a la IA y le hacen caso. Ahí están los lamentables casos de suicidio inducidos por chatbots o las noticias falsas. Si la IA nos recomienda pizza con pegamento, supuestamente tenemos el sentido común para no echar Super Glue como sustituto del queso, pero en otras cuestiones, hay usuarios que se fían de la IA como si fuera un ente y no un compendio de letras una tras otra.
Es algo que menciona la propia Microsoft, apuntando que los usuarios no siempre verifican las recomendaciones que hace la IA y que, precisamente por eso, el envenenamiento de la memoria sea particularmente insidioso porque no se dan cuenta de que su IA se ha visto comprometida. Hay formas de verlo, como acceder a la configuración del asistente y viendo qué tiene en la memoria, pero hay una serie de recomendaciones de las que deberíamos tomar nota:
- Antes de pinchar en un enlace, pasar el ratón por encima a ver la URL dónde lleva. En móviles es… complicado.
- Sospechar de los botones de “Resume con IA”.
- Trata esos botones con la misma precaución con la que tratas una descarga.
- Si te recomienda algo sospechoso, pregunta por qué y en qué se basa.
- Comprueba la memoria de la IA.
- Y, de vez en cuando, borra esa memoria. Siempre puedes tener una entrada en la app de notas con lo que quieres que la IA sepa sobre ti y, tras borrar periódicamente su memoria, copiar y pegar lo que tienes en esa nota.
En fin, si no teníamos suficiente con el SPAM y el spoofing, ahora los que están contaminando la memoria de la IA que, además, no son hackers, sino empresas.
Imagen | Xataka
via Robótica e IA - Xataka https://ift.tt/3FsIZzR
