Anthropic ha publicado los 'prompts' del sistema que guían el comportamiento de Claude. Es un ejemplo de transparencia

En una acción sin precedentes, Anthropic, la empresa tras los modelos Claude de IA generativa, ha hecho públicos los 'prompts' o instrucciones del sistema que antepone a las peticiones de los usuarios, según ha avanzado TechCrunch.

Por qué es importante. Esta medida posiciona a Anthropic como una empresa más abierta y transparente en una industria, la de la IA, habitualmente criticada por su opacidad y secretismo.

Lo nuevo:

• Anthropic ha publicado los system prompts que guían sus modelos de lenguaje más avanzados: Claude 3.5 Opus, Claude 3.5 Sonnet y Claude Haiku.
• Son instrucciones diseñadas para moderar el tono y evitar respuestas tóxicas, sesgadas o controvertidas por parte de los chatbots.
• Las instrucciones del mayor modelo rondan las 1.000 palabras. Las del resto son más breves.
• La empresa ha dicho que quiere hacer de esta práctica una costumbre, actualizando los system prompts con cada nuevo lanzamiento o gran actualización.

En Xataka

GPT-4 siempre había estado un paso por delante del resto de inteligencias artificiales. Hasta que llegó Claude 3

El contexto. Este es el tipo de material que las empresas de la industria de la IA tratan de preservar, tanto por razones competitivas como de seguridad. Revelar estas indicaciones puede facilitar a usuarios malintencionados (o simplemente curiosos) encontrar formas de evadirlas.

Detalles clave:

• Las instrucciones prohíben a los modelos abrir URLs o vídeos, y son especialmente restrictivas a la hora de realizar reconocimiento facial.
• Se les ordena ser totalmente ciegos en cuanto a los rostros, y evitar identificar o mencionar a personas concretas en imágenes.
• También se les indican ciertos rasgos de personalidad, como ser "muy inteligentes e intelectualmente curiosos".
• Deben tratar temas controvertidos con imparcialidad, proporcionando "pensamientos cuidadosos" e "información clara".

Las implicaciones. Esta medida puede servir de presión a los competidores, empezando por OpenAI, para que sean igual de transparentes con sus propios system prompts. Otra cosa es que lo consiga.

Al desvelar esta pequeña parte de su sistema, Anthropic se posiciona como un actor algo más confiable en la industria de la IA, y desde luego más transparente. Y de paso nos recuerdan lo dependientes que siguen siendo estos modelos de la guía humana para funcionar de forma efectiva y ética.

Imagen destacada | Xataka con Mockuuups Studio

En Xataka | Un grupo de autores ha denunciado a Anthropic. El motivo: ha entrenado a su IA con copias de sus libros

via Robótica e IA - Xataka https://ift.tt/olkNx6F