Prompt injection: directo, indirecto y cómo contener ambos
Por qué el modelo no puede resolverlo solo, cómo se ve un ataque escondido en un documento y cómo contenerlo.
Lee más sobre prompt injectionServicios financieros · 4 min de lectura
La pregunta que detiene los proyectos no es qué hizo el sistema, sino qué estaba configurado para hacer ese día. Cuatro propiedades permiten responderla.
La pregunta de auditoría para la que la gente se prepara es “¿qué hizo el sistema?”. La que de verdad detiene los proyectos es “¿qué estaba configurado para hacer el sistema el día en cuestión, y qué cambió desde entonces?”. Sin un historial de configuración, esa pregunta no tiene respuesta, y un control que no puedes reconstruir es un control que no puedes avalar. Esta guía recorre las cuatro propiedades que hacen auditable un sistema de IA, escrita para el equipo de ingeniería que tiene que crearlas y no para el revisor que las va a pedir.
Nota de alcance: esta es una guía técnica sobre controles, no asesoría legal ni una declaración de lo que exige ninguna norma. NeuralSeek tiene informes SOC 1 y SOC 2 Type II, y cumple con HIPAA. Tus asesores legales, tus reguladores y tu auditoría interna deciden qué aplica a tu organización.
En una entidad regulada, un sistema de IA que toca libros, registros o interacciones con clientes no se evalúa primero por su capacidad. Se evalúa por si produce un relato completo y confiable de lo que pasó: quién hizo qué, cuándo, con qué configuración, y si ese relato se puede entregar con rapidez y resistir a alguien que no da nada por sentado.
Es un problema técnico manejable, y se divide en cuatro propiedades. Ninguna es exótica. Lo que las hace difíciles es que tienen que estar desde el principio. Un registro de auditoría no se puede agregar al pasado.
Dos registros complementarios, y control sobre dónde se guardan. Un registro de toda la organización, que deja rastro de cualquier alteración, con cada interacción, te da el relato. Un registro de los propios prompts te da la reconstrucción: cuando más adelante se cuestiona una respuesta concreta, puedes mostrar exactamente qué se preguntó y con qué material trabajaba el sistema.
La parte que los equipos planifican de menos es el almacenamiento. Las obligaciones de conservación de los registros regulados suelen ser más largas que la retención por defecto de cualquier registro, y a menudo exigen un tipo específico de durabilidad. Poder enviar estos registros al sistema que tu entidad ya usa para los registros regulados, en lugar de al que traiga la aplicación por defecto, es lo que hace que el control sea real y no solo nominal.
Esta es la propiedad que le falta a la mayoría de los sistemas de IA y la que más a menudo convierte una revisión en un proyecto. Si los umbrales de recuperación, la política de guardrails o las asignaciones de modelos cambiaron en algún momento y nadie puede decir cuándo ni a qué, entonces ninguna respuesta producida antes de ese cambio tiene explicación.
Lo que hace falta es un registro con fecha y hora de cada cambio de configuración, para ver qué cambió y cuándo, y poder revertirlo. Así, un cambio en un control deja de ser una edición sin seguimiento y pasa a ser un evento revisable, que es lo que pide un marco de control.
Un registro que no se puede vincular a una identidad falla la auditoría por un lado; un registro que revela secretos la falla por el otro, y sale más caro. Cada interacción registrada debería asociarse a una vía de acceso y una identidad conocidas, no a una llamada anónima, y eso es una decisión de diseño sobre cómo se accede al sistema, no algo que se pueda agregar después.
Al mismo tiempo, las claves y los secretos de conexión deben quedar fuera de los prompts, de las respuestas y de los propios registros. El registro que presentas como evidencia es un documento que van a copiar, enviar por correo y guardar personas ajenas a tu equipo. No debería ser un lugar donde se puedan encontrar credenciales.
La última propiedad es si el registro se puede convertir en algo que un revisor acepte sin una capa de traducción. En la práctica, eso significa asociar cada control al requisito que cubre, en el formato que tus revisores ya usan, para que la respuesta a una solicitud de revisión sea un documento y no una investigación.
La prueba es simple y vale la pena aplicarla a lo que sea que estés evaluando: cuando llega la solicitud, ¿producir la evidencia es una exportación o una emergencia?
La diferencia entre una iniciativa de IA que sale a producción en una entidad regulada y una que se detiene rara vez es el modelo. Es si el registro de auditoría resulta de la configuración o es algo que se reconstruye bajo presión cada vez que alguien pregunta.
Las cuatro propiedades anteriores son ajustes de NeuralSeek, no componentes que integrar, y se aplican a cada flujo de trabajo creado sobre la implementación, no solo a aquellos cuyos autores se acordaron. Las tienes por defecto en lugar de volver a crearlas para cada flujo de trabajo.
Sigue leyendo
Lecturas prácticas para crear, gobernar y ejecutar agentes de IA.
Para ajustes y parámetros, consulta la documentación del producto (en inglés).
Por qué el modelo no puede resolverlo solo, cómo se ve un ataque escondido en un documento y cómo contenerlo.
Lee más sobre prompt injectionLas expresiones regulares encuentran los datos personales que parecen datos personales. “María, en la habitación 4B” identifica a una paciente y no coincide con nada. Así los detecta una segunda pasada, basada en el contexto.
Lee más sobre detección de datos personalesRegístrate en línea y empieza con una prueba de dos semanas, o habla con un experto de NeuralSeek sobre cómo usar NeuralSeek en tu propia nube.