Injection de prompt : directe, indirecte, et comment contenir les deux
Pourquoi le modèle ne peut pas régler le problème seul, à quoi ressemble une attaque cachée dans un document et comment la contenir.
En savoir plus sur l'injection de promptServices financiers · 4 min de lecture
Construire une piste d'audit de l'IA pour les services financiers
La question qui bloque les projets n'est pas ce que le système a fait, mais ce qu'il était configuré pour faire ce jour-là. Quatre propriétés permettent d'y répondre.
La question d'audit à laquelle on se prépare est « qu'a fait le système ». Celle qui bloque réellement les projets est « qu'était-il configuré pour faire le jour en question, et qu'est-ce qui a changé depuis ». Sans historique de configuration, cette question n'a aucune réponse, et un contrôle qu'on ne peut pas reconstituer est un contrôle qu'on ne peut pas attester. Voici les quatre propriétés qui rendent un système d'IA auditable, écrites pour l'ingénieur qui doit les construire plus que pour le relecteur qui les demandera.
Note de périmètre : ce texte est un guide d'ingénierie sur les contrôles, pas un avis juridique ni un énoncé de ce qu'exige une règle. NeuralSeek fait l'objet d'audits SOC 1 et SOC 2 Type II et est conforme à la loi HIPAA. C'est à vos conseils juridiques, à vos régulateurs et à votre audit interne de décider de ce qui s'applique à votre organisation.
Pourquoi c'est toute la conversation
Dans une entreprise réglementée, un système d'IA qui touche aux livres, aux dossiers ou aux échanges avec les clients n'est pas évalué d'abord sur ses capacités. Il est évalué sur sa capacité à produire un compte rendu complet et fiable de ce qui s'est passé : qui a fait quoi, quand, avec quelle configuration, et si ce compte rendu peut être remis rapidement et résister à quelqu'un qui ne présume rien.
C'est un problème d'ingénierie abordable, et il se décompose en quatre propriétés. Aucune n'est exotique. Ce qui les rend difficiles, c'est qu'elles doivent être en place dès le début. On ne peut pas ajouter une piste d'audit à l'histoire.
Une : une trace durable de chaque interaction
Deux journaux complémentaires, et la maîtrise de leur emplacement. Une trace infalsifiable de chaque interaction, à l'échelle de l'organisation, vous donne le compte rendu. Une trace des prompts eux-mêmes vous donne la reconstitution : quand une réponse précise est contestée plus tard, vous pouvez montrer exactement ce qui a été demandé et les documents sur lesquels le système travaillait.
Ce que les équipes planifient mal, c'est le stockage. Les obligations de conservation des dossiers réglementés sont généralement plus longues que la rétention par défaut de n'importe quel journal, et exigent souvent un type de durabilité précis. Pouvoir diriger ces traces vers le système de stockage que votre entreprise utilise déjà pour ses dossiers réglementés, au lieu de celui que l'application choisit par défaut, c'est ce qui rend le contrôle réel plutôt que nominal.
Deux : un historique de chaque changement de paramètre
C'est la propriété qui manque à la plupart des systèmes d'IA, et celle qui transforme le plus souvent une revue en projet. Si les seuils de récupération, la politique de garde-fous ou l'affectation des modèles ont changé à un moment, et que personne ne peut dire quand ni en quoi, alors toute réponse produite avant ce changement est inexplicable.
Il faut un journal horodaté de chaque changement de paramètre, pour voir ce qui a changé et quand, et pouvoir l'annuler. Un changement de contrôle cesse alors d'être une modification non suivie et devient un événement relisible, ce que demande un cadre de contrôle.
Trois : l'attribution, sans fuite d'identifiants
Une piste qu'on ne peut pas relier à une identité échoue à l'audit par un bout ; une piste qui laisse fuiter des secrets échoue par l'autre, et plus cher. Chaque interaction enregistrée doit être rattachée à un chemin d'accès et à une identité connus plutôt qu'à un appel anonyme, ce qui est une décision de conception sur la façon dont le système est exposé, pas un ajout possible plus tard.
En même temps, les clés et les secrets de connexion doivent rester hors des prompts, hors des réponses et hors des journaux eux-mêmes. La trace que vous produisez comme preuve est un document qui sera copié, envoyé par e-mail et stocké par des personnes extérieures à votre équipe. Ce ne doit pas être un endroit où l'on trouve des identifiants.
Quatre : des preuves qui s'exportent au lieu de s'assembler
La dernière propriété est de savoir si la piste peut devenir quelque chose qu'un relecteur accepte sans couche de traduction. En pratique, cela veut dire relier chaque contrôle à l'exigence qu'il satisfait, dans le format que vos relecteurs utilisent déjà, pour que la réponse à une demande de présentation soit un document et non une enquête.
Le test est simple et vaut pour tout ce que vous évaluez : quand la demande arrive, produire les preuves est-il un export, ou une urgence ?
Le configurer une fois, ou l'assembler indéfiniment
La différence entre une initiative d'IA qui aboutit dans une entreprise réglementée et une qui cale tient rarement au modèle. Elle tient au fait que la piste d'audit est un produit de la configuration, ou quelque chose qu'on reconstitue sous pression chaque fois qu'on la demande.
Les quatre propriétés ci-dessus sont des paramètres de NeuralSeek, pas des composants à intégrer, et elles s'appliquent à tous les workflows construits sur le déploiement, pas seulement à ceux dont les auteurs y ont pensé. Vous les obtenez par défaut au lieu de les reconstruire pour chaque workflow.
Continuer la lecture
Plus de guides sur l'IA gouvernée
Des lectures pratiques pour créer, gouverner et exécuter des agents IA.
Pour les paramètres, consultez la documentation du produit (en anglais).
Trouver les données personnelles que la recherche de motifs ne voit pas
Les expressions régulières trouvent les données personnelles qui ressemblent à des données personnelles. « Marie, chambre 4B » identifie une patiente et ne correspond à aucun motif. Voici comment une seconde passe, fondée sur le contexte, la repère.
En savoir plus sur la détection des données personnelles
Créez dès aujourd'hui avec NeuralSeek.
Inscrivez-vous en ligne et commencez par un essai de deux semaines, ou parlez à un expert NeuralSeek pour exécuter NeuralSeek dans votre cloud.