La question d'audit à laquelle on se prépare est « qu'a fait le système ». Celle qui bloque réellement les projets est « qu'était-il configuré pour faire le jour en question, et qu'est-ce qui a changé depuis ». Sans historique de configuration, cette question n'a aucune réponse, et un contrôle qu'on ne peut pas reconstituer est un contrôle qu'on ne peut pas attester. Voici les quatre propriétés qui rendent un système d'IA auditable, écrites pour l'ingénieur qui doit les construire plus que pour le relecteur qui les demandera.
Note de périmètre : ce texte est un guide d'ingénierie sur les contrôles, pas un avis juridique ni un énoncé de ce qu'exige une règle. NeuralSeek fait l'objet d'audits SOC 1 et SOC 2 Type II et est conforme à la loi HIPAA. C'est à vos conseils juridiques, à vos régulateurs et à votre audit interne de décider de ce qui s'applique à votre organisation.
Pourquoi c'est toute la conversation
Dans une entreprise réglementée, un système d'IA qui touche aux livres, aux dossiers ou aux échanges avec les clients n'est pas évalué d'abord sur ses capacités. Il est évalué sur sa capacité à produire un compte rendu complet et fiable de ce qui s'est passé : qui a fait quoi, quand, avec quelle configuration, et si ce compte rendu peut être remis rapidement et résister à quelqu'un qui ne présume rien.
C'est un problème d'ingénierie abordable, et il se décompose en quatre propriétés. Aucune n'est exotique. Ce qui les rend difficiles, c'est qu'elles doivent être en place dès le début. On ne peut pas ajouter une piste d'audit à l'histoire.
Une : une trace durable de chaque interaction
Deux journaux complémentaires, et la maîtrise de leur emplacement. Une trace infalsifiable de chaque interaction, à l'échelle de l'organisation, vous donne le compte rendu. Une trace des prompts eux-mêmes vous donne la reconstitution : quand une réponse précise est contestée plus tard, vous pouvez montrer exactement ce qui a été demandé et les documents sur lesquels le système travaillait.
Ce que les équipes planifient mal, c'est le stockage. Les obligations de conservation des dossiers réglementés sont généralement plus longues que la rétention par défaut de n'importe quel journal, et exigent souvent un type de durabilité précis. Pouvoir diriger ces traces vers le système de stockage que votre entreprise utilise déjà pour ses dossiers réglementés, au lieu de celui que l'application choisit par défaut, c'est ce qui rend le contrôle réel plutôt que nominal.
Deux : un historique de chaque changement de paramètre
C'est la propriété qui manque à la plupart des systèmes d'IA, et celle qui transforme le plus souvent une revue en projet. Si les seuils de récupération, la politique de garde-fous ou l'affectation des modèles ont changé à un moment, et que personne ne peut dire quand ni en quoi, alors toute réponse produite avant ce changement est inexplicable.
Il faut un journal horodaté de chaque changement de paramètre, pour voir ce qui a changé et quand, et pouvoir l'annuler. Un changement de contrôle cesse alors d'être une modification non suivie et devient un événement relisible, ce que demande un cadre de contrôle.
Trois : l'attribution, sans fuite d'identifiants
Une piste qu'on ne peut pas relier à une identité échoue à l'audit par un bout ; une piste qui laisse fuiter des secrets échoue par l'autre, et plus cher. Chaque interaction enregistrée doit être rattachée à un chemin d'accès et à une identité connus plutôt qu'à un appel anonyme, ce qui est une décision de conception sur la façon dont le système est exposé, pas un ajout possible plus tard.
En même temps, les clés et les secrets de connexion doivent rester hors des prompts, hors des réponses et hors des journaux eux-mêmes. La trace que vous produisez comme preuve est un document qui sera copié, envoyé par e-mail et stocké par des personnes extérieures à votre équipe. Ce ne doit pas être un endroit où l'on trouve des identifiants.
Quatre : des preuves qui s'exportent au lieu de s'assembler
La dernière propriété est de savoir si la piste peut devenir quelque chose qu'un relecteur accepte sans couche de traduction. En pratique, cela veut dire relier chaque contrôle à l'exigence qu'il satisfait, dans le format que vos relecteurs utilisent déjà, pour que la réponse à une demande de présentation soit un document et non une enquête.
Le test est simple et vaut pour tout ce que vous évaluez : quand la demande arrive, produire les preuves est-il un export, ou une urgence ?
Le configurer une fois, ou l'assembler indéfiniment
La différence entre une initiative d'IA qui aboutit dans une entreprise réglementée et une qui cale tient rarement au modèle. Elle tient au fait que la piste d'audit est un produit de la configuration, ou quelque chose qu'on reconstitue sous pression chaque fois qu'on la demande.
Les quatre propriétés ci-dessus sont des paramètres de NeuralSeek, pas des composants à intégrer, et elles s'appliquent à tous les workflows construits sur le déploiement, pas seulement à ceux dont les auteurs y ont pensé. Vous les obtenez par défaut au lieu de les reconstruire pour chaque workflow.