Assurer l'autonomie : le risque dans les systèmes agentiques
Un agent capable de lire, de planifier et d'agir constitue un nouveau type d'acteur au sein de l'entreprise : doté d'identifiants, d'un pouvoir de jugement, et sans ligne de responsabilité clairement établie. La question de la sécurité se déplace de ce qu'un modèle peut produire vers ce qu'un agent est autorisé à faire. Nous examinons l'identité, l'autorité à périmètre restreint et la révocation comme les primitives qui comptent, et pourquoi les entreprises qui résolvent le confinement des systèmes autonomes ressembleront davantage à des infrastructures de contrôle d'accès qu'à des outils pour modèles.
Un modèle qui ne produit que du texte est borné par son canal de sortie. Le pire qu'il puisse faire, c'est dire quelque chose de faux. Un agent capable de lire des systèmes, d'élaborer un plan et de mener des actions est un objet d'une tout autre nature : il détient des identifiants, exerce un jugement et modifie l'état du monde. Il constitue, fonctionnellement, un nouvel acteur au sein de l'entreprise — un acteur qu'aucun système de gestion des identités n'a été conçu pour gouverner.
Cela déplace la question de la sécurité. Pendant longtemps, la discipline s'est concentrée sur ce qu'un modèle peut produire : peut-on le détourner par un jailbreak, peut-on l'amener à dire quelque chose de nuisible, peut-on lui faire divulguer son prompt. Ces questions comptent toujours, mais ce ne sont plus elles qui empêchent un RSSI de dormir. La question déterminante pour un agent est celle de ce qu'il est autorisé à faire — quels systèmes il peut atteindre, quelles actions il peut entreprendre, et sous quelle autorité il agit lorsqu'il enchaîne les étapes d'un plan qu'aucun humain n'a explicitement approuvé.
Les primitives qui comptent ici sont empruntées à l'infrastructure de contrôle d'accès, et non à l'outillage des modèles. Chaque agent doit disposer d'une identité distincte et attestable — et non d'un compte de service partagé. Son autorité doit être restreinte à l'ensemble le plus étroit d'actions que sa tâche exige, et ce périmètre doit être imposé à la frontière du système, et non poliment sollicité dans un prompt. Et il faut une révocation : un moyen rapide et fiable de retirer son autorité à un agent lorsqu'il se comporte mal, sans mettre à l'arrêt les systèmes qu'il touche. Identité, autorité à périmètre restreint et révocation forment la triade du confinement.
C'est pourquoi nous pensons que les entreprises gagnantes de la sécurité agentique ressembleront davantage à des plateformes de contrôle d'accès et de gestion des identités qu'à des outils d'observabilité des LLM. La difficulté ne consiste pas à surveiller ce que dit l'agent ; elle consiste à gouverner ce à quoi il peut accéder, à prouver ce qu'il a fait, et à pouvoir tout débrancher en quelques secondes. Le confinement des systèmes autonomes est un problème d'infrastructure, et nous soutenons activement les équipes qui l'abordent comme tel.
Les opinions exprimées ci-dessus sont celles de Sentinel Ventures et sont fournies à titre purement informatif — elles ne constituent pas un conseil en investissement, juridique ou fiscal.