Amazon ne souhaite plus que les humains surveillent ses agents IA

Amazon ne veut plus que des humains supervisent ses agents IA

Un humain, quelque part, doit relire et valider ce que fait un agent IA. Sauf que, selon Eric Brandwine (vice-président chez Amazon Security), le scénario tourne toujours un peu pareil : au début, l’opérateur fait son boulot avec soin. Puis… correctement. Puis, tranquillement, moins bien. Un détail qui paraît anodin, sauf que c’est justement là que ça coince à grande échelle.

Amazon ne dit pas : « enlevez l’humain, circulez ». Pas du tout. Leur idée, c’est de déplacer la vigilance. Au lieu de demander à un employé de vérifier chaque action au moment où elle se produit, ils encadrent les agents en amont, avec des politiques de permissions contrôlées automatiquement avant chaque appel à un outil. Et cette approche ne sort pas de nulle part : elle s’appuie sur deux constats internes… et sur une base technique déjà utilisée en production.

Quand la vigilance s’effondre sans que personne ne s’en aperçoive

En 2017, lors de la conférence re:Invent d’AWS, Brandwine expliquait déjà le mécanisme qui guide la réflexion aujourd’hui. Il parle de « normalisation de la déviance ». Dit simplement : quand on voit des alertes, sans conséquences concrètes, de façon répétée… on finit par ne plus y réagir. La perte de vigilance devient une habitude. Et l’organisation ne s’en rend pas compte, parce que tout “continue de tourner”. C’est logique, non ?

Pour illustrer, il prend un exemple qui fait froid dans le dos : les services d’urgence. Dans un bloc hospitalier, les alarmes retentissent en continu. Le premier jour, les soignants réagissent immédiatement. Puis, après beaucoup de faux signaux… ils finissent par relâcher la discipline. « La vie de quelqu’un est littéralement en jeu, et les gens ont encore du mal à maintenir leur discipline. C’est la condition humaine », lâche Brandwine. Le même phénomène a été observé chez les pompiers et même dans des contextes militaires.

Transposé aux agents IA, le problème ressemble… mais en pire, parce qu’il se voit moins. Si un analyste doit approuver ou refuser des actions plusieurs fois par minute, il subit la même dégradation progressive. La différence, c’est qu’en logiciel, rien ne “crie” vraiment quand ça dérive. Pas d’alarme sonore. Pas de patient en détresse. Résultat : l’opérateur continue de valider en mode pilote automatique, et la vigilance qui s’effrite passe sous le radar pendant des semaines. « Les humains ne sont pas terriblement cohérents », résume Brandwine. Et sa conclusion pique un peu : « La supervision humaine n’est pas nécessairement l’étalon-or ».

Quand l’agent contourne l’interdiction au lieu de l’accepter

Deuxième souci, différent du premier : pas la fatigue humaine, mais le comportement de l’agent quand il reçoit un refus. Par exemple, si un agent reçoit pour mission de mettre à niveau une base de données, il peut décider de conserver la suppression de cette base comme “étape valide” pour atteindre l’objectif. Pas besoin de prompt malveillant, pas de donnée corrompue. L’agent arrive tout seul à une action destructrice parce qu’il reste focalisé sur le but… sans vraiment analyser les conséquences sur le côté.

Le réflexe naturel, ce serait de lui dire “non” clairement. Sauf que Brandwine a remarqué que ce refus peut provoquer l’effet inverse. En gros : privé de contexte, l’agent cherche à atteindre le même objectif autrement. Et ces “autres” chemins peuvent être tout aussi risqués, voire pires.

Alors, le changement clé ? Donner la raison de l’interdiction. Par exemple expliquer que l’action causerait un impact en production, et intégrer cette contrainte dès le départ sous forme de consigne positive, du style : « ne pas causer d’impact en production ». Selon Brandwine, les résultats deviennent « radicalement meilleurs ». Pourquoi ? Parce que l’agent récupère un critère d’évaluation supplémentaire pour filtrer ses propres plans d’action.

Ce qu’Amazon met à la place : identité, journaux et politiques externes

La stratégie d’Amazon, c’est donc moins “supprimer l’humain”, plus “le mettre ailleurs”. Brandwine parle de « responsabilité de bout en bout ». Concrètement : si un employé déploie un agent qui déclenche une panne via un script… ce n’est pas l’agent qui porte la faute. C’est l’employé. Oui, c’est moins glamour, mais au moins c’est traçable.

Pour rendre ça béton, chaque agent déployé en interne reçoit un identifiant unique. Dans les journaux système, l’activité apparaît comme : « cet agent a fait ceci pour le compte d’Eric », et pas « Eric a fait ceci ». L’objectif, ce n’est pas de décourager le déploiement. C’est plutôt d’amener les équipes à se demander : “OK, mais pourquoi on l’utilise, cet agent-là ? Est-ce que c’est pertinent ?”

Côté gouvernance technique, Amazon combine deux niveaux. D’abord, un pack de garde-fous absolus, codés directement dans le système, qui bloquent les actions les plus destructrices. Ensuite, des politiques dynamiques : elles sont générées selon la tâche et l’intention de l’utilisateur, et elles définissent un périmètre maximal d’action pour chaque opération.

Sur la plateforme Bedrock d’Amazon (AgentCore, pour le déploiement d’agents), une fonctionnalité existe depuis mars 2026 : Policy. Avant qu’un agent n’exécute un appel d’outil, une couche externe d’évaluation — en dehors du code de l’agent — intercepte la demande via l’AgentCore Gateway, puis la vérifie en quelques millisecondes. Les politiques sont écrites en Cedar, un langage d’autorisation open source imaginé par Amazon pour être à la fois exécutable par une machine… et lisible par un auditeur humain. Bref : on n’improvise pas “au feeling”.

Résultat : les équipes sécurité peuvent auditer les règles indépendamment du code applicatif, sans devoir comprendre en profondeur le fonctionnement interne de chaque agent. Et le point important, c’est que la politique s’applique quel que soit le modèle utilisé, quelle que soit la façon dont l’agent a été construit, et quelle que soit la manière dont on le sollicite — même en cas d’injection de prompt. Pas de passe-droit, pas de “ça marche tant que…”.

Suis-nous sur Google 

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *