“Nos systèmes vont bientôt décider plus vite que nos opérateurs. Qui gardera la main ?”
Prévision de pannes, détection d'anomalies, aide à la décision, agents qui enchaînent des actions : l'IA entre dans les salles de contrôle, les ateliers et les cabines.
Dans ces métiers, une IA qui se trompe sans que personne s'en aperçoive coûte cher. Reste à concevoir comment l'opérateur la comprend, la corrige et l'arrête.
Plus on automatise, plus le rôle de l'opérateur devient difficile.
C'est l'ironie de l'automatisation, décrite dès 1983 par Lisanne Bainbridge : la machine prend les tâches simples, et l'humain ne garde que les situations les plus délicates, avec moins d'entraînement pour y faire face.
L'IA accentue ce paradoxe. Elle traite le cas courant et laisse à l'opérateur les cas inhabituels, souvent au moment où il s'y attend le moins.
Source : Lisanne Bainbridge, « Ironies of Automation », Automatica, 1983.
La question n'est pas ce que l'IA sait faire. C'est ce que l'opérateur peut encore faire quand elle se trompe.
Une recommandation qu’on ne comprend pas finit par être suivie sans vérification.
Face à un système qui a souvent raison, l'opérateur finit par suivre ses recommandations sans les vérifier : c'est le biais d'automatisation. L'AI Act le nomme et demande que les personnes chargées du contrôle restent conscientes de ce risque.
La réponse est dans l'interface : montrer sur quoi repose une recommandation, son degré de confiance, ce qui la distingue de la situation habituelle.
Source : AI Act, article 14 (service desk de la Commission européenne).
Un opérateur qui comprend le raisonnement de la machine peut la contredire à bon escient.
Corriger, reprendre la main, arrêter : ces gestes se conçoivent.
Quand l'IA agit, l'opérateur doit pouvoir passer outre une décision, reprendre une tâche à la main ou tout arrêter, vite et sans ambiguïté. Ces gestes ne s'improvisent pas en situation dégradée.
Pour chaque tâche, nous décidons avec vos opérateurs ce que le système fait seul, ce qu'il propose et que l'opérateur valide, et ce qui reste entre ses mains. Puis nous concevons les commandes qui rendent ce partage visible et réversible.
C'est notre métier depuis plus de vingt ans : la supervision d'automatismes, de la salle de contrôle à l'IHM embarquée.
Le contrôle humain devient une obligation.
Trois textes européens arrivent presque en même temps. Le règlement Machines, applicable le 20 janvier 2027, exige une interface adaptée aux opérateurs et, pour les machines qui évoluent seules, qu'elles communiquent les actions qu'elles prévoient.
L'AI Act impose aux systèmes à haut risque des « outils d'interface homme-machine appropriés » : à partir du 2 décembre 2027 pour ceux de l'annexe III, du 2 août 2028 pour ceux intégrés à des produits réglementés. Le Cyber Resilience Act, qui encadre la cybersécurité des produits connectés, s'appliquera pleinement le 11 décembre 2027.
Sources : INRS, nouveau règlement Machines ; règlement (UE) 2026/1744 ; règlement (UE) 2024/2847, Cyber Resilience Act.
Pour un industriel, le contrôle humain n'est plus une bonne pratique. C'est une exigence de conception, qui se prépare dès maintenant.
Un programme long, un regard qui revient.
Dans l'industrie, ces interfaces se construisent au rythme des programmes et des bureaux d'études, sur des mois, avec des jalons de validation.
Plutôt qu'une mission ponctuelle, un expert senior attitré revient à chaque jalon : il observe les opérateurs, prototype les interfaces de contrôle, les fait tester et les évalue au regard des textes.
Un bloc d'une semaine, facturé une fois réalisé, s'insère dans le rythme du programme.
Des interfaces où l'opérateur garde la main.
- Un premier bloc semaine : vos opérateurs observés le lundi ; vendredi, la carte « Qui garde la main ? » et un premier prototype des écrans de contrôle, testé avec eux.
- Puis, à chaque jalon du programme, des interfaces de contrôle prototypées, testées et évaluées au regard des textes.
Nous concevons et prototypons les interfaces de supervision de l'IA : comprendre ce que fait le système, valider, corriger, reprendre la main, arrêter. Pour la mise en production, nous travaillons avec votre bureau d'études ou nos développeurs partenaires.
Vous payez les semaines qui comptent, sans engagement de durée.
Un premier bloc pour savoir sur quoi vos opérateurs doivent garder la main.
On observe.
Vos opérateurs au travail, en situation normale et dégradée. On choisit les tâches où l'IA intervient.
On répartit et on prototype.
Pour chaque tâche : ce que le système fait seul, ce qu'il propose, ce qui reste à l'opérateur. Puis un prototype des écrans de contrôle, testé dès le mercredi.
On évalue.
La carte « Qui garde la main ? », le prototype, et une première lecture au regard de l'AI Act et du règlement Machines.
Trois projets où l'opérateur reste aux commandes.
THALES / TopSky Flow Manager
une IA prédictive au service de la décision
Prévisions et scénarios intégrés au travail de décision des gestionnaires du trafic aérien, avec une exigence forte de compréhension et de maîtrise.
SUEZ / Suite Aquadvanced
un langage commun pour six applications de supervision
Un design system partagé par les applications métier de la suite de supervision du cycle de l'eau, pour des contextes d'exploitation exigeants.
AMCS Technologies / Pilotage de grue
augmenter la perception dans un contexte critique
Anti-collision, caméras unifiées et zones sensibles enrichies à l'écran répondent à un besoin concret : soutenir la perception des grutiers et réduire leur charge mentale dans un contexte de sécurité critique.
Ces projets attestent notre expérience des interfaces de supervision et des contextes critiques. Nous en avons assuré la conception ; le développement a été mené par les équipes de nos clients ou leurs prestataires.
— Un format simple, au bloc
Et si, vendredi, vous saviez sur quoi vos opérateurs doivent garder la main ?
Vous payez les semaines qui comptent. Rien d'autre.
Arrêtez ou adaptez le rythme des interventions à tout moment.
Un bloc semaine
Lundi → vendredi
un cadre, un livrable
- Une semaine de travail expert dédiée
- Cadrage le lundi, livrable le vendredi
- Sans engagement de durée · au bloc réalisé
Vous vous posez peut-être ces questions ?
Notre système relève-t-il du haut risque au sens de l’AI Act ?
Cela dépend de l'usage. Un composant de sécurité d'une machine, d'un dispositif médical ou d'une infrastructure critique (distribution d'eau, de gaz, d'électricité) peut l'être. Nous vous aidons à situer chaque fonction d'IA de votre système ; cette lecture ne remplace pas l'avis de votre juriste.
Que livrez-vous concrètement ?
La carte « Qui garde la main ? » de vos tâches, des prototypes codés des interfaces de contrôle, les résultats des tests avec vos opérateurs et une grille d'évaluation au regard des textes.
Travaillez-vous avec notre bureau d'études ?
Oui. Nous nous calons sur ses jalons et ses outils, et nous livrons des spécifications et des composants que ses équipes peuvent reprendre. Pour la mise en production, nous travaillons avec lui ou avec nos développeurs partenaires.
Connaissez-vous les environnements critiques ?
Depuis 2002 : gestion du trafic aérien, supervision de l'eau et de l'énergie, cabine de train, IHM embarquées, dispositifs médicaux. Nos projets publiés en donnent des exemples.
Sommes-nous engagés sur plusieurs mois ?
Non. Vous pouvez commencer par un premier bloc semaine, puis poursuivre, faire une pause ou arrêter à tout moment. Chaque bloc est facturé lorsqu'il est réalisé.
Peut-on commencer par un seul bloc ?
Oui. Un premier bloc d'une semaine suffit pour décider de la suite. Pour étendre le prototype à l'ensemble des tâches concernées, comptez en général un ou deux blocs de plus. Chacun est facturé une fois réalisé, sans engagement sur les suivants.