Antonin — Seattle, juin deux mille vingt-six. Une enquête de GeekWire révèle qu'une IA écoute tous les appels médicaux du neuf-un-un de la ville. Depuis décembre deux mille vingt-trois. Sans que personne, à l'extérieur, ne soit au courant.

Sandrine — Dix-huit mois. Tous les appels. Et on l'apprend par un journaliste. C'est… un certain style de gouvernance.

Antonin — Le système s'appelle Corti, une start-up danoise. Il tourne sur chaque appel médical, et il suggère aux opérateurs de rediriger certains appelants vers une ligne d'infirmières. Basée au Texas.

Sandrine — Donc on appelle les pompiers à Seattle, et une intelligence artificielle propose, en temps réel, de vous renvoyer vers une infirmière à mille kilomètres de là. Au lieu d'envoyer l'ambulance.

Antonin — L'idée, sur le papier, n'est pas absurde. Désengorger les ambulances pour les vraies urgences vitales. Et selon les chiffres du Seattle Fire Department, les redirections vers cette ligne infirmière ont bondi d'environ trente-deux pour cent.

Sandrine — Trente-deux. Mais on est parti de cinquante. Le directeur médical avait annoncé cinquante pour cent dans un communiqué Corti en deux mille vingt-quatre. Le service a ensuite corrigé à trente-deux. Et personne, à l'extérieur, n'a pu vérifier ni l'un ni l'autre.

Antonin — À noter. Le chiffre vedette d'un déploiement IA en sécurité publique, divisé par deux entre le communiqué et la réalité. Sans audit indépendant.

Sandrine — C'est presque rassurant. Au moins ils se sont corrigés tout seuls.

Antonin — Sandrine, il faut expliquer le problème de procédure. Parce que ce n'est pas juste un détail bureaucratique.

Sandrine — Non, c'est le cœur de l'affaire. Seattle a une ordonnance, SMC quatorze-point-dix-huit, votée en deux mille dix-sept. Elle dit, en substance : avant de déployer une technologie qui observe, surveille ou collecte des données sur les gens, le service municipal doit passer devant le conseil municipal. Vote public. Évaluation. Débat.

Antonin — Et donc, pour Corti…

Sandrine — Rien. Pas de déclaration, pas de vote, pas de revue publique. La position des pompiers, c'est : Corti ne stocke pas l'audio, n'identifie pas les appelants, donc ce n'est pas de la surveillance.

Antonin — Ryan Calo, professeur de droit à l'Université de Washington, a une formule qui résume l'enjeu. Je cite : « Une personne qui est redirigée à tort en dehors de l'environnement neuf-un-un a le droit de savoir comment c'est arrivé. »

Sandrine — Et là on touche au vrai sujet. Le débat « est-ce de la surveillance ou pas » est un débat de juriste. La question concrète, c'est : si une IA influence la décision de vous envoyer une ambulance ou pas, et que la décision est mauvaise, est-ce qu'on peut remonter le fil ?

Antonin — Il y a un cas qui hante le dossier. Pamela Hogan, soixante-et-onze ans. Avril deux mille vingt-deux. Elle appelle le neuf-un-un pour des douleurs au genou. Redirigée vers la ligne infirmière. Plus de dix heures d'attente pour un rappel. Retrouvée morte chez elle.

Sandrine — Et c'est important de le préciser : son décès est antérieur de plus d'un an aux prompts Corti. La ligne infirmière, elle, existait déjà. L'IA n'a pas tué Pamela Hogan.

Antonin — Non. Mais elle illustre ce qui se joue quand on rate une redirection. Et ce qui se joue quand on augmente de plus de trente pour cent le volume de ces redirections, sans que le public ait pu en débattre.

Sandrine — L'estate poursuit la ville. La plainte a passé un premier cap procédural début deux mille vingt-six. Donc la question juridique de la responsabilité, elle est sur la table. Et maintenant on y ajoute une couche d'IA dont personne ne savait l'existence.

Antonin — Bon. Changement de décor. Haute-Garonne. Pompiers du SDIS trente-et-un. Mille appels par jour. Une à deux minutes par appel pour décider ce qu'on envoie.

Sandrine — Et c'est exactement la même pression qu'à Seattle. Centre d'appels saturé, opérateurs sous stress, décisions vitales en quelques secondes. Le problème est réel des deux côtés.

Antonin — Le projet s'appelle « Le Petit Camion ». Le nom vient d'un cas réel. Un appelant insiste : « Vous envoyez bien un petit camion, hein ? » L'opérateur, focalisé sur l'urgence, ne relève pas. Et les secours arrivent avec un gros camion. Dans une ruelle trop étroite.

Sandrine — L'IA, ici, c'est pour éviter que ce détail-là passe à la trappe.

Antonin — Voilà. Et c'est là que les deux histoires divergent complètement. Le Petit Camion ne décide pas à la place de l'opérateur. Il évalue la cohérence entre ce que dit l'appelant et ce que saisit l'opérateur. Il analyse l'état émotionnel, l'intelligibilité de la parole, l'environnement sonore. Cris, explosions, bruits de fond.

Sandrine — Il augmente la perception. Il ne remplace pas le jugement. C'est une distinction technique qui devient une distinction politique.

Antonin — Précisons le cadre. Financement Agence Nationale de la Recherche : sept cent vingt mille euros. Quarante-huit mois. Partenaires : IRIT à Toulouse, LIA à Avignon, INRIA, le SDIS trente-et-un, et la société AnthroPi.

Sandrine — Donc projet ouvert, déclaré, financé sur appel à projets public, documenté, évalué par des labos publics sur quatre ans. L'inverse exact de l'angle mort de Seattle.

Antonin — Et c'est là, Sandrine, qu'il faut faire attention à ne pas tomber dans le pamphlet. L'épisode n'est pas « la France vertueuse contre l'Amérique cow-boy ».

Sandrine — Non, surtout pas. La même technologie peut être déployée intelligemment ou pas, partout. La leçon n'est pas géographique. Elle est procédurale.

Antonin — Alors formulons-la proprement. Deux axes de contraste. Premier axe : où pointe-t-on l'IA ?

Sandrine — À Seattle, on la pointe sur la décision. Substituer une partie du triage. Indicateur de succès : combien d'appels on a réussi à dévier.

Antonin — À Toulouse, on la pointe sur la perception. Aider l'opérateur à mieux entendre. L'autonomie du jugement humain est explicitement préservée. C'est même écrit dans les objectifs du projet.

Sandrine — Deuxième axe : comment ? Seattle, déploiement opérationnel secret pendant dix-huit mois. Toulouse, recherche publique évaluée sur quarante-huit mois.

Antonin — Et l'angle, c'est que ces deux choix ne sont pas indépendants. Une IA qui décide à la place de l'humain demande infiniment plus de garde-fous qu'une IA qui assiste sa perception. Donc déployer la première dans l'angle mort, c'est cumuler les deux mauvais choix en même temps.

Sandrine — Et il y a un sujet plus profond, qui devrait inquiéter tout dirigeant. L'ordonnance de Seattle a été écrite en deux mille dix-sept. Elle parle de surveillance. Reconnaissance faciale, caméras, capteurs. Elle ne sait pas qualifier une IA d'aide à la décision qui écoute en temps réel et influe sur un triage vital.

Antonin — Le cadre de contrôle n'a pas suivi la technologie.

Sandrine — Et ce retard institutionnel, c'est le vrai risque. Pas la technologie en soi. Le fait qu'on ait des outils qui pèsent sur des décisions de vie ou de mort, et des règles écrites pour un autre monde.

Antonin — Ce qui amène à la question de fond pour les dirigeants qui nous écoutent. Avant d'introduire de l'IA sur un processus critique, deux questions.

Sandrine — Une : est-ce qu'elle augmente le jugement humain, ou est-ce qu'elle tend à le remplacer sur la décision critique ? Deux : est-ce qu'on opère dans un cadre déclaré, évalué, auditable — ou dans un angle mort ?

Antonin — Et l'échafaudage qu'on trouve ennuyeux — la déclaration, le vote, l'audit, l'évaluation par les pairs — ce n'est pas de la paperasse. C'est précisément ce qui sépare le progrès de l'imprudence.

Sandrine — La question finale, celle qu'il faut poser à toute IA qui touche à la vie ou à la mort : qui est responsable quand elle se trompe, et est-ce que le public peut effectivement voir comment l'erreur s'est produite ?

Antonin — À Seattle, pendant dix-huit mois, la réponse aux deux questions a été : on ne sait pas. À Toulouse, on essaie de construire les réponses avant de déployer.

Sandrine — C'est tout l'écart.

Antonin — Bilan : le problème de fond est réel, l'IA peut aider, mais c'est la procédure qui décide si elle aide ou si elle nuit. Merci Sandrine.

Sandrine — Merci Antonin.