825 millions d'euros : la facture d'un système qui décidait seul, chez Uber

L'autorité néerlandaise de protection de la vie privée a infligé à Uber une amende de 824,99 millions d'euros. Entre 2018 et 2022, ses systèmes suspendaient ou désactivaient des comptes de chauffeurs dès qu'une fraude ou une note trop basse était détectée, sans véritable intervention humaine. 171 chauffeurs français ont porté plainte, révélant une pratique interdite par l'article 22 du RGPD.

Une dette qui ne se voit pas sur le tableau de bord

Uber n'a pas économisé en supprimant le contrôle humain, elle a différé une dépense. Pendant quatre ans, le système a fonctionné sans coût apparent. Puis la facture est arrivée, multipliée par le nombre d'années d'exposition. C'est le principe même d'une dette : elle ne pèse sur aucun compte de résultat tant qu'elle n'est pas appelée.

Chaque automatisation qui décide sans supervision fonctionne sur le même mécanisme. Le gain de productivité est immédiat et visible. Le risque, lui, reste invisible jusqu'au jour où un client, un salarié ou un régulateur en fait la preuve.

Vos automatisations ne sont pas à l'abri de ce raisonnement

Uber traitait des comptes de chauffeurs. Vous traitez peut-être des candidatures, des évaluations de performance ou des relances commerciales automatiques. Le principe posé par l'AP est identique dans tous les cas : une décision qui affecte significativement une personne ne peut pas reposer uniquement sur un traitement automatisé.

La vice-présidente de l'AP, Monique Verdier, l'a formulé sans détour : un ordinateur ne doit pas prendre seul des décisions à conséquences majeures. Uber avait ajouté des notes ponctuelles dans certains dossiers, mais sans analyse réelle. Le régulateur n'a pas été convaincu par cette apparence de contrôle.

• Un système qui exclut, suspend ou rejette automatiquement une personne engage votre responsabilité, pas seulement celle du prestataire technique.
• Une supervision formelle, sans analyse effective, ne protège pas juridiquement l'entreprise.
• L'absence d'information des personnes concernées sur le fonctionnement de l'algorithme est elle-même une faute reprochée à Uber.

Concevoir un système automatisé qui sait dire non, plutôt qu'un système qui décide seul, est précisément ce que nous détaillons dans Superviser un système IA : concevoir des capteurs qui savent dire non.