Être sous surveillance algorithmique, certains en parlent d’autres en sont les acteurs

On demande aux logiciels de prendre de plus en plus de décisions importantes, alors même que les évaluations de leurs performances sont troublantes. Les dangers de laisser les décisions importantes aux algorithmes informatiques sont assez faciles à imaginer...

Les algorithmes remplacent les humains lorsqu’il s’agit de prendre des décisions difficiles que les entreprises voire des agences gouvernementales préfèrent dire qu’elles reposent sur des statistiques et des formules plutôt que sur la réflexion de cerveau humain. L’histoire ci-dessous montre les nombreuses limites de tout confier à des algorithmes.

Une entreprise chinoise a commencé à introduire un système de gestion des employés entièrement intelligent avec plus de 20 caméras dans tout l’atelier, un système OA qui enregistre toutes les informations des collaborateurs et un système de présence électronique à l’entrée de l’atelier. La caméra enregistre l’état du travail de tous les employés de l’atelier et surveille leur efficacité au travail. Par exemple, chaque composant a un temps de traitement prescrit et le système reconnaîtra les actions de chacun via la caméra.

Dans le passé, la personne responsable des employés dans cette entreprise s’occupait toujours des employés qui avaient des problèmes urgents chez eux, comme ne pas passer par le processus de l’entreprise  pour leur accorder un congé d’une demi-journée pour les empêcher d’épuiser le quota de congés. Il permettait aussi de donner aux collaborateurs les plus performants des performances supplémentaires pour les encourager à l’innovation dans la chaîne de montage mais aussi et surtout pour gagner le cœur des gens…

Un ouvrier a mis plus de temps pour aller aux toilettes au-delà du temps prescrit. Les exigences pour aller aux toilettes sont si précises ? Oui, c’est le plus sombre de l’histoire. Le système a déduit 50 RMB du salaire à la fin du mois. Le travailleur a déposé une plainte et le responsable de l’atelier a appelé le département des ressources humaines pour le signaler, recevant une réponse froide en une phrase : le dépassement du délai prévu dépasse la limite et le règlement doit être respecté. Cet incident s’est rapidement répandu dans tout l’atelier et a montré que le responsable de l’atelier n’avait plus la main !

Cette histoire vraie montre que la technologie sans frein dans des cultures différentes va créer des situations éprouvantes pour les hommes et femmes d’un pays. La Chine est passionnante, mais force est de constater que depuis toujours sa vision n’est pas la même que la plupart des nations, en tout cas à ce stade… La technologie actuelle permet en Chine de n’avoir aucune confidentialité après notre entrée dans une entreprise.

Certains chercheurs en Chine pensent que si les employés sont autorisés à faire des entrées simples (à l’algorithme), similaires à des réglages de paramètres, ils auront le sentiment d’être impliqués dans le processus de prise de décision, ce qui réduira leur sentiment d’aliénation envers l’algorithme, et ils le feront s’ils ne se sentent pas complètement contrôlés par l’algorithme.

À l’heure actuelle, les chercheurs étudient comment utiliser l’intelligence artificielle pour détecter le cancer de la peau, les crises cardiaques, les maladies oculaires, pour les radios… Mais en 2016, l’Arkansas s’est tourné vers un outil algorithmique pour gérer les prestations de santé des personnes bénéficiant d’un programme d’invalidité de l’État qui a fourni une assistance à certains de ses résidents les plus nécessiteux. Il reposait sur une enquête qui posait des questions aux bénéficiaires sur leurs capacités et leurs problèmes de santé. Après avoir collecté les informations, l’algorithme calculait le nombre d’heures que la personne recevrait. De nombreuses personnes participant au programme ont immédiatement vu leurs heures de soins considérablement réduites et, il s’avère que dans plusieurs cas, cela a été fait par erreur.

Les universités les utilisent pour décider des candidats à admettre, les prototypes de voitures autonomes les utilisent pour évaluer comment minimiser les dommages lors d’un accident de la route et dans beaucoup d’autres cas. Un algorithme a besoin des données et des principes qui l’entraînent, même si elles sont excellentes, c’est bien une ou plusieurs personnes qui sont en grande partie responsables de ce qui les alimente.

Chaque année, il y a une myriade de nouveaux exemples d’algorithmes qui ont été créés dans un but cynique, la liste dans la source Source et suite