Éthique et biais

Éthique et biais, c’est bâtir un service qui traite les gens équitablement et qui demeure responsable des décisions qu’il prend, surtout quand ces décisions sont automatisées ou font appel à l’IA. Le biais est un problème de conception avant d’être un problème de technologie : n’importe quel service peut avantager certaines personnes et en exclure d’autres sans que personne ne le remarque. Quand un service automatise ou appuie une décision au sujet d’une personne, le gouvernement du Canada exige qu’il soit transparent, responsable et équitable, et qu’on en évalue l’incidence avant sa mise en exploitation. Les décisions qui façonnent cela se prennent tôt et se réexaminent à mesure que le service apprend.

LE CŒUR DE L’ÉTHIQUE ET DES BIAIS

À quoi ressemble la réussite

Avant le lancement, on vérifie qui le service touche différemment et qui risque d’être laissé de côté, au moyen de l’ACS Plus.
Si le service automatise ou appuie une décision au sujet d’une personne, une évaluation de l’incidence algorithmique est réalisée avant le lancement, publiée, et refaite quand le système change.
La surveillance, les essais et l’examen correspondent au niveau d’incidence de la décision : plus l’incidence est grande, plus les exigences sont élevées.
Les données et les résultats sont mis à l’essai pour détecter les biais, avant le lancement et pendant l’exploitation du service.
Une personne peut obtenir une véritable solution de rechange humaine à une décision automatisée, et peut contester la décision ou en appeler.
Les gens sont informés lorsqu’une décision est automatisée, et peuvent obtenir une explication claire de la façon dont elle a été prise.
Une personne désignée demeure responsable des décisions; jamais le système.
Toute utilisation d’IA générative suit les principes « PRETES » : pertinente, responsable, équitable, transparente, éclairée, sécurisée.

Pourquoi cela compte

Les décisions automatisées peuvent refuser une prestation, signaler une personne ou classer une demande, et quand le système est biaisé ou inexpliqué, de vraies personnes subissent un préjudice qui se répète à grande échelle. La confiance envers le service, et l’équité élémentaire due dans toute décision gouvernementale, sont en jeu. C’est aussi une obligation légale : la Directive sur la prise de décisions automatisée rend obligatoires, pour les décisions automatisées fédérales, l’évaluation de l’incidence, l’avis, l’explication, les tests de biais, la supervision humaine et les recours, et l’ACS Plus est exigée dans les présentations au Conseil du Trésor. Un piège mérite d’être nommé : des « données représentatives » ne règlent pas tout, parce que les systèmes jugent quand même mal les personnes éloignées de la moyenne : les tests et le jugement humain restent donc nécessaires.

C’est déjà arrivé, à grande échelle

Des décisions automatisées ont très mal tourné ailleurs. En Australie, le programme Robodebt a utilisé une méthode automatisée grossière pour dire à tort à environ 381 000 personnes qu’elles devaient de l’argent qu’elles ne devaient pas, dont quelque 746 millions de dollars australiens, et l’affaire s’est terminée par une commission royale d’enquête. Aux Pays-Bas, un algorithme de détection de la fraude a accusé à tort environ 26 000 familles de fraude aux allocations de garde d’enfants, a traité la double nationalité comme un facteur de risque et a contribué à faire tomber le gouvernement. Le Canada n’a pas connu d’échec de cette ampleur, et la Directive sur la prise de décisions automatisée ainsi que son évaluation de l’incidence existent pour que cela reste le cas. Le biais se mesure aussi : une étude du NIST a constaté que des systèmes de reconnaissance faciale identifiaient mal les visages asiatiques et noirs de 10 à 100 fois plus souvent que les visages blancs.

À qui revient ce travail

Le fil Éthique et biais est partagé au sein de l’équipe, chaque rôle en portant une partie différente :

Scientifiques des données et développeurs bâtissent et mettent à l’essai le système, et vérifient les données et les résultats pour détecter les biais.
Les équipes des données, de la protection de la vie privée et des services juridiques du ministère conseillent dès l’étape du concept, mènent l’examen par les pairs et aident à l’évaluation de l’incidence et à l’ACS Plus.
Le responsable opérationnel de l’application veille à ce que les évaluations soient faites, à ce que la supervision humaine et les recours existent, et répond de décisions équitables et licites.

Un regard de plus près

Comparaison

Deux façons d’automatiser une décision

Pax

Voici Pax, agent de prestations. L’équipe exploite un service qui trie les demandes de prestations et a traité la notation automatique comme une décision au sujet de personnes :

mené une ACS Plus et une évaluation de l’incidence algorithmique avant de bâtir, et l’a publiée
gardé l’IA au rang de recommandation, une personne tranchant au final
mis les résultats à l’essai pour détecter les biais auprès de différents groupes, avant le lancement et pendant l’exploitation
dit aux demandeurs qu’un outil était utilisé, donné une explication claire et offert un appel à une personne

Résultat : des décisions que les gens pouvaient comprendre et contester, moins de biais, et un système qui résiste à l’examen.

À quoi ressemble le fil Éthique et biais à chaque phase

Le travail d’équité change de forme au fil de la vie d’un service.

Le travail d’équité est le moins coûteux et le plus efficace avant le lancement. L’équipe mène une ACS Plus pour voir qui le service touche différemment et, s’il automatise une décision, remplit une évaluation de l’incidence algorithmique pour établir le niveau d’incidence et les mesures de protection. La supervision humaine, une explication claire et un moyen d’en appeler sont prévus dès la conception, et les données et les résultats sont mis à l’essai pour détecter les biais avant toute mise en exploitation.

Les instruments officiels derrière éthique et biais

Tout ce que ce sujet apporte d’officiel, et à quel moment de la vie d’un service chaque élément survient. Le détail complet, y compris qui fait le travail et ce que le responsable opérationnel fait personnellement, se trouve dans le tableau de la page d’accueil.

Évaluation de l’incidence algorithmique (ÉIA)Only ifsourceÉvaluation
Un questionnaire coté sur l’ampleur de l’incidence qu’une décision automatisée pourrait avoir sur les droits, la santé ou les intérêts économiques d’une personne, ou sur la durabilité continue d’un écosystème. La cote fixe ce que le service doit ensuite en matière d’explication, d’intervention humaine, de mise à l’essai et de recours.
- AlphaVérifier
- BêtaRemplirSoumettre
- CroissanceTenir à jour
- MaturitéTenir à jour

Pour aller plus loin

Au-delà de la Directive contraignante, de l’évaluation de l’incidence algorithmique et de l’ACS Plus déjà liées ci-dessus, quelques sources vont plus loin. Les douze principes directeurs pour l’utilisation de l’IA au gouvernement énoncent les attentes en matière d’ouverture et de responsabilité, et les principes du Commissariat à la protection de la vie privée y ajoutent l’angle de la vie privée et de l’équité. Pour un énoncé clair des valeurs éthiques que votre service devrait respecter, la Déclaration de Montréal pour un développement responsable de l’IA, faite au Canada, donne dix principes auxquels confronter une conception, et les travaux « IA et société » du CIFAR, menés dans le cadre de la Stratégie pancanadienne en matière d’IA, rassemblent la recherche canadienne sur les effets de l’IA sur les personnes. Quand vous voulez une idée concrète de la façon de vérifier un système plutôt que des principes seulement, le guide Introduction to AI assurance du gouvernement du Royaume-Uni parcourt les techniques que les équipes emploient pour vérifier qu’un système d’IA est équitable et fonctionne comme prévu. Pour la façon dont d’autres endroits abordent la question, le AI Risk Management Framework du NIST aux États-Unis et le règlement européen sur l’IA sont d’utiles compléments.

Voir aussi

Les hypothèses de cette page

Vous travaillez déjà selon les Normes relatives au numérique du gouvernement du Canada : concevoir avec les utilisateurs, itérer et améliorer fréquemment, travailler ouvertement, utiliser des normes et des solutions ouvertes, gérer les risques en matière de sécurité et de protection des renseignements personnels, intégrer l’accessibilité dès le début, permettre au personnel d’offrir de meilleurs services, être de bons gestionnaires de données, concevoir des services éthiques et collaborer largement, ainsi que selon la loi en matière de protection des renseignements personnels, de sécurité, de langues officielles et d’accessibilité. Les normes précisent comment le gouvernement travaille dans le monde numérique. Les six compétences numériques du gouvernement du Canada précisent ce que chaque fonctionnaire doit être capable de faire pour travailler ainsi, et la page sur l’équipe les présente. Le présent guide s’appuie sur elles.