Risque algorithmique : comment gérer ce nouveau risque à l’ère de l’intelligence artificielle ?

2 décembre 2019

Isarta a interrogé Michael Albo, le co-fondateur de la firme experte en science des données Data Science Institute, à propos de la notion émergente de risque algorithmique. Entrevue.

Peut-on déjà expliquer ce qu’est le risque algorithmique ?

Michael Albo : C’est en fait le risque de ne plus être capable de comprendre comment la machine a pris sa décision, ce qui peut avoir des conséquences réputationnelles ou financières.

Si l’on regarde l’évolution de l’intelligence artificielle (IA) et de l’apprentissage machine sur ces cinquante dernières années, on voit que l’on s’oriente de plus en plus vers des modèles précis. On passe d’algorithmes qui sont extrêmement interprétables et simples à comprendre (à base de régressions linéaires ou d’arbres de décision) à des algorithmes nettement plus précis mais moins interprétables.

En effet, plus on a de la puissance de calcul, plus on va vers des algorithmes complexes à interpréter pour des humains. Ça veut dire qu’on est en train de perdre le contrôle de ce que font ces modèles.

Il y a donc une question d’arbitrage : vaut-il mieux un modèle qui a 85 % de précision mais qui reste interprétable, que je comprends, ou un autre qui offre une précision de 95 % mais non interprétable ? C’est toute la question de l’équilibre entre interprétabilité et précision. Si je te dis par exemple, ce pont, il tient, mais je ne sais pas pourquoi. Est-ce que tu vas vouloir rouler dessus ?

Ce risque existe-t-il déjà ?

M. A. : Bien sûr. En voici trois exemples concrets :

• En octobre 2018, Amazon a dû débrancher son outil de recrutement IA car son algorithme dépriorisait les candidatures des femmes ! Pourquoi ? Car la culture d’Amazon en soi est assez virile et l’algorithme s’est rendu compte que, au niveau de l’analyse des performances, être un homme était une variable qui renforçait la performance des candidats. Le problème, c’est que ce n’est pas l’algorithme qui a tort : il s’est basé sur des faits. Il n’est pas moral mais est performant car il fait exactement ce qu’on lui a demandé de faire. Il a pris les candidats qui avaient le plus de chances de réussir au sein d’Amazon, d’après ses données !

 

• Autre exemple de risque algorithmique. En 2017, au moment des attentats à Londres, le prix des courses Uber s’est envolé. Les gens qui essayaient de fuir la zone des attentats se voyaient proposer pratiquement dix fois la valeur de la course normale. Cela a fait un scandale : tout le monde a accusé Uber de vouloir profiter de la situation. Sauf que Uber n’a rien fait, c’est son algorithme ! Ce dernier voyait qu’il y avait énormément de demandes à un point et il a essayé de déterminer une valeur de marché, c’est-à-dire le prix jusqu’où les gens étaient prêts à payer pour fuir. Le problème ici, c’est qu’on a oublié de mettre des bornes, jusqu’où on permet à l’algorithme d’optimiser le prix des courses. On voit bien le risque de réputation qui mène au risque financier.

 

• Dernier exemple avec Facebook. Que font les algorithmes qui revendent l’audience des profils Facebook à des annonceurs ? Ils vont analyser les profils du réseau social et les regrouper selon un ensemble de variables, pour former des groupes aux comportements homogènes. Ce qui intéressent évidemment les annonceurs. Sauf qu’un algorithme ne sait pas ce qu’il trouve. Il a ainsi identifié des gens qui n’aimaient pas les juifs. Et il s’est mis à vendre ce type d’audience ! Et qui a acheté ? Des gens d’extrême droite qui cherchaient à recruter pour des manifestations par exemple. Facebook s’est donc rendu compte que l’algorithme faisait de l’argent avec cela. C’est un autre cas de risque algorithmique : quand l’algorithme marche trop bien et qu’on ne prévoit pas tout ce qui est possible de faire avec.

Ce n’est donc pas de la science fiction, on est sur des cas bien réels. On peut aussi penser à des risques algorithmiques basées sur des données biaisées à l’origine. Exemple : un algorithme que l’on va entraîner à apprendre à diagnostiquer des pathologies de maladie. Si on se base sur un échantillon de la population du Canada, l’algorithme va faire de la médecine de Blancs car les Canadiens sont majoritairement des descendants d’Européens blancs. Sauf que si on a une composante ethnique sur certaines maladies, comme la sarcoïdose, un asiatique par exemple peut être défavorisé par le modèle.

Ce type de cas où l’humain est dépassé par la machine n’est-il cependant pas l’affaire juste de grandes entreprises ?

M. A. : Non. On peut prendre le cas d’un assureur qui fait de la tarification personnalisée, ou d’une banque qui fait du crédit hypothécaire, en utilisant des algorithmes. Ces entreprises vont prendre plein de variables… mais il est possible que l’on se rende compte que ton algorithme va décider de ne pas accorder de prêt hypothécaire parce que la personne en question est une femme née en Algérie et que son code postal est à tel endroit sur l’île de Montréal.

Ce sont les critères qu’a choisi l’algorithme car il a peut-être appris que cette combinaison présente un risque, car elle a généré des défauts dans le passé. Tu vois le problème : il est évidemment difficile de justifier ce refus sur ces critères.

 

Selon toi, les entreprises ont-elles conscience de ce risque ?

M. A. : C’est un sujet émergent et les entreprises ne s’en rendent pas encore vraiment compte, en effet. En fait, elles essaient déjà de vérifier qu’elles arrivent à mettre en place des solutions basées sur de l’IA.

Mais c’est un sujet qui va être de plus en plus important, d’autant qu’on parle de plus en plus d’auto ML. Autrement dit, des algorithmes qui apprennent à apprendre tout seul. Jusqu’à présent, tu avais des scientifiques de données qui fabriquaient les modèles. Il y avait donc des humains pour entrainer l’algorithme. Mais avec l’auto ML, c’est l’IA qui code elle même  l’algorithme. Avec le risque pour les scientifiques de données de ne plus savoir ce qu’ils ont créé.

Petite précision d’ailleurs sur les termes algorithme et modèle. L’algorithme, c’est ce qui produit le modèle. Et le modèle, c’est ce qu’on va utiliser concrètement. On parle par exemple d’un modèle de tarification. C’est le résultat du processus d’apprentissage effectué par l’algorithme.

 

Quelles sont alors les solutions pour augmenter la transparence de ces boîtes noires que sont ces algorithmes ?

M. A. : De nouveaux métiers vont tout simplement apparaître et vont devoir être formé : des spécialistes de l’audit algorithmique. Des personnes capables d’auditer et d’interpréter les résultats d’un modèle et de dire s’il est conforme, pas juste qu’il fait gagner des dollars, mais aussi s’il ne présente pas de risque réglementaire ou de réputation pour l’entreprise. C’est un métier qui va prendre de plus en plus de place.

Les auditeurs, en soi, existent déjà. Regardons les états financiers d’une compagnie. C’est un algorithme déterministe : tu lui fournis des données en entrée et il va te fournir une analyse en sortie. C’est facile à auditer car la même donnée en entrée va toujours te fournir le même résultat en sortie. Sauf que c’est différent avec un algorithme apprenant : chaque fois que tu vas le réentraîner, il va changer. Le comportement de l’algorithme évolue dans le temps en fonction des données fournies.

Il faut donc passer d’un audit ponctuel à un audit en continu. Et se doter d’outils en conséquence qui vont superviser ces modèles.

Avez-vous des demandes pour ce type de prestation ?

M. A. : On n’a pas vraiment de demande en ce sens, c’est un sujet émergent. On est encore dans la phase d’explication du pourquoi c’est important de prendre ce risque en considération. Et pourquoi les auditeurs internes doivent se former.

Nous, on conçoit des modèles et on offre cette prestation d’audit algorithmique. On travaille aussi à former les futurs spécialistes au sein des entreprises. Car il faut bien voir que le travail n’est pas fini quand l’algorithme est mis en production. C’est justement là où les choses sérieuses commencent ! Car le modèle, il est vivant.

Souvent les entreprises ne budgétent pas d’effort une fois que le modèle est mis en production. C’est une erreur. Aujourd’hui, on comprend qu’il faut une gouvernance des données. Peut-être que dans quelques années, on comprendra qu’il faut aussi une gouvernance des algorithmes.

Après, cela dépend aussi bien entendu de la place de l’algorithme dans l’organisation et son modèle d’affaires.

Comment et qui forme-t-on justement à l’audit algorithmique ?

M. A. : On peut former soit ceux qui codent les modèles, les scientifiques de données. On va travailler avec eux sur des librairies d’audit algorithmique. On va les aider à utiliser des algorithmes… qui vont analyser d’autres algorithmes !

Mais nous, on pense que ce qui serait nécessaire, c’est de former les auditeurs eux-mêmes, ceux qui gèrent le contrôle interne ou la conformité. Alors, certes, on les trouve plutôt dans les grandes entreprises ou les entreprises financières qui ont une culture du risque et de la conformité. Mais on se dit que tu ne peux pas être le contrôleur, celui qui fait le modèle et le contrôlé.

Il faut bien comprendre que c’est un rôle important car il a une responsabilité pour protéger différentes personnes de l’entreprise des risques algorithmiques :

• les dirigeants, pour éviter d’engager leur responsabilité
• les actionnaires, pour garantir les actifs de la compagnie
• les employés, pour sécuriser l’usage de l’IA au niveau des opérations
• Et les clients, pour éviter un mauvais usage des données