Qu’est-ce qu’un algorithme juste ? Celui qui rend compte de ses effets

16318918399_ae6b70149a_bDepuis pas mal d’année de nombreux universitaires ( les politiques sont bien moins nombreux) s’inquiètent du caractère obscur, caché voir même ésotérique des algorithmes dont le fonctionnement peut même à l’insu de leur concepteurs, produire des effets inattendus et indésirables sur les populations. C’est ce qu’on appelle gouvernementalité.

Un bon exemple de ce type d’effet, que l’on désigne par la notion de performativité algorithmique, est donnée par l’étude de Edelman et Lucas (2015) sur les prix de AirBnB à New York, ils observent qu’une différence de 22$ existe entre les logements proposés par les blancs et les noirs. Ceci résulte principalement d’un mécanisme de réputation : l’exposition de la photo de l’hôte et produit un effet discriminatoire qui tout à la fois reflète et augmente la ségrégation spatiale et raciale. Ici l’algorithme est simplissime, il réside simplement dans le protocole de production d’une page d’offre et accorde au visage un poids déterminant dans l’expression des préférences.

De manière plus générale le phénomène est abordée sous le terme de  politique algorithmique. On pourra lire à ce propos les travaux d ‘Antoinette Rouvroy et mieux encore le livre de Frank Pascale. En contre partie se développe de plus en plus l’idée d’une redevabilité ( accountability) algorithmique.  Si les algorithmes transmettent insidieusement une politique explicite ou implicite, souhaitée ou induite, il devient nécessaire qu’ils doivent rendre compte des effets de leurs actions.

Une exigence politique croissante est que donc les plateforme doivent rendre compte des méthodes qu’elles emploient et de leurs effets sur la société sans plus se cacher derrière la notion de confidentialité des procédés. C’est moins une question de droit que de politique, car c’est le politique qui aménage le droit. On notera au passage que cette exigence est d’autant plus naturelle que les algorithmes sont le plus souvent empruntés au domaine public comme le furent le PageRank de google ou les méthode de filtrage collaboratif d’Amazon. Mais ce n’est pas le problème principal. Par redevabilité on entend le fait que les effets de ces algorithmes doivent être considérés comme n’importe quelles externalités, et être reportés dans les rapports d’activités comme les effets environnementaux et sociaux parfois le sont.

L’objet de notre note ce sera pas cependant de débattre de ces notions et de leurs conséquences, mais plutôt de montrer de manière assez concrète, même si le lecteur va vite s’apercevoir du degré élevé d’abstraction requis pour pénétrer dans ce qui fait nos algorithme ordinaires, comment les algorithmes nous échappent.

Le hasard de mes lectures m’a conduit vers un papier passionnant de Cynthia Dwork et ses collègues – Fairness through Awareness, qui est un spécimen remarquable de ce qui devient une littérature riche à la frontière des mathématiques, de l’informatique et du machine learning. Il s’intéresse à formaliser le caractère juste d’un algorithmique, et notamment de ce qui attribue aux Etats-Unis des places aux étudiants dans le cadre de politiques pro-minorité, et donne une foule d’exemples qui concernent le marketeur.

Prenons le cas des algorithme de scoring, très  courants dans le domaine bancaire pour attribuer ou non un crédit à la consommation. Ces algorithme s’appuient sur ce que les spécialistes du machine learning appelle un classificateur, autrement dit une équation dont la forme très général est la suivante : S=f(X,theta). S est le score calculé, c’est mieux quand il s’exprime sous la forme d’une probabilité (celle de ne pas rembourser le prêt, donc le risque. X est un vecteur de variable X&, X2, X3 etc qui décrit ce que l’on sait sur l’individu : son age, son revenu, et pourquoi pas ses amis sur Facebook (qu’on a déjà scoré) et plus tard les données cardio de son fitbit). Theta des valeurs numériques, les paramètres du modèle qui ont été calculés au préalable sur une grande population et éventuellement vérifiés sur une autre. On notera que ces paramètres sont des sortes de moyennes, et qu’en général on ne tient pas compte du fait qu’ils peuvent varier selon les individus ( mais on peut le faire si l’on souhaite en utilisant par exemple des modèles hiérarchiques).

Un tel modèle est mis en œuvre au travers d’une décision. Elle peut êre primitive quand on indique un seuil, par exemple si S est supérieur à 3% alors ne pas prêter. Elle peut être un peu plus sophistiquée en pondérant gains et pertes espéré. Par exemple si G est la marge gagnée sur le prêt dans le cas ou il n’y a pas d’incident, et P la perte subie si le client n’est pas en mesure de rembourser, le critère devient P*S+G*(1-S)>0. On peut imaginer plus compliqué.

Le problème posé est qu’un tel algorithme n’est pas forcément juste. On connait le problème classique des faux positifs. quelqu’un dont on a mesuré les chances de ne pas rembourser peut être parfaitement fiable, et inversement celui à qui ont prête peut défaillir. La théorie de la décision fournit des moyens pour réduire , du point de l’entreprise, cet impact et mieux définir sa stratégie ( minimiser les risque, optimiser le gain …). Mais du point de vue des individus certains qui serait en droit d’obtenir le prêt ne l’auront pas, et d’autre obtiendra un prêt qu’il ne mérite pas. Il est assez facile de mesurer l’importance de cette injustice, simplement au moment où l’on test de le modèle. Il suffit de comparer les résultats à la réalité. Une mesure classique peut être le RMSEA, où dans le cas des probabilité une mesure de gain :  1 – (% bien classé/ % de bien classé par hasard).

On pourrait parfaitement exiger de ceux qui emploie de tels algorithmique sans donner les paramètres theta qui sont un secret de fabrication, au moins de rendre compte de la précision de leur algorithme, par expérience je suis prêt à parier une fantastique désillusion. La plupart des modèles ne prédisent qu’assez mal les résultats, sauf dans les cas triviaux. Les voies d’amélioration passe moins par l’emploi de modèles nouveaux que par l’abondance des variables, et encore, celà reste à établir. Un taux de bonne prédiction de disons 92% laisse 8% d’erreurs ce qui n’est pas intellectuellement acceptable.

Mais allons plus loin avec l’article indiqué.  Celui-ci propose un autre critère de justice, partant de la condition de Lipschitz qu’on peut exprimer assez simplement. Un algorithme sera juste si la distance entre deux individus ( tels qu’on la mesure au travers des caractéristiques X) est plus grande que la distance entre les scores calculés à partir de ces profils.  Un corolaire de cette mesure de justice est cependant que sa mise en oeuvre se paye par une réduction de la privacy. Mais l’essentiel réside dans l’idée que l’on peut calculer de caractère  juste ou injuste d’un classificateur.

Voilà une série d’autres critère d’évaluation et de redevabilité, même si demander à son banquier si son scoring respecte la condition de Lipschitz, ou la parité statistique, reste, reconnaissons le non pas de la science fiction, puisque scientifiquement c’est possible, mais de la social fiction! Mais les choses ne s’arrêtent pas là, quand bien même nous introduirions dans le système des approches juste « fair » au sens de l’auteur principal, cela a un cout :  c’est celui de la privacy. Pour que l’algorithme soit juste, il faut selon l’auteur qu’on détienne des données « sensitives » !

Ce qui amène un commentateur à relever dans cette interview qu’il n’est pas possible de construire un algorithme juste, en relevant la question de la responsabilité : in fine l’auteur du papier initial renvoie la responsabilité de la justice de l’algorithme à des éthiciens! laissons au commentateur la conclusion :

 » First, there is the belief that we don’t need to think philosophically because we can solve our problems by technology; and then, second, when technology as such fails, to call in expertise, in this case in the form of an “ethicist.” And then, finally, in the paper Dwork co-authored on fairness that prompted this interview, we find the argument that the parameters of fairness “would be externally imposed, for example, by a regulatory body, or externally proposed, by a civil rights organization,” accompanied by a citation of John Rawls. « 

Les choses sont donc claires : ne comptons pas sur les machines pour réduire les problèmes sociaux, la responsabilité de ce que font les machines appartient entièrement aux humains, à leurs concepteurs et à leurs propriétaires. Plutôt que d’interdire, ou d’autoriser, la première étape de la régulation du monde des machines est d’imposer socialement l’exigence de redevabilité. Si les machines ne sont pas neutres, si elles induisent des biais politiques, ont toutes les chances d’être injustes, autant que l’on connaisse la manière dont elles affectent l’ordre social.

Une réflexion sur “Qu’est-ce qu’un algorithme juste ? Celui qui rend compte de ses effets

Les commentaires sont fermés.