Algorithmic accountability – Work in progress

2824863959_4fe17cc109_oIl y a peu les géants du digital lançaient le partenariat pour l’IA . C’est peut être ce colloque à la NYU qui en a cristallisé l’idée. C’est déjà dans le livre de Franck Pasquale. La question du rôle social des algorithmes et de leur responsabilité, notamment celle de rendre des comptes devient centrale dans nos sociétés. Elle l’est en particulier pour les pratiques de marketing qui s’expriment de plus en plus via leurs calculs sur des volumes toujours accrues de données, les plateformes en sont le champs d’expression principal.

Recommander des produits, des relations, évaluer des risques, définir des prix, calculer des parcours, lancez des alertes personnalisées, qualifier des offres, commandez des machines, la panoplie des outils ne fait que s’étendre et se raffiner. Ces pratiques ne font-elles que ce qu’elles doivent faire? Entrainent-elle pas des réponses de ses sujets? Lesquelles? Quels sont leurs effets secondaires?

Nudges : l’individu, la population et le politique

4386802277_8d86e04290_zDilip Soman présente les nudges de manière très simple : un économiste, un juriste, un marketer et un comportementalistes sont dans un bar et le serveur leur propose de lui indiquer comment inciter à boire le vin maison plutôt qu’un autre. Le juriste lui propose d’interdire toutes les boissons sauf celle qu’il veut vendre, l’économiste propose de taxer les autres boissons pour inciter à prendre la moins chère, le marketing propose de donner plus d’information sur le produit. Aucune des solutions n’est la bonne jusqu’à ce que le comportementaliste propose de rendre plus facile le choix simplement en plaçant la bouteille sur la table. Et il en donne cette définition :

“A nudge is any aspect of the choice architecture that alters people’s behavior in a predictable way without forbidding any options, or significantly changing their economic consequences. To count as a mere nudge, the intervention must be easy and cheap to avoid. Nudges are not mandates.”

Cette perspective micro du nudge peut être trompeuse et qu’on l’inscrive dans la perspective de l’ économie comportementale renforce ce sentiment car il ne s’agirait en somme que de réaliser le bien vieux projet de Herbert Simon de l’analyse d’une décision dont la rationalité est limitée : appliquer le calcul des utilités (l’économie) en tenant compte des biais cognitifs ( psychologie) avec un sens aigu du design ( l’architecture du choix ) et le fait que le cadre de la décision (Framing)peut être aussi important que les caractéristiques du choix.

Il nous semble que la portée des nudges va bien plus loin qu’une nouvelle approche de la décision individuelle. Il a une portée politique, et une dimension populationnelle.

La portée politique s’inscrit dans le sillage du  néo-républicanisme, c’est à dire d’un courant de philosophie politique qui redéfinit les conditions de l’autorité de l’Etat, ou de l’autorité, et de son droit à interférer dans nos décisions individuelles. Il s’appuie sur une définition de la liberté qui est l’absence d’interférence arbitraire, autrement dit dans les termes de Philip Petitt, des interférences en l’absence de domination. Le caractère non-arbitraire garantit que la tyrannie soit écartée car les raisons de l’interférence se trouverait dans un bien commun dont l’autorité à la charge. Celà suppose naturellement que ce bien soit défini par la délibération et l’établissement d’une convention et que cet exercice soit sous le contrôle des citoyens (1) . Le paternalisme ainsi est justifié pourvu qu’il soit bienveillant, c’est a dire prenne soin de l’intérêt de ses sujets. Des sujets qui ne sont plus les sujets romantiques, atome insécable de volonté, de décision et de libre arbitre, mais des sujets vulnérables qui peuvent être proie de leur propres démons et acceptent de confier à l’Etat ou d’autres instances, de les protéger de leur faiblesse. Cette idée de vulnérabilité dérive directement de l’abandon de rationalité qui est la condition du nudge, et le paternalisme est le mot employé par ses inventeurs. Il est libertarien en ce qu’il préserve la possibilité de choix comme Thaler l’a rappelé récemment dans le New York Times :

Three principles should guide the use of nudges:

  • All nudging should be transparent and never misleading.
  • It should be as easy as possible to opt out of the nudge, preferably with as little as one mouse click.
  • There should be good reason to believe that the behavior being encouraged will improve the welfare of those being nudged.

Dans la vision de Thaler et Sunstein accentue la dimension libertaire de cette perspective en contraignant l’interférence par le maintien de la liberté de choix. Si on veut encourager les citoyens à bien manger mettons les aliments les plus sains à hauteur idéale, mais maintenons la possibilité qu’il choisisse d’autres options. Si l’on souhaite que le don d’organe soit plus fréquents, votons une loi qui par défaut suppose le consentement tant que le refus n’est pas exprimé.

Le point critique et c’est celui qui est le politique est la troisième condition : il faut qu’il y ai une bonne raison pour croire que le comportement encouragé améliore le bien-être de ceux qui sont « nudgé ». Qui peut fournir cette bonne raison si le sujet est vulnérable? L’Etat bien sur ou ses représentations, qui restent comptables, redevable, du bien commun. Et c’est sur cette question que l’on doit  aller plus loin en imposant que cette architecture ne soit pas simplement le fait de l’autorité publique, mais soit légitimisée par des procédures qui en associe les sujets à la conception.  Ce qui peut paraitre comme une manipulation de la décision, ne le serait plus pour la simple raison qu’elle est consentie. Ce critère impose à la politique du nudge une exigence de transparence et de redevabilité ( accountability). Vive les nudges pourvu qu’on rende compte de leurs effets.

On comprend qu’une telle orientation qui préserve la liberté des sujets, impose plus de contraintes aux organisations, et que cette conception de la liberté induit un moindre laisser faire sur les marchés.  Elle est moralement supérieure aux approches répressives, incitatives, ou persuasives.  Elle redonne de la substance politique à des modes d’actions instrumentaux : la règle, le marché ou la communication en introduisant une quatrième sorte.

Mais ce n’est pas tout. Avec l’idée implicite du Stewardship (l’Etat devient le mandant de ses sujets, l’intendant de leurs intérêts en tant que communauté plus que de collectivité), la justification des nudges s’appuie sur l’idée qu’ils se construisent sur l’idée d’un intérêt général, un commun, ce que rappelle bien à propos Richard Thaler dans la tribune du NYT. La logique des nudges s’enracine dans une perspective de l’humain capable de prendre en compte l’intérêt d’autrui, c’est une perspective que partage la théorie du stewardship qui considère un sens de la responsabilité, une responsabilité qui s’étend aux autres. Il va sans dire que cette responsabilité est aussi l’impératif moral de rendre compte, mais non pas seulement à l’individu en situation de choix, mais à la société toute entière, aux générations futures, aux voisins.

Si nous évoquons l’Etat, il se peut qu’au titre d’une responsabilité sociale authentique des entreprises, telle qu’une analyse comme celle que produit Olivier Favereau en soulignant que les actionnaires sont propriétaires des actions mais non de l’entreprise et que par conséquent l‘entreprise n’appartient plus seulement à la sphère privée et entre partiellement dans la sphère publique, le même mandat soit confié aux entreprises privées.

Le nudge n’est donc pas qu’une technique d’incitation douce, il est la solution à un problème auquel le marketing est de plus en plus souvent confronté : son action ne vise pas simplement à maximiser la satisfaction et le nombre des individus satisfait, il est aussi dans la production de cette satisfaction et ménager et d’augmenter le bien être collectif. Le marketing serait ainsi politique par nature, et s’il ne c’est pas emparé de la question des nudges, c’est qu’il manque de fondements et de culture politique.

La dimension populationnelle s’impose quand on examine plus attentivement l’objet du nudge. Dans l’exemple donné par Dilip Soman, il manque à l’évidence à la fois le bien-être du client mais aussi celui de la population. S’il s’agissait de faire boire un jus de fruit pour la santé de chacun et des dépenses de santé moins grande pour tous, les choses seraient évidente. L’objet du nudge n’est pas la préférence, sinon le marketing s’en serait emparé depuis longtemps, il est la conduite des individus en ce que par leur agrégation elle produisent un effet qui affecte la communauté dans son ensemble.

L’exemple du Pay As You Drive, qui se développe dans l’assurance illustre bien le propos. C’est un nudge car le boitier installé dans les voitures et qui indique au conducteur si sa conduite est souple et sure n’est pas obligatoire, rien oblige à en consulter le résultat. Il peut – mais ce doit être un sujet de recherche – le mener à changer sa conduite inconsciemment en éveillant son attention sur un critère qu’il ignorait même s’il faisait partie de ses priorité. Son efficacité peut être renforcé par la comparaison sociale ou par d’autres signaux corrélés tels que la consommation de carburant. Certains acteurs l’associent à une motivation extrinsèque dont nous doutons de l’efficacité à long terme ( un rabais sur la police d’assurance). Son effet véritable est qu’en changeant la conduite de quelques uns ( reste à connaitre le seuil critique) on peut changer le comportement de toute la population des conducteurs : on sait que sur la route la vitesse change avec celle des autres, et si quelques uns donne le la, cela suffira par un processus moutonnier à réduire le risque général, et donc la sinistralité. Il y a un gain évident pour les compagnies d’assurance, un autre pour la société qui verra le coût social des accidents se réduire, et enfin un bénéfice pour chacun des assurés car on peut espérer que les assurances répercuteront la baisse de la sinistralité sur l’ensemble des clients. Le bon niveau d’analyse n’est pas celui des individus mais celui de leur population.

Voilà qui conduit droit à la notion de gouvernementalité telle que l’exprime Michel Foucault dans dits et écrits III. Citons :

la population va apparaître par excellence comme étant le but dernier du gouvernement : parce que, au fond, quel peut être son but ? Certainement pas de gouverner, mais d’améliorer le sort des populations, d’augmenter leurs richesses, leur durée de vie, leur santé ; et les instruments que le gouvernement va se donner pour obtenir ces fins qui sont, en quelque sorte, immanentes au champ de la population, ça va être essentiellement la population sur laquelle il agit directement par des campagnes ou, encore, indirectement par des techniques qui vont permettre, par exemple, de stimuler, sans que les gens s’en aperçoivent, le taux de natalité, ou en dirigeant dans telle ou telle région, vers telle activité, les flux de population. La population apparaît donc plutôt que comme la puissance du souverain, comme la fin et l’instrument du gouvernement. La population va apparaître comme sujet de besoins, d’aspirations, mais aussi comme objet entre les mains du gouvernement, consciente en face du gouvernement de ce qu’elle veut et inconsciente, aussi, de ce qu’on lui fait faire. L’intérêt, comme conscience de chacun des individus constituant la population, et l’intérêt comme intérêt de la population, quels que soient les intérêts et les aspirations individuels de ceux qui la composent, c’est cela qui va être la cible et l’instrument fondamental du gouvernement des populations.

A l’ère des plateformes, et notamment de celles qu’on désigne de collaborative, il s’agit exactement de la même chose. La population des conducteurs, par la qualité de leur conduite,  dans une plateforme de covoiturage devient ainsi à la fois l’instrument par laquelle la plateforme fait prospérer son royaume, tout autant qu’elle est la fin qu’elle poursuit en favorisant les revenus accessoires, ou les économies qu’elle obtient en participant à l’économie de la plateforme. Nous pouvons aisément multiplier les exemples, mais nous pouvons aussi aisément conclure sur l’idée que la gouvernementalité n’est plus simplement le propre de l’Etat mais celui des entreprises. Par une voie différente, nous arrivons à la même conclusion du caractère politique des entreprises.

Dans cette perspective, le nudge apparait ainsi comme une solution très particulière à la question des techniques de gestion des population, un dispositif de gouvernementalité, dont la particularité, comparé à la coercition ( le droit), à l’incitation ( l’économie), à la persuation ( la propagande), est de préserver à la fois la souveraineté de l’Etat, la liberté des sujets, et la capacité de ses derniers à faire que l’Etat puisse faire coïncider ses buts et le bien commun en rendant compte.

Et il en est de même pour les entreprises. Le nudge n’est pas une nouvelle technique de persuasion ou d’influence, il est une solution de gouvernement qui respecte des sujets vulnérables ainsi que leur liberté pourvu qu’elles puissent rendre compte à la fois de la défense des intérêts individuels des sujets, des inégalités de traitements auxquelles elles doivent parfois les sacrifier, et du bien commun.

On en conclura aussi, sans un peu peu vite – il faudra développer ailleurs – que les politiques de nudge n’ont de sens que dans une démocratie, sans doute renouvelée dans le cadre politique et à inventer dans le champs des entreprises privées. On conclura aussi qu’au travers du nudge ce pose aussi la question d’un nouveau point de vue sur le marketing : après avoir fait de l’individu et de ces besoin le centre de gravité, puis d’avoir vu dans la gestion de la relation et de l’échange son point focal, c’est sans doute dans la gestion des conduites et des populations qu’il trouvera une définition modernisée à la condition de se donner les moyens de sa légitimité en rendant compte non seulement aux actionnaires mais aussi à ses client et à la société dans son ensemble.

(1) on ne pourra pas ne pas penser aux évènements actuels et notamment à l’instauration de l’Etat d’urgence, c’est sans doute cet état d’esprit qui motive la pétition de la quadrature du Net. Concéder la liberté à la sécurité, dans une démocratie impose à celui qui gouverne de rendre compte.

PS : une partie de ces arguments a été développé en préparant la présentation « le nudge et l’économie politique des plateformes » faite lors de l’Automne de l’AFM , que l’on remercie ainsi que la Nudge Unit de BVA qui a initié la rencontre et stimulé la réflexion. On trouvera ci-dessous la présentation.

Qu’est-ce qu’un algorithme juste ? Celui qui rend compte de ses effets

16318918399_ae6b70149a_bDepuis pas mal d’année de nombreux universitaires ( les politiques sont bien moins nombreux) s’inquiètent du caractère obscur, caché voir même ésotérique des algorithmes dont le fonctionnement peut même à l’insu de leur concepteurs, produire des effets inattendus et indésirables sur les populations. C’est ce qu’on appelle gouvernementalité.

Un bon exemple de ce type d’effet, que l’on désigne par la notion de performativité algorithmique, est donnée par l’étude de Edelman et Lucas (2015) sur les prix de AirBnB à New York, ils observent qu’une différence de 22$ existe entre les logements proposés par les blancs et les noirs. Ceci résulte principalement d’un mécanisme de réputation : l’exposition de la photo de l’hôte et produit un effet discriminatoire qui tout à la fois reflète et augmente la ségrégation spatiale et raciale. Ici l’algorithme est simplissime, il réside simplement dans le protocole de production d’une page d’offre et accorde au visage un poids déterminant dans l’expression des préférences.

De manière plus générale le phénomène est abordée sous le terme de  politique algorithmique. On pourra lire à ce propos les travaux d ‘Antoinette Rouvroy et mieux encore le livre de Frank Pascale. En contre partie se développe de plus en plus l’idée d’une redevabilité ( accountability) algorithmique.  Si les algorithmes transmettent insidieusement une politique explicite ou implicite, souhaitée ou induite, il devient nécessaire qu’ils doivent rendre compte des effets de leurs actions.

Une exigence politique croissante est que donc les plateforme doivent rendre compte des méthodes qu’elles emploient et de leurs effets sur la société sans plus se cacher derrière la notion de confidentialité des procédés. C’est moins une question de droit que de politique, car c’est le politique qui aménage le droit. On notera au passage que cette exigence est d’autant plus naturelle que les algorithmes sont le plus souvent empruntés au domaine public comme le furent le PageRank de google ou les méthode de filtrage collaboratif d’Amazon. Mais ce n’est pas le problème principal. Par redevabilité on entend le fait que les effets de ces algorithmes doivent être considérés comme n’importe quelles externalités, et être reportés dans les rapports d’activités comme les effets environnementaux et sociaux parfois le sont.

L’objet de notre note ce sera pas cependant de débattre de ces notions et de leurs conséquences, mais plutôt de montrer de manière assez concrète, même si le lecteur va vite s’apercevoir du degré élevé d’abstraction requis pour pénétrer dans ce qui fait nos algorithme ordinaires, comment les algorithmes nous échappent.

Le hasard de mes lectures m’a conduit vers un papier passionnant de Cynthia Dwork et ses collègues – Fairness through Awareness, qui est un spécimen remarquable de ce qui devient une littérature riche à la frontière des mathématiques, de l’informatique et du machine learning. Il s’intéresse à formaliser le caractère juste d’un algorithmique, et notamment de ce qui attribue aux Etats-Unis des places aux étudiants dans le cadre de politiques pro-minorité, et donne une foule d’exemples qui concernent le marketeur.

Prenons le cas des algorithme de scoring, très  courants dans le domaine bancaire pour attribuer ou non un crédit à la consommation. Ces algorithme s’appuient sur ce que les spécialistes du machine learning appelle un classificateur, autrement dit une équation dont la forme très général est la suivante : S=f(X,theta). S est le score calculé, c’est mieux quand il s’exprime sous la forme d’une probabilité (celle de ne pas rembourser le prêt, donc le risque. X est un vecteur de variable X&, X2, X3 etc qui décrit ce que l’on sait sur l’individu : son age, son revenu, et pourquoi pas ses amis sur Facebook (qu’on a déjà scoré) et plus tard les données cardio de son fitbit). Theta des valeurs numériques, les paramètres du modèle qui ont été calculés au préalable sur une grande population et éventuellement vérifiés sur une autre. On notera que ces paramètres sont des sortes de moyennes, et qu’en général on ne tient pas compte du fait qu’ils peuvent varier selon les individus ( mais on peut le faire si l’on souhaite en utilisant par exemple des modèles hiérarchiques).

Un tel modèle est mis en œuvre au travers d’une décision. Elle peut êre primitive quand on indique un seuil, par exemple si S est supérieur à 3% alors ne pas prêter. Elle peut être un peu plus sophistiquée en pondérant gains et pertes espéré. Par exemple si G est la marge gagnée sur le prêt dans le cas ou il n’y a pas d’incident, et P la perte subie si le client n’est pas en mesure de rembourser, le critère devient P*S+G*(1-S)>0. On peut imaginer plus compliqué.

Le problème posé est qu’un tel algorithme n’est pas forcément juste. On connait le problème classique des faux positifs. quelqu’un dont on a mesuré les chances de ne pas rembourser peut être parfaitement fiable, et inversement celui à qui ont prête peut défaillir. La théorie de la décision fournit des moyens pour réduire , du point de l’entreprise, cet impact et mieux définir sa stratégie ( minimiser les risque, optimiser le gain …). Mais du point de vue des individus certains qui serait en droit d’obtenir le prêt ne l’auront pas, et d’autre obtiendra un prêt qu’il ne mérite pas. Il est assez facile de mesurer l’importance de cette injustice, simplement au moment où l’on test de le modèle. Il suffit de comparer les résultats à la réalité. Une mesure classique peut être le RMSEA, où dans le cas des probabilité une mesure de gain :  1 – (% bien classé/ % de bien classé par hasard).

On pourrait parfaitement exiger de ceux qui emploie de tels algorithmique sans donner les paramètres theta qui sont un secret de fabrication, au moins de rendre compte de la précision de leur algorithme, par expérience je suis prêt à parier une fantastique désillusion. La plupart des modèles ne prédisent qu’assez mal les résultats, sauf dans les cas triviaux. Les voies d’amélioration passe moins par l’emploi de modèles nouveaux que par l’abondance des variables, et encore, celà reste à établir. Un taux de bonne prédiction de disons 92% laisse 8% d’erreurs ce qui n’est pas intellectuellement acceptable.

Mais allons plus loin avec l’article indiqué.  Celui-ci propose un autre critère de justice, partant de la condition de Lipschitz qu’on peut exprimer assez simplement. Un algorithme sera juste si la distance entre deux individus ( tels qu’on la mesure au travers des caractéristiques X) est plus grande que la distance entre les scores calculés à partir de ces profils.  Un corolaire de cette mesure de justice est cependant que sa mise en oeuvre se paye par une réduction de la privacy. Mais l’essentiel réside dans l’idée que l’on peut calculer de caractère  juste ou injuste d’un classificateur.

Voilà une série d’autres critère d’évaluation et de redevabilité, même si demander à son banquier si son scoring respecte la condition de Lipschitz, ou la parité statistique, reste, reconnaissons le non pas de la science fiction, puisque scientifiquement c’est possible, mais de la social fiction! Mais les choses ne s’arrêtent pas là, quand bien même nous introduirions dans le système des approches juste « fair » au sens de l’auteur principal, cela a un cout :  c’est celui de la privacy. Pour que l’algorithme soit juste, il faut selon l’auteur qu’on détienne des données « sensitives » !

Ce qui amène un commentateur à relever dans cette interview qu’il n’est pas possible de construire un algorithme juste, en relevant la question de la responsabilité : in fine l’auteur du papier initial renvoie la responsabilité de la justice de l’algorithme à des éthiciens! laissons au commentateur la conclusion :

 » First, there is the belief that we don’t need to think philosophically because we can solve our problems by technology; and then, second, when technology as such fails, to call in expertise, in this case in the form of an “ethicist.” And then, finally, in the paper Dwork co-authored on fairness that prompted this interview, we find the argument that the parameters of fairness “would be externally imposed, for example, by a regulatory body, or externally proposed, by a civil rights organization,” accompanied by a citation of John Rawls. « 

Les choses sont donc claires : ne comptons pas sur les machines pour réduire les problèmes sociaux, la responsabilité de ce que font les machines appartient entièrement aux humains, à leurs concepteurs et à leurs propriétaires. Plutôt que d’interdire, ou d’autoriser, la première étape de la régulation du monde des machines est d’imposer socialement l’exigence de redevabilité. Si les machines ne sont pas neutres, si elles induisent des biais politiques, ont toutes les chances d’être injustes, autant que l’on connaisse la manière dont elles affectent l’ordre social.