Les sentiments de Tahiti

onou 2015

Les voyages sont faits pour être vécus mais ce qui en reste ce sont des mots. Des livres de voyageurs, le journal de bord des marins, et aujourd’hui le commentaire des expériences de consommation. A l’heure du post-exotisme ( pas celui-ci), quand le touriste pense rencontrer une culture authentique mais bien souvent façonnée par son propre regard, ce qui compte est moins ce que l’on a vécu que ce que l’on en garde : des selfies et le commentaire des lieux de séjours. C’est certainement moins poétique que Cook et Gauguin, mais plus profitable pour l’industrie du tourisme.

Et c’est à l’occasion d’un de ces voyages, avec l’aide des collègues du Cetop,  des étudiants du master de marketing de l’UPF, et l’écoute du team de Tahiti tourisme, que nous nous sommes lancés dans l’analyse des sentiments exprimés par les touristes à propos de leur séjour  avec une petite incursion dans les packages de text mining de r. Il n’y avait pas de meilleure place pour apprécier la critiques des auberges du paradis.

Pour la méthode, il s’agit d’abord de scrapper, avec les ressources du package rvest, le site de TripAdvisor. La Polynésie est isolée, trouvant ses clients dans trois grands bassins à plus de 10h de vol : l’Asie , les EU et la France. Il y a environ 150 hôtels et 300 pensions. Les résultats donnés dans cette note, sont établis sur la base d’une première extraction centrée sur Tahiti et portant sur 7700 commentaires. On généralisera plus tard sur les 77000 commentaires sur l’ensemble des archipels.

Ce corpus fait l’objet de deux types d’analyses comme on commence à le faire systématiquement dans ce type d’exercice : mesurer la tonalité positive ou négative (le sentiment) et les sujets évoqués ( topic analysis). Pour la première, on emploie tidytext, pour la seconde le modèle LDA du package Topicmodels.

Voici la présentation de travail (demo), avec quelques éléments de code, rendez-vous au piurn 2018 pour une présentation plus complète.

Les Kpis du Marketing – du cockpit au fétiche.

L’invitation de l’Amarc à partager mes réflexions le 21 juin sur la question des indicateurs clés de performance – ces KPIs obsédants, et l’occasion de retrouver un vieux sujet partagé avec un vieux camarade dont la comptabilité est la spécialité, celui du contrôle organisationnel. Et c’est un sujet d’actualité, non seulement par la colonisation du monde par les kpis, les systèmes de notation, de ranking, de scoring, mais aussi parce que dans l’univers des plateformes le contrôle est exercé par le client.  La vidéo est éditée par la pétillante équipe de l’Amarc et je découvre qu’ils (m’) ont fabriqué un très joli mini Mooc.

 

 

Anatomie des échanges collaboratifs

La perceuse du voisin est le modèle même de l’utopie collaborative. Mettre à disposition des autres des équipements dont on a pas forcément l’usage est une évidence durable et économique : augmenter le taux d’usage des appareils qu’on utilise à l’occasion semble être méritoire. Si cet échange est gratuit, qu’une application en réduit les coûts de transaction, c’est à une véritable économie contributive qu’on donne naissance, et on espère que ces circuit assure une vaste circulation, dont une des utopie est l’anthropologie de la Kula.

Ce n’est qu’une hypothèse et nous avons encore besoin de comprendre comment s’organisent les cascades de prêts et d’emprunts et de mieux comprendre comment spontanément la circulation des objets s’organisent.  Certains se prêtent à l’échange : la perceuse-visseuse, la poussette, le vélo, des barbecue et des gauffriers. D’autres moins. Un défi est ouvert, retrouver dans le Paris Bobo les circuits du don que Malinowski a cru trouver entre  la Paouasie, les iles Salomons et les Trobiands.

Par chance, on nous a confié une base de données relevant toutes les transactions effectuées pendant une certaine période ( supérieure à une année) sur une portion substantielle des utilisateurs de la plateformes (disons près de 15% d’entre eux). Ce n’est pas du big data mais assez substantiel : plus de 5000 transactions qui aboutissent ou non ( le taux de transformation est en fait de l’ordre de 30%).

Un premier réflexe est naturellement de représenter graphiquement le réseau constitué par ces échanges. C’est un réseaux directionnel qui associe un prêteur à un emprunteur. Il nous suffit de reformater les données sous la forme de duplets associant le code unique d’un prêteur et celui d’un emprunteur, et de quelques autres attributs définissant la nature de l’objet échangé et la date de l’échange. L’usage direct de igraph et d’un algorithme de force ( KK) via r, permet de produire à peu de frais cette structure. La taille des noeuds est proportionnelle aux nombre de transactions engagées. Au comprend qu’au centre du graphe se trouvent les utilisateurs actifs et que dans la périphéries les utilisateurs occasionnels.  On améliorera la représentation en élimant les couches externes (échangeurs avec une à 3 transaction) pour mieux examiner la structure du macro-composant.

figure 1 : réseau des engagements de transactions

Le phénomène principal est en fait la diversité des statuts : si certains échangent beaucoup et d’autres échangent moins, on s’aperçoit vite qu’ils diffèrent aussi par ceque certains prêtent plus souvent qu’ils n’en empruntent. Nous ne sommes pas dans un espace de marché réciproques (où une contrepartie monetaire est échangée) mais un espace asymétrique où des prêteurs principaux et des emprunteurs net doivent trouver un équilibre à nombre d’objets offerts constant ou croissant. Nous ne développerons pas plus cette aspect essentiel de la dynamique des réseaux d’échange et de leur croissance, pour nous concentrer sur des questions de structure.

Pour caractériser cette différenciation des rôles ( prêteur vs emprunteurs) nous pouvons employer le modèle HITS de  Jon Keinberg qui permet de scorer le caractère de Hub ou d’autorité des nœuds d’un réseau. Un hub est un site qui pointe vers de nombreux sites qui ont une autorité. Il permet à chacun de trouver le meilleur chemin. Une autorité est un site vers lequel pointent de nombreux hub. Il est reconnu comme un point d’intérêt par la plupart des carrefours. Ces notions précédent  et amplifie le concept du PageRanks et rendent compte de la différenciation des rôles dans les réseaux digitaux.

Dans l’économie du partage les hubs délivrent une grande variété de biens  à des emprunteurs fréquents; les autorités sont ces emprunteurs réguliers qui assurent les emprunts auprès des propriétaires les plus populaires. Les uns et les autres forment en quelques autres le moteur du système.  Leur dynamique est le coeur nucléaire de la collaboration, ils amènent rapidement à atteindre le seuil critique.

Une fonction permet de représenter ces deux aspects des noeuds : sont-il plutôt des hubs où des autorités, des donneurs universels et receveurs généraux. En voici les deux cartes. On s’aperçoit dans la périphérie du nuage des transactions uniques, aux coeur du réseaux on s’aperçoit que les hub sont plus nombreux que les autorités : peu d’emprunteurs en dernier ressort absorbent l’offre dominante de hubs plus nombreux.

A ce stade nous sommes encore descriptif : les données que nous avons traitées sont jusqu’à présent moins des transaction que les entames de transaction, et on dispose d’une information: la transaction qui s’engage se conclue-t-elle? Nous connaissons la structure des relations, nous pouvons caractériser chaque acteur comme Hub ou Autorité, nous savons si une transaction engagée entre deux acteurs est conclue, un petit modèle prédictif est bienvenu. Quels sont les facteurs qui facilitent la transaction ?

Un premier évident est celui de la nature du produit échangé. Nous avons fait des tests préliminaires et il semble bien que ce soit déterminant, mais un peu de travail est encore nécessaire pour codifier les objets et mieux tester cette source de succès.

Le second facteur semble aussi naturel : la transaction se fera en fonction des caractéristiques des acteurs, et notamment leur score de hub et d’autorité. Ceci représente l’hypothèse du “social embedness” qui enonce que les acteurs ne sont pas homogènes et que leur pouvoir dépend de leur inclusion sociale.  C’est notre hypothèse principale.

Un troisième facteur est lui relatif à l’expérience : quand des acteurs répètent l’échange, en principe si tout se passe bien la confiance s’installe avec l’habitude et on s’attend à ce que la probabilité que la transaction réussisse soit plus grande.

Testons cela par un modèle de régression logistique  dans lequel la variable dépendante est le caractère achevé ou non de l’échange, et les déterminants sont le nombre d’échanges déjà réalisés, le score de hub du prêteur, et celui d’autorité pour caractériser  l’emprunteur.

(Intercept)                  -1.388  0.0391   -35.557 ****
authority_score.        0.355  0.1809     1.963   **
hub_score.                -0.492  0.3121    -1.578    *
NBdePrets                  0.036  0.0059    6.264   ****

* 10%   ** 5%   *** 1%   ***** <<1%

Les résultats sont clair : plus grand est le nombre d’échange entre deux utilisateurs et plus grande est la probabilité de réalisation. Plus élevé est le score d’autorité plus l’échange a de chance de se réaliser : les emprunteurs fréquents réalisent mieux leurs demandes, ils ont sans doute appris à utiliser la plateforme, on mesure ainsi un effet d’apprentissage, une autre interprétation c’est qu’échangeant souvent ils développent une expérience qui est un signal de confiance. En revanche le score de hub ne semble pas influencer la probabilité de réalisation de l’échange. Une hypothèse est que si les hubs bénéficient d’un effets de réputation, ils souffrent aussi d’un effet de compétition. Offrant le plus de biens aux meilleurs emprunteurs, leurs biens, uniques, sont mis en concurrence, et certains emprunteurs échouent. Les deux effets se neutraliseraient.

Nous n’irons pas plus loin dans la discussions. Les éléments quantitatifs sont encore assez bruts, la méthode générale est données, nous devons en affiner l’application. Mais déjà des résultats émergent pour comprendre comment les flux de l’échange s’organisent et plus précisément comment la structure sociale peut déterminer au travers de la position des échangeurs la probabilité qu’un échange se produise.

Et voilà qu’avec quelques ligne de r, nous refaisons le voyage des argonautes.

Atelier doctoral : r pour la recherche en sciences sociales

L’objectif de l’atelier, organisé dans le cadre des enseignement de l’ED EOS,  est la prise en main de r au travers de l’interface graphique Rcmdr et de Rstudio et de découvrir la communauté r et ses ressources en 4 séances de 3 heures : décrire, expliquer, modéliser.

Public visé et pré requis : Doctorants et autres chercheurs. Connaissance des tests statistiques et autres statistiques élémentaires. Une habitude de SAS ou SPSS fera du bien.

Les participants doivent installer Rstudio au préalable. l’interface pour démarrer est Rcmdr, c’est le premier package (Rcmdr) à installer au préalable.

Calendrier de la formation (période de l’année): 12 et 13 Avril 2018 (9h30-12h30 : 13h30-16h30)

Lieu : Université Paris Nanterre Bat A 3ème étage 304 ou 305)

Inscription : envoyer un CV à christophe.benavent@parisnanterre.fr avant le 20 mars. – nombre maxi d’inscrits : 15.

Programme

Le jeu de donnée utilisé provient de l’European Social Survey. Les liens vers les packages utilisés et des ressources utiles sont donnés dans le programme. Le site principal de r est le CRAN. Les ressources sur internet sont nombreuses : par exemple r-bloggers riche en exemples d’applications, ou  le cookbook for r.  Les forums regorgent de ressources notamment Stalk Overflow.

  • 1 : l’environnement r: communauté, packages, langage et prise en main  avec Rcmdr. Comparaison de moyennes, corrélation, représentation graphique avec ggplot (pour des exemples voir ici ou )
  • 2 :  Clustering  ( package Ape, dendo…)
  • 3 : Régression avec r: des MCOs au modèle linéaire généralisé (Logit, Poisson, etc) ( package lme4, Stargazer pour des présentations standardisées.
  • 4 : Analyse factorielles, échelles de mesure et équations structurelles avec Psych et Lavaan : on traitera notamment de l’influence de la confiance sur le bien être.

Une séance supplémentaire est données sur l’analyse lexicale avec  tm , Rtsne et LDA. Dans le cadre du séminaire ? Le cas de l’analyse de topic d’un flux de tweets.

ECTS : la participation au séminaire donne droit à 1.5 ECTS

Ressources :

  •  r blogger : un meta blog centré sur r , très riche en exemple et application.
  •  StackOverflow : plateforme de Q&A pour les développeurs, r y est fréquemment mis en question
  • PS : un cours similaire est donné dans le cadre du Master Management de l’innovation GDO/MOPP.
  • La doc de ggplot2, le package des graphiques élégants.

Crédit Photo : comme souvent l’excellent Jeff Safi

Satisfaction à l’égard des moteurs de recommandation : la transparence optimale

C’est une idée ancienne. Le mieux dans la transparence n’est pas le plus, c’est plutôt un clair-obscur, assez clair pour que la lumière traverse, assez obscur pour qu’on y devine un relief.

Il en est de même pour la transparence des algorithmes. Les utilisateurs réagissent le mieux à une information épurée, simplifiée, qui donne les principes sans brouiller avec les détails. Le simple plus que le complet.

Ce papier, publié dans la nouvelle et intéressante revue Management et DataScience en teste l’hypothèse. S’il est modeste dans la méthode et le principe ses résultats sont très net.  Cela a des conséquences en matière de design des sites et des applications. Donner des éléments clés qui favorise l’autonomie de jugement ( dois-je faire confiance à ce type d’algorithme ?)  et la connaissance de risque éventuel, sans demander un effort exorbitant. Cela cependant ne résout pas la question du contrôle effectif des algorithme qui demande une connaissance approfondie des détails.  On comprend que celle-ci n’est pas à la charge des consommateurs, mais des organismes spécialisés dans la défense des droits et des consommateurs, la recherche académique, ou de régulation.  La transparence est un arrangement institutionnel.

PS : au passage soulignons que cette publication est le résultat du mémoire de master marketing à Nanterre de Pauline Vautrot.

Confiance et bonheur : la force du lien

Il y a des moments de bonheur. Par exemple, celui où on découvre un jeu de données merveilleux et que l’on part à son exploration. Ce jeu de donnée est celui de l’ESS Eric. Parfaitement préparé et documenté, il cumule 8 vagues d’enquêtes menées tout les deux ans, dans plus d’une vingtaine de pays, et porte chaque fois sur près de 2000 personnes, au total près de 300 000 répondants. Un véritable baromètre du bonheur, du bien être, des valeurs, de la confiance, de l’engagement politique et civique, des sentiments de discrimination, des orientations politiques et religieuses, de l’inclusion.

Une mine d’or. Je ne serais pas le premier à m’y plonger, des centaines de publications ont déjà employé telle ou telle fraction des données. C’est aussi un très bel outil pédagogique, une base magnifique pour introduire à la puissance et l’élégance de r et du traitement statistiques des données, d’autant qu’elles sont aisément téléchargeables, sous des formats remarquables de limpidité.

Pour le spécialiste de marketing qui a été nourri au lait de la relation client, et par conséquent de celui de la confiance, il y a l’occasion remarquable de revenir, à grande échelle (la base que nous exploitons représentent 220 000 individus au cours de 6 vagues et dans 16 pays) sur le lien qu’elle entretient avec la satisfaction, et d’en tester la solidité à travers les pays, le temps, et les strates sociales. On se concentrera dans cette analyse sur un tout petit nombre de questions relatives à trois variables clés.

  • le bonheur bien sûr, mesuré comme satisfaction dans la vie, et sentiment de bonheur actuelle ( 2 items). L’état de santé perçue est aussi mesuré, mais nous ne le prendrons pas en compte, pas plus que la satisfaction à l’égard de l’économie qui dans des premiers tests se révèle peu lié au bonheur. C’est notre variable dépendante.
  • la confiance interpersonnelle : se méfie-t-on des autres, espère-t-on leur aide, sont juste juste ? 3 items sont proposés qui présente un alpha de l’ordre de 0,80.
  • la confiance dans les institutions dont une analyse plus fine révèle qu’elle possède trois facettes : l’administration, le politique, les institutions internationales. Nous les traiterons comme une dimension. l’alpha est de 0.92.

Notre modèle est donc extrêmement simple, une regression à deux variables corrélées. on l’estime avec un modèle SEM évalué avec l’élégance du Package Lavaan. Le temps de calcul ne dépasse pas la seconde, un poil plus quand des modèles à nombreux groupes sont estimés.


library(lavaan)
library(semPlot)
model <- '
# measurement model
Trust_Interperson =~ Trust_tst + Trust_fair + Trust_hlp
Trust_Institution =~ Trust_parlemnt + trust_legal + trust_police + trust_polit+trust_parti+trust_eu +trust_un
Happyness =~ happy + stflife
# regression
Happyness ~ Trust_Institution + Trust_Interperson
# residual correlations
Trust_Institution ~~ Trust_Interperson'

fit0 <- sem(model, data=Conf)
summary(fit0, standardized=TRUE)

pathdiagram<-semPaths(fit0,whatLabels="std", intercepts=FALSE, style="lisrel",
nCharNodes=0, nCharEdges=0,edge.label.cex = 0.6, label.cex=1.2,
curveAdjacent = FALSE,title=TRUE, layout="tree2",curvePivot=TRUE)

Le résultat du modèle est résumé dans le graphe suivant, il montre que le bonheur dépend plus de la confiance interpersonnelle, locale, de voisinage, de l’idée qu’on se fait de l’humain que de la confiance dans les institutions. Clairement deux fois plus. Si une unité de confiance interpersonnelle supplémentaire est obtenue, c’est 0,36 de bonheur gagné, le même gain de confiance envers les institutions s’accroît le bonheur que de 0,16 unités. La confiance reste un sentiment général, une corrélation de 0, 55 est enregistrée entre ses deux facettes, elles évoluent de manière conjointe ce qui se comprend : de bonnes institutions conduisent à ce que les gens se fassent confiance,, mais pour faire confiance aux institutions il faut aussi faire confiance aux gens qui les habitent.

Avoir autant de données pour une presque trivialité peut sembler inutile, sauf si l’on cherche à voir ce qui peut faire varier ce modèle. L’idée est donc simplement d’évaluer ce modèle pour différents groupes. La seule chose à faire est de modifier l’ajustement avec cette ligne :

fitG <- sem(model, data=Conf, group="cntry",group.equal = c("loadings"))

Le même modèle est estimé pour les différents groupes (le pays dans l’exemple) avec la contrainte que les loadings sont égaux entre les groupes : on mesure les mêmes variables partout ( avec group.equal). Ce qui peut changer c’est le poids des variables de confiance sur le bonheur, et leur degré de corrélation. Cette approche consiste en fait à faire une sorte de méta-analyse. Répéter l’estimation du modèle sur différent groupes et analyser la variance de ses paramètres.

Avant de présenter les résultats, un élément préalable doit être communiqué : le niveau de bonheur au niveau du pays est inversement lié à la variance du bonheur au sein du pays. Autrement dit ce qui fait baisser l’indice de bonheur c’est l’inégalité du bonheur! Ce qui fait un pays heureux c’est quand tous le sont également, c’est le cas dans les pays du nord de l’Europe, le sud et  l’est sont soumis aux inégalités.

Dans le diagramme suivant, le poids des paramètres du modèle pour chaque pays est indiqué par la longueur des barres horizontale. On retrouve le pattern général, la confiance interpersonnelle tourne autour de 0.35, et c’est en France qu’elle est la plus déterminante. La confiance dans les institutions pèse le plus sur le bonheur en hongrie. Les pays sont classés par ordre de bonheur, s’il y a des différences il est difficile de comprendre pourquoi.

Tant qu’à faire nous avons systématisé cette approche sur un certains nombre de variables. Tous les résultats sont regroupés dans le graphique suivant. Et en voici les enseignements principaux.

Premier point, dans la figure (b) on n’observe pas de changement notable dans l’indice de bonheur sur une période de 10 ans. Le poids des deux facettes de la confiance sur le bonheur reste stable aussi. C’est sans doute le fruit de l’homéostasie du bonheur et de la satisfaction. Le monde peut changer, il se réajuste.

Second point, dans la figure (a) on observe un changement important  d’une génération à l’autre  : l’influence de la confiance interpersonnelle sur le bonheur est plus faible pour les plus jeunes, qui sont aussi les plus heureux. Auraient-ils moins besoin des autres, des proches pour jouir de la vie? le poids de la confiance institutionnelle lui ne varie pas et reste identique à travers les génération.  Ce résultat est d’autant plus intriguant, qu’il ne se retrouve pas dans le niveau de diplôme. C’est donc bien un effet de génération et non de socialisation et qui semble s’engager à partir de la génération des années 50.

Le dernier point met en évidence le prix de la solitude, les foyers solo sont bien moins heureux que les autres comme l’indique la figure (d ). Elle fait aussi apparaître un léger effet en U : la confiance interpersonnelle compte plus quand on est seul ( les bonnes relations de voisinage peuvent compenser le célibat), et lorsque le foyer est nombreux ( le conflit en groupe est un enfer!).

L’exercice ici est largement pédagogique et méthodologiques. D’autres variables doivent être intégrées au modèle, ne serait- ce que la santé, l’intégration sociale qui joue un rôle clé, peuvent être les valeurs, les opinions politiques religieuses. Sa limite est celle d’une première analyse. Elle est aussi celle du pouvoir explicatif des modèles. La confiance à elle seule explique qu’une faible partie de la variance : avec un contrôle par le pays et l’inclusion de la confiance dans l’économie et l’état subjectif de santé, on explique au mieux 24% de la variance. Il reste la place pour d’autre facteurs.

Son intérêt empirique réside dans ce fait intéressant : la très grande stabilité des paramètres du modèle à travers l’espace, le temps, et les catégories sociales, même si l’effet générationnel qu’on vient de mettre en évidence par cette sorte de méta-analyse reste encore à expliquer. Il témoigne pour une forme homéostatique du bonheur qui s’ajusterait aux changements de conditions de vie. Il  dépend peu de la confiance envers les institutions, il est plus nettement lié à l’idée que les autres sont bienveillants même si ce lien s’affaiblit avec les générations.

 

ROC, le choix des seuils de détection et le coût de la morale

Le propre des êtres autonomes est leur capacité à identifier des signaux et à y répondre de manière adéquate.

L’œil de l’aigle dans le ciel saisit identifier la fourrure fauve dans la prairie jaunie, la luciole reconnait la pulsation lumineuse émise par les partenaire de son espèce, le radiologue le motif d’une structure cancéreuse, l’opérateur radar détermine si le point clignotant sur l’écran correspond à un vaisseau ami ou ennemi. C’est d’ailleurs avec ce problème de radar au cours de la dernière guerre mondiale, que la théorie de la détection du signal a émergé, couvrant des usages nombreux dont le point commun est d’évaluer la qualité d’une décision particulière –  le signal reçu correspond-il à une réalité ou à un bruit ? – en établissant un seuil optimum de détection.

Prenons un exemple.  Le chien qui aboie devant nous intimide-t-il avant de prendre la fuite ou va-t-il nous attaquer et nous mordre ? En conséquence faut-il lui fracasser le crâne avec le bâton qu’on tient en main, ou rester immobile jusqu’à ce qu’il se soit éloigné?
L’intensité de l’aboiement est le signal que nous devons traiter.

Pour bien se représenter le problème, nous générons un exemple hypothétique. On suppose que les attaques correspondent à des aboiements d’intensité 7 en moyenne, et la fuite de 5. Deux situation sont traitées : l’une où l’écart-type des aboiement est de 0.5, l’autre de 3. Ce qui est représenté dans la figure 1.

On a le réflexe avec ce type de donnée d’effectuer un test statistique, celui du test de student  est largement suffisant, dans les deux situations.  Il nous permet de décider pour un risque de première espèce donné, de rejeter l’hypothèse nulle d’égalité des moyennes et par conséquent de conclure que les moyennes sont distinctes et que, dans notre cas, que les décisions sont bien associées à l’intensité du signal. Dans notre exemple ( cas de la figure de gauche à forte variance)  les moyennes empiriques sont de 5, 06 et 7,04, et le test t de student a une valeur critique de 26. La probabilité que les moyennes empiriques diffèrent alors qu’elle sont égales en réalité est quasi nulle, bien en-deça du risque usuel de 5%.  Ce test cependant ne dit pas comment agir, autrement dit à partir de quelle intensité faut-il se préparer à frapper le chien fou furieux, ou ne pas agir. Il dit juste qu’il y a une différence.

On remarque cependant que lorsque les deux distributions sont bien différenciées, il est plus simple de discriminer les deux signaux. En choisissant une valeur supérieure à 6 (diagramme de droite), il y a très peu de chance de frapper cruellement la bête alors qu’elle va s’enfuir, et de se laisser mordre parce qu’on a cru a tors qu’elle enfuirait. Mais quand les distributions se superposent largement (diagramme de droite), comment pour une valeur donnée de l’aboiement décider de l’action à mener? Quel seuil se donner? L’analyse ROC va permettre de répondre à la question, mais avant poursuivons sur cette question de superposition et de discrimination du signal.

Une mesure pour ceci a été proposée depuis longtemps: la sensitivité ( ou discriminance) Elle est notée d’ et se définit par

d’=d/s

où d est la différence des moyennes des deux signaux et s la variance moyenne des signaux ( racine²(1/2(Sda²+Sdf²)). Dans le premier cas, on obtient une valeur d’ de 0,67 dans le second de 4, donc 12 fois plus forte dans la partie droite de la figure 1.

Le problème reste entier. Quelle valeur retenir pour décider l’action a entreprendre (frapper ou rester immobile) ? A partir de quel seuil doit-on interpréter l’aboiement comme un signal d’attaque?

Pour évaluer cette valeur, il suffit de compter d’une part le nombre de bonne décisions, et d’autre part les mauvaises décisions.  On comprend de suite que deux types d’erreurs peuvent se produire :

    • On peut conclure que le chien va attaquer alors qu’il ne fait qu’intimider. Le résultat de l’action est que le chien va se prendre un coup de bâton sans raison. C’est le prix d’une fausse alarme.
    • On peut aussi conclure qu’il ne va pas attaquer, alors qui bondit et nous mord au mollet. L’alerte est ratée, le signal est sous-interprêté, on sera bon pour un vaccin anti-rabique, et quelques soins à l’hôpital.

Plus précisément le problème peut se formuler sous la forme du tableau suivant

A partir du tableau différents indicateurs peut être construits, on remarquera rapidement qu’on retrouve les classiques de l’évaluation du machine learning : précision , recall et accuracy. A vrai dire c’est le même problème. Comment évaluer la capacité d’un modèle à discriminer des signaux.
      • Le taux de vrai positif ( ou recall, ou sensitivy) est égal à TP/P . Il donne la proportion de bonnes détection sur le total des détections positives. S’il est élevé, le détecteur donne trop souvent de fausse alertes.
      • le taux de faux positif : FP/N
      • taux de vrai negatif ( ou spécificité) :  FN/N
      • L’accuracy ( précision) donne la proportion de bonne prédiction : TP+TN/(P+N)
      • l’erreur en est le complément : 1- Acc = (FP+FN)/P+N
      • F : c’est la moyenne harmonique de la précision et du recall. c’est un indicateur de synthèse

L’invention des contrôleurs de radars est de représenter ces performances sous la forme d’un diagramme appelé Receiver Operational Characteristics (ROC) construit en calculant  pour différents seuils de décision ( l’intensité des aboiement)  le taux de faux positifs et en ordonnée le taux de vrais positifs.  Les deux courbes (On utilise le package RORC de r – l’ensemble du code est sous le post) de la figure suivante correspondent aux deux situations (faible et forte discriminance), la diagonale correspond à une situation de non discriminance.  La courbe la plus coudée correspond au signal le moins ambigu (Sd=0.5).

La lecture du ROC est simple : plus la courbe est coudée et meilleur est le modèle ( ou  le signal est peu bruité). Les couleurs représentent différents seuils. Le violet et le bleu correspondent au seuils les plus élevés. En lisant le diagramme on s’ aperçoit que pour accroitre le taux de vrai positif il faut concéder une proportion croissante de faux positifs. Dans le cas du “bon” modèle ceci se produire à partir d’un taux de vrai positif de plus de 90%. Dans le cas bruité, il faudra accepter un taux de l’ordre de 60% de faux positifs pour identifier 8% des vrais positifs. Quel est donc le bon trade-off?

On peut reproduire des représentations analogues avec les autres indicateurs. On a inclus ainsi le diagramme specifité/sensitivité, et bien sur le couple precision/recall bien connu des machine learners. RORC en propose de nombreux autres. Il y en a pour tous les goûts.

La détermination du seuil optimal, qui combine la plus grande proportion de signaux bien reconnus tout en minimisant l’erreur des faux positifs, suit le principe de retenir le point le moins éloigné de la situation de discrimination parfaite : 100% de taux de vrais positifs et 0% de faux négatifs. RORC automatise ce calcul par une fonction simple qui nous donne les résultats suivants.

On s’aperçoit ainsi que le seuil optimal est plus faible (5,91) dans le cas d’un signal bruité (faible discriminance) que dans celui d’un signal clair (6.01). La stratégie est donc d’être plus prudent et d’augmenter le seuil d’alerte quand le signal est ambigu.

Dans ce calcul, un facteur décisif et économique, les coûts de l’erreur, ne sont pas pris en compte. Le coût des faux positifs – penser que le chien va attaquer, alors qu’il ne le fera pas – est un coût moral. Si on milite pour l’antispécisme, qu’on considère que la douleur imposée à l’animal est criminelle, qu’on ne mérite pas de circonstances atténuantes due à la peur, ce coût sera élevé. Il peut être consacré par le droit et se traduire par de fortes amendes si ce n’est des peines de prison. Le coût des faux négatifs est celui de se faire mordre, il est moins ambigu et  il se traduit par celui d’une visite à l’hôpital pour le vaccin anti-rabique et couturer la blessure.
Une autre fonction de RORC permet d’analyser ces options en fixant un coût pour les faux négatifs et les faux positifs. On va donc calculer les seuils en envisageant deux situations qui s’ajoutent à l’analyse précédente où ces coûts sont considérés comme équivalents.

      • Forte valeur morale : On fixe à 1 le coût des faux négatifs  et à 5 celui des faux positifs (il est 5 fois plus coûteux de frapper le chien que de se faire mordre)
      • Fort égoïsme : On fixe à 5 le coût des faux négatifs  et à 1 celui des faux positifs ( il est 5 fois moins coûteux de frapper le chien pour rien que de se faire mordre).

Le résultat apparait dans la figure suivante. On s’aperçoit que lorsque le signal est clair (forte discriminance) la moralité a peu d’influence, on retient un seuil un peu plus bas en cas d’égoïsme, à peine plus élevé quand on partage des valeurs antispécistes.  Ces valeurs sont équivalents. Lorsque le signal est ambigu ( faible discriminance), on passe en revanche du simple au double. Le poids de la morale impose un seuil très élevé (8.66), celui de l’ego-préservation l’effondre de moitié (3.91). Deux stratégies totalement différentes émergent, pas tant par le calcul, mais par son imprécision ! Quand le modèle discrimine mal, l’impact des coûts, dont la valeur est fixée indépendamment du modèle, sur le seuil de décision est considérable.

Notre petite histoire de chien (en hommage au musée de la chasse dont l’objet est bien la détection) avait d’abord un but pédagogique et servira à nos étudiants ( ceux de marketing y trouveront une bonne manière d’améliorer leur connaissance des méthodes de scoring et de leurs évaluations). Elle a aussi sa leçon morale et politique.
L’opérationnalisation d’un modèle de décision – la détection d’un signal en est une variété –  ne consiste pas simplement à faire des prédictions. Elle conduit à choisir des normes pour établir la décision. Les valeurs de ses normes sont externes au modèle. On frappe le chien, pas seulement parce qu’il aboie, mais parce qu’on identifie de manière imprécise cet aboiement, et que dans cette incertitude on privilégie son propre intérêt, à moins d’être soumis à une autre norme, celle de la vie du chien. Et le modèle ne décide pas de ce choix. Il l’accuse quand il est imprécis. Autrement dit ils pourraient être neutre quand il sont précis, mais quand il ne le sont pas, ils traduisent des choix politiques et moraux.
Pour donner une idée plus concrête prenons la question de  l’octroi de crédit à la consommation. Noter les consommateurs sur une échelle de risque ( risk scoring) ne porte pas directement à conséquence pourvu que le modèle soit construit convenablement : sur des échantillons représentatifs (sans biais de sélections, ce cancer du big data)  et avec une bonne spécification ( sans biais du même nom) . Ce peut être un modèle logit qui fournissent un score sous la forme d’une probabilité de défaillance à rembourser ou pourquoi pas quelque chose de beaucoup plus sophistiqué. Sa mise en œuvre requiert une étape supplémentaire : fixer le seuil qui amènent à considérer un mauvais crédit. A quel niveau doit-on refuser le prêt? Si le risque est supérieur à 5%? ou 10%? ou 20% ?
Ce seuil dépend non seulement de la qualité du signal à traiter (le profil du demandeur de crédit qui va se résumer en un score qui discrimine les bons et les mauvais risques)  mais aussi par l’introduction de coûts associés à l’erreur qui prend un double visage. Le faux négatif c’est accorder un crédit à quelqu’un qui ne le remboursera pas, et son coût le montant perdu. Le faux positif c’est refuser un crédit à quelqu’un qui l’investira dans une startup nommée Facebook et qui vaudra 600 milliards. Les banques généralement comptent le premier risque et pas le second. On pourrait imaginer un monde où les emprunteurs opposent les opportunités perdues à celui qui leur a refusé un crédit.

Dans un monde de donnée qui se prépare à envahir le monde avec le machine learning et les nombreuses familles de modèles prédictifs, infiltrant dans tous les processus des micro-mécanismes de détection et de décision,  il y a toute les chances que les modèles restent imparfaits car ce monde reste un monde social, où les corrélations sont généralement faible, au contraire d’un monde physique plus déterministes. Cette imperfection par nature risque d’amplifier l’effet des systèmes de valeurs, qui se traduit dans l’évaluation des coûts des erreurs, sur la détermination des seuils de décision.

 Annexe code largement inspiré de  https://www.r-bloggers.com/a-small-introduction-to-the-rocr-package/


Cours marketing Digital à l’UPF

Ce cours est donné aux étudiants du Master Management et Commerce International de l’UPF à Tahiti ( 27 aout au 7 septembre).

Evaluation :

Un exposé en groupe sur un des thème abordés dans le plan de cours et un examen sur table (analyse d’un mini cas).

Plan de cours

  1. Introduction
  2. Le consommateur appareillé – usages et pratiques
    • Equipements et usages
    • compétences et stratégies
  3. Le consommateur appareillé – technologies de la persuasion
    • l’esprit du nudge et les biais cognitifs
    • Ux, design et gouvernementalité
  4. Technologies : big data, ML etc.
    • la stratification des technologies
    • La généralisation du feed-back
  5. Le modèle de plateforme et leurs modèles d’affaire
  6. L’empire de la personnalisation
    • le sur-mesure et le on-demand
    • les moteurs de recommandation pour réduire la diversité
  7. Digitalisation de la relation client
    • du CRM aux micro-moments
    • du mobile au vocal
  8. Médias et Publicité programmatique
  9. e-commerce et Omnicanal
  10. communauté et réseaux sociaux
  11. Prix et digital
  12. Contrôle marketing

Références du cours :

 

Nouvelle formes de Marketing

17039872067_cf7f22e4a8_kCe cours est donné dans le cadre de la Licence 3 à l’UFR SEGMI à Paris Nanterre . Partant des nouveautés dans les modes de consommation largement induites par les technologies de l’information mais s’intéressant aussi à la fragmentation des marchés et de leur identités culturelles et morales, ce cours vise à explorer la réponse marketing des entreprises dans le monde digital et leurs innovations au travers d’études de cas. L’article ” La métamorphose digitale du marketing” synthètise le propos.

Thématique

Le thème général pour la session 2017 portera sur le marketing des plateformes,  et plus particulièrement sur l’emploi des données et des algorithmes dans les stratégies marketing. L’étude des plateformes est privilégié. Il s’appuie en partie sur le livre “Plateformes : Sites collaboratifs, marketplaces, réseaux sociaux… Comment ils influencent nos choix“. Il s’agira pour les étudiants de choisir un cas de plateformes (Airbnb, Blablacar, Etsy, Zillow, Taskrabbit, etc… ) et de s’attacher à un problème de marketing qu’elles rencontrent et qu’elle résolve par l’utilisation des données et d’algorithmes spécifiques. : fixer un prix pour Uber, définir une politique de modération pour Twitter, un mécanisme de résolution des litiges pour Airbnb, une indication de prix pour Blablacar, un système de recommandation pour Netflix ou la gestion des commentaires par Booking.

Evaluation :

Les étudiants auront à écrire un essai après avoir choisi un cas et s’être inscrit ici .

Il se présentera sous la forme d’un document de 8000 signes, organisé autour d’une problématique précise; 5 à 8 liens significatifs devront être mentionnés dans le texte, deux ou trois références scientifiques devront enrichir la bibliographie ( livres et/ou articles de revues dites scientifiques). Une illustration photographique sera proposée. L’ensemble doit prendre la forme d’un article long de blog ( le style de Medium est recommandé).

Le travail est individuel.

Syllabus

Le découpage du cours suit les grandes problématiques marketing

1- introduction : tendances de la consommation et modèle de plateforme

2 – Segmentation et versants de marché

  • Segmentation par avantages recherchés ( à partir de l’étude UM Wave)
  • Marchés multi-versants et marchés d’appariement – gestion des sites de rencontre.

3 – La relation à la marque et son positionnement dans l’espace digital

  • Analyse de la réputation et du sentiment
  • Points de contact et interaction multicanal
  • Réclamation et gestion des litiges ( cas Airbnb)

4 – Les systèmes d’influence et de discipline des consommateurs

  • CGU, modération, trolling et sanctions – twitter et presse
  • Les systèmes de notation et d’avis – trip advisor
  • Nudge et gamification ( fomo sur booking), système de jetons

5 – La gestion d’une production et d’une distribution à la demande. Simplicité.

  • Echelles et densité : la gestion du crowdsourcing – plateformes d’innovation
  • Systèmes de recommandation – le cas de netflix, amazon, spotify
  • le rôle du machine learning (La valorisation des photo de Flickr)

6 – Les mécanismes de pricing

  • Le surge pricing de Uber
  • Les modèles d’enchères – ebay
  • Les modèles conventionnels – blablacar ( prix recommandé)
  • Problèmes de discrimination. ( airbnb)

7 – Publicité programmatique

  • CRM et DMP
  • modèle de ciblage et reciblages

Présentation d’introduction :

 

 

Le piège à miel des données ne fait pas saliver

Longtemps que je n’avais pas fait de billet d’humeur.

Est-ce de préparer la conférence MyData qui aura lieu la semaine prochaine entre Talinn et Helsinki ( gardons l’esprit en vacances), mais par une opération rare de sérendipité, voila que je vois surgir de mon fil twitter, cette page de publicité, dans le plus pur style viral qu’il soit. Rarement d’ailleurs le mot viral est aussi adéquat. Vous cliquerez l’image suite, et vous verrez que vous avez été averti.

De quoi s’agit-il? D’une offre de parrainage classique. Si vous retweetez cette offre en taguant l’image avec deux de vos amis, vous avez droit gratuitement au kit de séquençage génétique et de craquer votre code génétique.

Et bien sur que j’ai voulu gagner, et suis sur que vous avez faire comme moi. Alors j’ai cliqué et j’ai découvert le moyen de savoir quelle part de Néandertalien  il y a en moi, à quel point suis-je primitif. C’est parfaitement clair et n’a pas besoin de commentaire.

J’ai été grand lecteur de pif gadget, franchement ça n’a plus rien à voir et c’est pareil. On est passé des expériences avec des piles, celles qu’on testait en posant le bout de la langue sur la lamelle de cuivre par un picotement désagréable et métalique, à cracher dans un sac en plastique et à l’envoyer là bas où ils font de la haute-technologie, pour recevoir en retour un certificat attestant les traits néandertaliens qui subsistent dans notre ADN. Il est bien dit sur la pochette, que c’est à but ludique et non thérapeutique, et même que la génétique palélithique n’en était qu’à ses débuts. On joue.

A la première analyse, cette offre – qui est tarifée normalement – à 80 $ pour le Kit Helix DNA, et 24 $ pour le test Neanderthal, est proposé par Isitome et le kit ADN par une autre entreprise évidemment dénommée Helix.

On devine immédiatement le modèle. Des millions de gens envoient leurs salives, ils peuvent rester propriétaires de leurs données, eux-même n’en feront rien.  Helix séquence décode, conserve le code. D’autres entreprises se concentre sur l’identification fonctionnelle des gènes. Lesquels appartiennent à nos très lointains ancêtre ? lesquels predisposent nos futurs enfants à des maladies mortelles, lesquelles affectent nos allergies alimentaires et non alimentaires. C’est un modèles de plateformes, les entreprises qui vont se focaliser sur telle ou telle portion de gènes, développent simplement des applis, une nouvelle génération d’applis. Les médecins, les hôpitaux, seront nécessairement obligés de passer par leurs API pour tester leurs hypothèses et leurs diagnostics. On espère que les services secrets n’y auront pas d’accès, mais il y a de quoi douter.

Néanderthal est un formidable produit d’appel pour constituer ce qui potentiellement est un des futurs Google des données génétiques. Des millions de gens et sans doute très bientôt des milliards d’humains auront craché pour qu’on leur vende leur propre histoire : si l’on reprend textuellement la promesse d’Isitome.

C’est merveilleux, nous sommes uniques, un livre unique qu’on ne peut cependant pas lire soi-même, mais qu’on peut faire lire par la plateforme, et dont on va acheter les pages et les lectures par morceau. 20 dollars pour connaitre nos ancêtres, 200 pour nos allergies, au moins 400 pour savoir quelle saloperie on peut léguer à nos enfants, 50 plus tard aux première alerte cardiaque pour que le chirurgien aie une meilleure connaissance de nos prédispositions. Quoiqu’à vrai dire dans ce cas, c’est l’assurance santé qui paye et on lui fera payer un tout autre prix. Un seul décodage, le plus tôt possible est finalement souhaitable, et ce sera une customerlife time value aussi longue que notre vide d’humain. Le pactole.

Mais il faut faire vite. Comme pour les plateformes traditionnelles ( et oui c’est un coup de vieux pour les Ubers et autres Blablacar) c’est celui qui accumule le plus de données, qui détiendra le stock de gène séquencé le plus élevé, qui remporte le marché. A lui de créer un écosystème et une myriades de start-up spécialisée dans les tests, de développer les Apis qui permettent aux tiers, les médecins – et oui, le médecin devient un tiers, un acteur périphérique dans ce modèle- , d’accéder aux données.

La nouveauté dans le cas c’est d’introduire les techniques les plus agressives du marketing, la culture du sweepstake et du cadeau promotionnel. Et d’accrocher sur le plus périphérique, le plus ludique et le plus sensible : notre identité. Les marabouts et les voyantes, ce sont leurs techniques marketing, ne sont désormais plus que poussière. C’est bien plus fort de lire dans la salive que dans le marc de café.

Cela donne le vertige et une toute autre perspective à la question de la protection des données. Jusqu’à aujourd’hui les données étaient des représentations, des traces. Ce qui reste dans la matière après un événement. L’empreinte d’un pied de dinosaure ou un selfie. L’une et l’autre s’effacent rapidement. Rares sont les empreintes de dinosaure et pourtant ils ont beaucoup marché. Avec les selfies, et bien d’autre chose, la question qui se pose depuis longtemps, c’est que reproductibles, ces traces ne s’effacent pas et s’accumulent. Comme si les cheveux que l’on perd, les rognures d’ongles, nos squames,  ne disparaissaient pas dans le néant, mais s’accumulaient autour de nous. On traite ce nouveau problème en nettoyant, en sécurisant, en recherchant une solution qui soit une sorte d’urnes dans laquelle on conserverait nos traces. Est-ce la solution du cloud ou son alternative du cloud personnel et d’un retour au p2p véritable ? On ne sait pas encore.

Mais avec l’ADN, qu’on peut attraper avec un cheveu ou une goutte de salive, il ne s’agit plus de trace, il s’agit de notre propre code. Ce ne sont plus des données personnelle, c’est la personne même !

Sans craindre qu’il soit modifié ( c’est un autre souci), on doit craindre dès aujourd’hui d’être amené à payer un loyer à vie pour qu’on puisse nous lire notre propre code, et bénéficier des avancées de la médecine. Je reste optimiste en croyant qu’avec ces techniques on pourra mieux traiter les maux qui se précipitent avec l’âge. Le vertige est que cela semble inexorable.

 Crédit photo : Thierry Ehrmann , et lire le texte – en 2008 le kit était à près de 1000 $, aujourd’hui à 100.