Steve Jakoubovitch de Radio rôliste m’avait prévenu qu’il souhaitait écrire un article sur les sondages dans le JDR, et j’étais impatient de le découvrir. Il vient de paraître. Sa concomitance avec la 3e édition du sondage du Thiase ainsi que le fait qu’il ait choisi de prendre précisément ce dernier pour exemple m’oblige à, non pas répondre, mais apporter simplement ma pierre à l’édifice. Sachez en tout cas que je suis personnellement ravi que le débat soit aussi clairement posé.

« Il est impossible de produire un sondage fiable sur la population rôliste ou GNiste ». Voilà commence l’article en question. Ma réaction est simple : oui c’est vrai, mais cela ne se limite pas aux sondages sur la population rôliste ou GNiste.

Le sondage du Thiase : qu’est-ce donc ?

Depuis 2010, votre serviteur propose tous les 4 ans un questionnaire en ligne assez simple, servant à produire ce que l’on pourrait qualifier de « photo de famille » de la communauté. Ce sondage n’en est pas vraiment un, puisque précisément aucune population connue en amont n’est « sondée » via les méthodes probabilistes : il s’agit plus précisément d’une enquête par autosélection.

Donc disons-le tout net : ce sondage a une visée récréative, éventuellement inspirante, en aucun cas scientifique au sens absolu du terme. Néanmoins (pour répondre à la première objection formulée) j’essaie le plus possible de le diffuser en dehors des seuls cercles des forums, en utilisant notamment les mails des nombreux rôlistes qui m’ont contacté au fil des années, en utilisant le réseau des associations inscrites sur le site, et aussi tout simplement en incitant les participants à relayer le lien par e-mail. On n’aura jamais la preuve du résultat, mais l’effort de diversification est là.

Le truc impossible avant le questionnaire

Je reprends volontairement le même titre que l’article de Radio Rôliste pour montrer que, en effet, un sondage par autosélection n’est pas construit scientifiquement au sens où normalement les sondés sont choisis avec soin par l’institut de sondage, produisant ainsi un échantillon. Donc, oui, certains rôlistes sont sans doute sur-représentés, ou plutôt : personne ne le saura jamais.

Et c’est là mon point : je ne peux qu’abonder dans les arguments avancés, bien connus d’ailleurs depuis les années 2000 et l’émergence des sondages en ligne. Lire à ce propos par exemple ce rapport canadien de 2006.

Mais je trouve cela un peu dommage de ne pas considérer que c’est le cas de la grande majorité des sondages auxquels nous sommes confrontés tous les jours, dans la presse notamment. Parce que finalement, ce que je comprends de cet article très étayé, c’est que, selon son auteur, un sondage ne serait valable que si son échantillon est construit à partir d’un recensement national, seule possibilité (effectivement) de connaître avec certitude la structure démographique d’une sous-population étudiée (en supposant néanmoins que les personnes interrogées réponde de bon cœur).

Or, même les grands instituts de sondage construisent leurs échantillons à partir de postulats critiquables, en choisissant des variables parmi la population française en considérant qu’elles sont impactantes pour la pratique culturelle étudiée (dans le cas qui nous intéresse). Mais rien ne prouvera jamais que c’est le lieu de vie ou le sexe qui influe davantage – en ce qui concerne les pratiques de JDR – que la taille des ongles ou la couleur de cheveux. C’est donc bien l’Etat seul, via les recensements, qui peut produire des certitudes statistiques permettant ensuite des sondages probabilistes « sûrs ». En considérant d’ailleurs que ce recensement pose lui-même les « bonnes questions » (cf. l’exemple caricatural de la taille des ongles ou de la couleur de cheveux).

Alors, qu’est-ce qu’on fait ?

Les propositions avancées par l’article de Radio Rôliste pour dépasser ce qui est présenté comme une impossibilité pratique sont intéressantes. Néanmoins, l’idée de s’intéresser à des sous-populations mieux connues me semble pouvoir être soumise aux mêmes critiques que pour un sondage généraliste : même en se rapprochant de grosses associations locales, les risques de biais sont identiques. Il faudrait un recensement local, tout aussi impensable qu’un recensement national.

En revanche je suis tout à fait d’accord : l’approche qualitative est passionnante et doit être proposée. Elle est pour moi néanmoins seulement complémentaire d’une approche quantitative. En attendant mieux, je trouverais dommage de ne pas faire ce que l’on peut (sans prétendre qu’on fait autre chose que cela, d’ailleurs) : malgré toutes ses limites, je reste intéressé par les chiffres d’un sondage en ligne. Pourquoi ?

(1) C’est souvent le seul moyen d’avoir des débuts de chiffres sur des populations délaissées par les enquêtes publiques, type JDR.

(2) Le sondage en ligne, malgré ses biais invérifiables (dans un sens comme dans l’autre) a de nombreux avantages par rapport aux sondages par échantillonnages : baisse du risque de non-réponse et meilleure implication des répondants notamment, grâce à la possibilité de « prendre son temps » et surtout de choisir le moment où l’on répond (lire à ce propos cet article écrit par des chercheurs canadiens en 2015). Cela nous rappelle que les sondages soi-disant scientifiques passent facilement sous silence les nombreux biais qu’ils contournent, à commencer par le biais de non-réponse (« j’ai été sélectionné pour participer à l’échantillon mais je n’ai pas envie ») et celui de désengagement (« tu me saoules avec tes questions donc je réponds vite et n’importe quoi »).

(3) Mon point de vue plus « philosophique » : un chiffre a de la valeur (toute valeur n’étant pas scientifique) tant qu’il n’y a pas la possibilité technique/économique/pratique d’en obtenir un autre de meilleure qualité. En gros : c’est pas parce que on ne pourra jamais dire « ce chiffre est vrai » (ou plutôt « ce chiffre a une probabilité jugée satisfaisante de refléter la réalité ») qu’il n’y a aucun intérêt à le produire, tant que la démarche est sincère et ne vise pas, en truquant les chiffres notamment, à autre chose que d’intéresser le lecteur et l’inspirer. Je préfère donc un sondage par autosélection, avec une démarche de volontariat, plutôt que de nombreux sondages pseudo-scientifiques, dont les biais sont moins évidents mais tout autant troublants.

(4) Je suis éminemment d’accord avec Steve Jakoubovitch quand il évoque ce qu’on pourrait définir comme le totem des chiffres, « la confiance exagérée que nous plaçons dans des chiffres »… Néanmoins, à mon sens, c’est justement renforcer cette nouvelle religion que de laisser penser qu’une probabilité vraie soit possible (ou plutôt souhaitable), reléguant ainsi les statistiques basées sur le volontariat au second plan. 

Pour ceux qui souhaitent rejoindre la photo de famille, le sondage du Thiase est ouvert encore jusqu’à demain !