Les sondages électoraux sont-ils fiables?

CROP, Ipsos, Léger, Mainstreet; autant de firmes de sondages qui publient, plusieurs fois par campagne électorale, les intentions de vote pour chaque parti politique.

Comment expliquer que l’une suggère, par exemple, qu’un parti soit à 11% et l’autre, le même jour, à 14%? Peut-on croire les sondages, et comment fonctionnent-ils?

Pourquoi publier des sondages?

Claire Durand, professeure au département de sociologie de l’Université de Montréal en méthodologie et analyse des sondages, et présidente de la World Association for Public Opinion Research, explique que de publier des sondages permet aux partis, dans un premier temps, de savoir qui vote pour qui, en termes d’âge, de nationalité, de localisation, etc.

Pour les médias, les sondages aident à créer de la nouvelle. Pour les analystes, il s’agit d’un des seuls moments où ils peuvent vérifier et décortiquer la méthodologie des sondeurs et évaluer leur capacité réelle à prédire les résultats.

Comment fonctionnent les sondages

Alors qu’en recherche scientifique, on doit répéter scrupuleusement la même méthodologie d’une expérience à l’autre pour pouvoir comparer les résultats de façon fiable, impossible de faire la même chose pour les sondages. Aucune firme n’a les mêmes techniques. Ni dans les échantillons qu’elles choisissent (bien qu’elles s’efforcent que ceux-ci soient représentatifs), ni dans la façon de calculer les marges d’erreur ni dans la façon de poser les questions ou l’ordre dans lequel elles sont posées. Par exemple, la firme Léger utilise son propre panel pour récolter des données, et possède sa base de données interne. CROP fait appel à une source externe pour son échantillon. Ipsos utilise un mélange d’échantillons de personnes qui répondent à ses questions à la fois sur Internet, au téléphone et avec un segment d’une firme externe. Mainstreet se concentre sur le web.

Les sondeurs utilisent aussi une rotation automatisée de l’ordre des partis politiques apparaissant dans leurs questions. Mais là encore, il y a des différences. Certains font alterner les quatre partis politiques principaux, ainsi que la catégorie « autre », qui inclut les 18 autres partis inscrits à Élections Québec. Mainstreet, lui, nomme chacun des 22 partis distinctement. Comme ça leur donne davantage de visibilité, « il est normal de voir une montée des intentions de vote pour le Nouveau Parti démocratique du Québec, ou pour le Parti conservateur du Québec », explique Mme Durand.

Les limites des sondages

Historiquement, les sondages ont raison dans leurs prédictions générales, mais pas nécessairement au niveau des pourcentages. « Ils ne sont pas précis sur les pourcentages des résultats, mais le sont sur les tendances, poursuit Claire Durand. Ils témoignent de mouvements réels et vrais en termes d’intentions de vote ».

Ce qui, dépendamment du système électoral, peut entraîner des surprises. On pense en particulier à l’élection présidentielle américaine, où les sondeurs n’avaient pas annoncé la victoire de Trump, mais avaient correctement jaugé les résultats (Hillary Clinton ayant bel et bien eu, à l’échelle nationale, plus de votes que Donald Trump).

Selon l’étude la plus récente sur la question, parue en mars dans Nature Human Behaviour et intitulée Election polling errors across time and space, les sondages sont plutôt alignés avec les résultats récents des urnes. Mais cette performance varie d’un pays à l’autre en suivant les contextes politiques. L’étude a été menée sur 30 000 scrutins nationaux de 351 élections générales dans 45 pays, entre 1942 et 2017.

Qu’est-ce que la marge d’erreur

La marge d’erreur, autrement appelée intervalle de confiance, c’est l’écart entre ce que les firmes de sondages mesurent avec leur échantillon, et la réalité sur le terrain.

On en fait souvent fi, notamment dans l’interprétation des sondages par les médias. Ces derniers coupent parfois les coins ronds en présentant les sondages, notamment lorsqu’ils annoncent qu’un parti « a progressé de 1% » ou qu’il en devance un autre par 1%. Or, lorsque l’écart est aussi serré, un sondage n’a jamais la prétention de conclure de façon aussi affirmative.

La marge d’erreur, de plus, ne prend en considération que l’échantillonnage, sans tenir compte d’autres variables, comme les personnes qui ne veulent pas répondre ou le fait que des gens peuvent mentir dans leurs réponses. En somme, la marge d’erreur est l’aveu que le sondage n’a pas la prétention d’être exact: il annonce moins un résultat précis qu’une probabilité qu’un résultat se situe entre deux chiffres.

Élections québécoises 2018 – Un débat de science, de (belles) paroles et de chiffres