open Menu secondaire

Recherche quantitativeÉtude nationale auprès des électeurs pour la 43e élection générale canadienne – Rapport de méthodologie

Le volet sondage de l'ENE a été réalisé par téléphone et en ligne auprès d'électeurs (c.-à-d. de citoyens canadiens ayant au moins 18 ans le jour de l'élection); il comportait trois vagues, soit avant, pendant et après la période électorale. Le tableau qui suit présente les renseignements techniques associés à chaque vague de sondage.

Vague Échantillon Méthode de collecte de données Période de réalisation Taille de l'échantillon
W1 Longitudinal En ligne, téléphone Avant l'élection : du 12 juin au 14 juillet 2019 49 993
W2 Longitudinal En ligne Période électorale : du 3 septembre au 20 octobre 2019 23 880
W3a Longitudinal En ligne, téléphone Après l'élection : du 23 octobre au 9 décembre 2019 19 435
W3b Discret Téléphone Après l'élection : du 22 octobre au 12 novembre 2019 2 000

Des renseignements détaillés sont fournis ci-dessous.

Échantillonnage

Le volet sondage de l'ENE a été réalisé avec un échantillon longitudinal et un échantillon discret. L'échantillon longitudinal a été recruté pour le sondage préélectoral (W1) en juin 2019, par échantillonnage probabiliste (recrutement téléphonique par composition aléatoire) et non probabiliste (panel Web). L'échantillon aléatoire discret a été recruté pour la vague de sondage postélectorale, pour compenser la perte d'effectifs de l'échantillon longitudinal. L'échantillonnage probabiliste par composition téléphonique aléatoire a été utilisé pour le recrutement de l'échantillon discret.

Échantillon longitudinal

Les électeurs ont été recrutés en proportion de la population, selon la province, l'âge et le genre. Pour que les échantillons finaux soient suffisamment grands, les objectifs de recrutement ont été fixés en tenant compte de la perte d'effectifs prévue pour chaque source. Le tableau ci-dessous présente le nombre cible et le nombre final d'entrevues par vague et par type d'échantillon. Les deux tiers des répondants initiaux (W1) ont été sélectionnés par échantillonnage probabiliste, et les autres proviennent d'un panel en ligne composé de volontaires. Les répondants aux vagues de sondage suivantes W2 en période électorale et W3a après l'élection faisaient tous déjà partie de l'échantillon initial de la vague W1. Il n'était pas nécessaire d'avoir participé à la vague W2 pour être invité à participer à la vague W3a.

Type d'échantillon W1 W21 W3a
Nombre cible d'entrevues Nombre d'entrevues réalisées Nombre cible d'entrevues Nombre d'entrevues réalisées Nombre cible d'entrevues Nombre d'entrevues réalisées
Probabiliste – Web 18 000 29 462 10 000 14 266 5 000 8 521
Probabiliste – téléphone 3 000 3 063 02 0 2 000 1 744
Panel 17 200 17 468 12 040 9 614 9 030 9 170
Total 38 200 49 993 22 040 23 880 16 030 19 435

Échantillon probabiliste

Une base d'échantillonnage double (numéros de téléphone fixe et cellulaire) a été utilisée pour maximiser la couverture et obtenir un échantillon représentatif des électeurs. L'échantillon de numéros de téléphone fixe a été fourni par la firme ASDE, et l'échantillon de numéros de téléphone cellulaire, par la firme Advanis.

Le même processus de sélection aléatoire a été utilisé dans les deux cas. En ce qui concerne le répondant particulier au sein du ménage, les intervieweurs demandaient de parler à la personne qui était la dernière à avoir fêté son anniversaire de naissance et qui aurait au moins 18 ans et aurait la citoyenneté canadienne le jour de l'élection, en octobre. S'il s'agissait d'une autre personne que celle ayant répondu au téléphone, les intervieweurs demandaient de parler au répondant admissible. Aucune procédure de sélection n'a été utilisée pour l'échantillon recruté par téléphone cellulaire. Une fois qu'il avait un adulte à l'appareil, l'intervieweur vérifiait s'il avait le droit de vote.

Les numéros de téléphone sélectionnés pour l'échantillon longitudinal étaient assignés exclusivement soit au sondage téléphonique, soit au sondage Web pour la durée de l'étude. Pour l'échantillon téléphonique, les personnes étaient jointes par des intervieweurs qui réalisaient le sondage au moyen d'un système d'entrevue téléphonique assistée par ordinateur. Pour l'échantillon probabiliste Web, les personnes étaient d'abord recrutées par téléphone par des intervieweurs. L'admissibilité d'une partie de l'échantillon Web a été déterminée pendant l'appel de recrutement, et celle de l'autre partie a été établie au moyen d'un questionnaire en ligne transmis par messagerie texte. Les participants consentants qui répondaient aux critères d'admissibilité recevaient ensuite par messagerie texte ou courriel, selon leur choix, une invitation à participer au sondage au moyen d'un système d'entrevue Web assistée par ordinateur. Les protocoles de travail sur le terrain sont présentés plus loin dans ce rapport.

Échantillon non probabiliste

Un des principaux objectifs du plan d'échantillonnage était de fournir suffisamment de membres de sous-populations habituellement moins susceptibles de voter aux élections fédérales canadiennes et qui, lors de précédents sondages auprès des électeurs, étaient plus difficiles à recruter de façon purement aléatoire. Les sondages précédents reposaient sur le suréchantillonnage de groupes cibles, comme les jeunes et les électeurs autochtones, pour obtenir suffisamment de sujets aux fins d'analyse. Le nombre d'appels et le temps de travail sur le terrain nécessaires à cette méthode ne convenaient pas à l'ENE de 2019, étant donné la plus grande taille des échantillons devant être recrutés en peu de temps pour la première vague de sondage. On a plutôt ajouté un panel non probabiliste au plan d'échantillonnage, suivant l'idée que ces répondants supplémentaires pourraient assurer une représentation adéquate des sous-populations dans l'ensemble de l'étude.

La plateforme de panel Web Dynata a servi à l'échantillonnage non probabiliste. Dynata recrute des panélistes de diverses façons : partenariats avec des programmes de fidélisation de grandes marques; recrutement externe au moyen de messages sur des sites Web; applications mobiles; ou certaines communautés en ligne. Tous les panélistes de Dynata doivent accepter de participer suivant un processus en deux étapes, et la participation à divers sondages est limitée afin d'éviter les panélistes « professionnels ». Les panélistes ont chacun un numéro d'identification unique servant à suivre et à enregistrer leurs activités, y compris toute participation antérieure à un sondage, ainsi qu'à vérifier leur identité. L'effectif de l'échantillon longitudinal du panel Web de Dynata a reçu par courriel des invitations à répondre aux questionnaires au moyen d'un système d'entrevue Web assistée par ordinateur. Les protocoles de travail sur le terrain sont présentés plus loin.

Échantillon discret

Comme pour l'échantillon probabiliste longitudinal, l'échantillon représentatif discret de 2 000 électeurs a été recruté par composition aléatoire s'appuyant une base double chevauchante de numéros de téléphone fixe et cellulaire. Pour en savoir plus sur la structure d'échantillonnage et la sélection des répondants, voir plus haut la section « Échantillon probabiliste », sous « Échantillon longitudinal ».

Sous-populations

La stratégie d'échantillonnage prenait en considération la nécessité d'avoir, pour des sous-populations sélectionnées, des échantillons finaux de taille suffisante et, dans une certaine mesure, proportionnels à l'ensemble des électeurs canadiens. Les sous-catégories démographiques ont été sélectionnées en fonction des groupes qui sont habituellement plus difficiles à joindre par sondage et dont la participation électorale est inférieure à la moyenne, ou qui représentent des électeurs qui avaient le droit de vote pour la première fois dans une élection fédérale.

À l'exception des non-votants, les représentants de ces sous-populations ont été identifiés à l'aide d'un processus de sélection. Ce processus a commencé avant la première vague et s'est poursuivi tout au long du sondage préélectoral.

Les définitions suivantes ont servi à classer les répondants en différentes sous-populations :

  • électeurs handicapés : ces répondants ont été identifiés en fonction des incapacités fonctionnelles selon la difficulté rapportée à réaliser certaines activités, ainsi que suivant une mesure unique de la sévérité globale de l'incapacité sur une échelle allant de l'absence d'incapacité à l'incapacité très sévère, en passant par l'incapacité légère. Les questions 7 et 8 du questionnaire W1, en annexe, indiquent comment la sévérité globale de l'incapacité a été évaluée;
  • électeurs autochtones : répondants ayant déclaré être membres de Premières Nations, Inuits ou Métis;
  • néo-Canadiens : immigrants devenus citoyens canadiens après la 42e EG et qui avaient donc le droit de vote pour la première fois à l'occasion de la 43e EG;
  • étudiants de niveau postsecondaire : étudiants de 18 à 34 ans inscrits dans un établissement d'enseignement postsecondaire (ou prévoyant l'être) le jour de l'élection;
  • jeunes NEET : électeurs de 18 à 34 ans qui ne sont ni en emploi, ni aux études, ni en formation au moment du sondage, par opposition aux jeunes qui sont aux études (les répondants de 18 à 34 ans qui font des études secondaires ou postsecondaires au moins à temps partiel) et aux jeunes qui travaillent au moins à temps partiel (sans être aux études).

Le tableau ci-dessous présente le nombre cible et le nombre final de questionnaires remplis (W3a, W3b) par type d'échantillon et par sous-population.

Sous-population Échantillon probabiliste longitudinal Échantillon non probabiliste longitudinal Échantillon probabiliste discret Totaux W3
Nombre cible Nombre final Nombre cible Nombre final Nombre cible Nombre final Nombre cible Nombre final
Électeurs handicapés 1 850 3 057 1 760 3 216 440 421 4 050 6 694
Électeurs autochtones 596 887 272 300 68 90 936 1 277
Néo-Canadiens 154 206 176 139 30 56 360 401
Jeunes de 18 à 24 ans 1 020 953 696 264 174 144 1 890 1 361
Étudiants de niveau postsecondaire 770 1 190 464 635 116 75 1 350 1 900
Jeunes NEET 144 230 144 157 36 32 324 419
Non-votants -- 648 -- 1 150 -- 211 4 0703 2 009

Deux groupes ont été difficiles à joindre et à retenir pendant toute la durée de l'étude. La cible finale pour les jeunes de 18 à 24 ans et une cible précise pour les électeurs autochtones vivant dans une réserve n'ont pas été atteintes (quoique la cible générale pour les électeurs autochtones ait été dépassée)4.

Pour ces deux groupes, l'origine de l'échec remonte à la première vague, pendant laquelle les cibles initiales pour l'échantillon probabiliste Web n'ont pas été atteintes, bien que les cibles aient été atteintes aussi bien pour l'échantillon non probabiliste que pour l'échantillon probabiliste téléphonique. En raison de la taille plus importante de l'échantillon probabiliste Web, les cibles de la première vague associées aux deux groupes n'ont pas pu être atteintes. Le problème a ensuite été exacerbé par le fait que les deux groupes ont subi, d'une vague à l'autre, une perte d'effectifs plus importante que les autres répondants du même échantillon. L'échantillon non probabiliste a toutefois connu une perte d'effectifs plus grande que les échantillons probabilistes.

Comme les jeunes et les électeurs des Premières Nations ont moins tendance à voter, les cibles manquées pour ces groupes expliquent probablement, du moins en partie, le nombre final insuffisant de non-votants parmi les répondants.

Incitatifs

Une structure incitative a été mise en place pour l'échantillon longitudinal, mais aucun incitatif n'a été offert aux répondants de l'échantillon aléatoire discret du sondage postélectoral.

Par nécessité, des stratégies d'incitation distinctes ont été employées pour l'échantillon probabiliste et l'échantillon non probabiliste. Pour l'échantillon probabiliste, une double stratégie avait été proposée :

  1. tirage de cinq prix d'une valeur de 200 $ chacun pour ceux qui acceptaient de participer à l'étude;
  2. incitatif financier garanti, payé après coup, pour les répondants difficiles à joindre.

Globalement, le recrutement a été assez facile, et la perte d'effectifs a été assez faible pour rendre le tirage inutile. Toutes les ressources consacrées aux incitatifs ont donc été affectées à l'amélioration des taux de rétention de sous-populations ayant une perte d'effectifs beaucoup plus marquée, soit les jeunes NEET et les électeurs des Premières Nations vivant dans une réserve. Dans les deux cas, les répondants se sont vu offrir une somme de 20 $. Les panélistes de Dynata ont obtenu une récompense pour avoir participé aux sondages, conformément au programme incitatif du panel, qui tient compte de la durée du sondage et de la nature de l'échantillon.

Questionnaires

Afin de faciliter le suivi de ses mesures de base au fil du temps, EC a fourni des questionnaires basés sur ses précédents sondages postélectoraux, y compris le Sondage auprès des électeurs à la suite de la 42e élection générale, l'Évaluation du Programme de rappel électoral de la 42e élection générale canadienne, l'Enquête nationale auprès des jeunes ainsi que certaines questions élaborées par EC, qui avaient été posées dans l'Étude électorale canadienne des années antérieures. Pour certaines mesures de base, les échantillons ont été divisés afin de vérifier la comparabilité de certaines échelles de mesure et permettre l'adoption de nouvelles échelles pour l'avenir sans compromettre la capacité de suivi des sondages précédents.

Quatre questionnaires ont été élaborés, soit un pour chaque vague de sondage auprès de l'échantillon longitudinal (W1, W2 et W3a) et un pour le sondage postélectoral auprès de l'échantillon discret (W3b). Les questionnaires W1 et W3a ont été conçus pour pouvoir servir à la fois aux sondages téléphoniques et aux sondages en ligne, les questions étant parfois différentes selon le mode utilisé. Des efforts ont été déployés pour assurer la comparabilité des résultats d'un mode à l'autre. Par exemple, aux questions du sondage téléphonique comprenant une liste de choix de réponse à ne pas lire correspondaient des questions ouvertes dans les questionnaires en ligne. Certaines questions ont été posées dans un seul des modes, si l'autre mode ne s'y prêtait pas. Par exemple, si une question demandant aux répondants d'examiner ou de classer une longue liste était trop compliquée à poser au téléphone, elle n'était incluse que dans le sondage Web.

Les questionnaires destinés à l'échantillon longitudinal ont été conçus pour réduire l'effort demandé aux répondants (les questions d'ordre démographique, par exemple, n'étaient posées que pendant le recrutement), pour permettre le suivi des activités des électeurs, comme l'inscription pour voter, et l'évolution de leurs connaissances et attitudes concernant le vote, et pour permettre la comparaison entre les attentes des électeurs relativement au vote et leur expérience de vote réelle. Ainsi, l'enchaînement logique dans les questionnaires W2 et W3a dépendait de certaines réponses données dans les sondages précédents. Par exemple, seuls les répondants ayant déclaré avoir un handicap dans le questionnaire W1 ont été interrogés sur la mesure dans laquelle ils trouvaient le vote accessible, dans le questionnaire W3a.

Les questionnaires des vagues W2 et W3a ont servi, entre autres, à déterminer la mesure dans laquelle les répondants se souvenaient de la campagne d'information des électeurs. Ils comprenaient à cette fin des questions de l'Outil d'évaluation de campagnes publicitaires du gouvernement du Canada. La mesure du rappel assisté a été limitée au sondage W2, dans lequel, en fonction du moment où se déroulait le sondage, une sélection de publicités avec images, son et vidéo était présentée aux répondants Web. L'annexe 3 présente un aperçu du matériel publicitaire utilisé à chaque phase du sondage W2.

En tout, le questionnaire W2 a compté cinq phases, coïncidant avec les jalons de la période électorale et les cinq phases de la campagne d'information des électeurs :

  • du 3 au 17 septembre : phase initiale de l'élection (W2a);
  • du 18 septembre au 1er octobre : phase d'inscription (W2b);
  • du 2 au 8 octobre : phase de la carte d'information de l'électeur (W2c);
  • du 9 au 15 octobre : phase du vote à l'avance (W2d);
  • du 16 au 20 octobre : phase du jour de l'élection (W2e).

Les questions propres à une phase étaient programmées de façon à apparaître selon la date à laquelle le répondant avait accédé à l'invitation au sondage.

Le questionnaire W3b comprenait un ensemble de questions faisant partie de la base du questionnaire W3a, mais en excluait d'autres pour permettre la collecte auprès de l'échantillon discret de données sociodémographiques qui avaient déjà été recueillies auprès de l'échantillon longitudinal pendant la première vague.

Il fallait de 15 à 20 minutes pour répondre à chacun des questionnaires. Les versions en ligne étaient adaptées aux appareils mobiles.

Essais préliminaires

Suivant les pratiques exemplaires en matière de sondage, les questionnaires ont été mis à l'essai avant leur utilisation sur le terrain. En général, les questionnaires ont bien fonctionné. Cependant, les questionnaires W1 et W3a étaient trop longs et ont dû être raccourcis. Comme solution, des questions ont été omises pour une ou l'autre partie des échantillons, la syntaxe ou la formulation de certaines questions a été révisée, et des questions ont été retirées soit de toutes les versions ou seulement de la version téléphonique puisque, pour un même nombre de questions, il fallait généralement plus de temps pour répondre au questionnaire au téléphone qu'il n'en fallait en ligne. Outre la longueur des questionnaires, aucun problème important n'a été détecté relativement à la conception ou à la compréhension des questions. Par conséquent, seuls des changements mineurs ont été apportés aux questionnaires, et des instructions ont été données pour la programmation.

Des procédures d'essai distinctes ont été employées pour les sondages téléphoniques, menés par des intervieweurs, et pour les questionnaires en ligne, remplis directement par les répondants. Dans l'essai des questionnaires remplis par un intervieweur au téléphone (W1, W3a, W3b), les participants ont d'abord répondu au sondage, dans la langue officielle de leur choix, puis à une série de courtes questions complémentaires5. Après le sondage, les répondants ont eu l'occasion de formuler des commentaires au sujet du questionnaire. Les entrevues des essais préliminaires effectués par téléphone ont été enregistrées sur support numérique, anonymisées et examinées par des membres de l'équipe et des représentants d'EC.

Les questionnaires en ligne (W1, W2, W3a) ont été testés de manière approfondie par des membres de l'équipe et des représentants d'EC avant leur utilisation sur le terrain. Après ces essais internes, le sondage a débuté sous forme de prélancement. Une invitation a été envoyée à un nombre restreint de répondants de l'échantillon longitudinal. Après qu'au moins 20 questionnaires ont été remplis, les résultats ont été examinés pour évaluer la qualité des données et le fonctionnement général du questionnaire. Une fois ces examens effectués pour chacune des vagues, les questionnaires en ligne ont été distribués à tous les répondants.

Travail sur le terrain

Procédures de travail

Le travail sur le terrain a été réalisé par Advanis. Tous les répondants ont été informés que leur participation était volontaire et que les renseignements recueillis seraient protégés sous le régime de la Loi sur la protection des renseignements personnels. Les modalités suivantes régissaient les entrevues téléphoniques assistées par ordinateur (W1, W3a, W3b) :

  • Les appels étaient effectués à différents moments de la journée et de la semaine pour maximiser les chances de joindre les personnes.
  • Les intervieweurs mentionnaient dans leur introduction que l'étude était réalisée pour le compte d'EC.
  • Les entrevues étaient réalisées dans la langue officielle de choix du répondant.
  • Aux fins du contrôle de la qualité, 10 % des entrevues étaient surveillées.
  • Des appels supplémentaires ont été réalisés pour accroître la rétention des répondants au sondage téléphonique W3a (échantillon longitudinal), y compris un appel auprès des personnes ayant refusé de participer, pour tenter de les convaincre de participer.
  • Les nombres moyen et maximal de rappels par type d'échantillon et par vague se présentent comme suit :

    Vague Type d'échantillon Nombre moyen de rappels Nombre maximal de rappels
    W1 Échantillon probabiliste longitudinal 4,6 14
    W3a Échantillon probabiliste longitudinal 9,2 40
    W3b Échantillon probabiliste discret 3,7 13

Les modalités suivantes régissaient les entrevues Web assistées par ordinateur (W1, W2, W3a) :

  • Les répondants étaient invités à participer en cliquant sur un lien unique avec code intégré.
  • Dans les messages d'invitation et sur la page d'introduction du questionnaire, EC était nommé comme demandeur de l'étude.
  • Le questionnaire pouvait être rempli dans la langue officielle de choix du répondant.
  • La plateforme déterminait automatiquement le type d'appareil utilisé par le répondant et présentait le questionnaire dans un format approprié. Le tableau ci-dessous présente le nombre de questionnaires remplis sur des appareils mobiles et des ordinateurs de bureau, par échantillon et par vague.

    Vague Type d'échantillon % de questionnaires remplis sur chaque plateforme
    Mobile Bureau
    W1 Échantillon non probabiliste longitudinal 48 % 52 %
    W1 Échantillon probabiliste longitudinal 86 % 14 %
    W2 Échantillon non probabiliste longitudinal 39 % 61 %
    W2 Échantillon probabiliste longitudinal 89 % 11 %
    W3a Échantillon non probabiliste longitudinal 37 % 63 %
    W3a Échantillon probabiliste longitudinal 85 % 15 %
  • Les répondants pouvaient s'arrêter à tout moment, une fois ou plusieurs fois, et reprendre le sondage plus tard à partir de la dernière question à laquelle ils avaient répondu.
  • Jusqu'à trois rappels étaient envoyés aux répondants pour maximiser le taux de réponse.

Le travail sur le terrain a été mené conformément aux Normes pour la recherche sur l'opinion publique effectuée par le gouvernement du Canada pour les sondages téléphoniques et en ligne, aux normes établies par le Conseil de recherche et d'intelligence marketing canadien et aux lois fédérales applicables, y compris à la Loi sur la protection des renseignements personnels et les documents électroniques, qui régit la protection des renseignements personnels dans le secteur privé au Canada.

Échantillon représentatif quotidien en période électorale

Le sondage en période électorale (W2) a été le seul de l'étude à être mené auprès d'un échantillon représentatif quotidien afin de recueillir des données de façon stable et continue tous les jours de la période électorale. Même si les questions ont évolué au fil des cinq grandes phases selon la date, les répondants au sondage W1 n'étaient invités à répondre au questionnaire en ligne qu'une seule fois. Un nombre limité d'invitations au sondage W2 a été envoyé chaque jour à un groupe aléatoire de répondants au sondage W1, de façon à pouvoir analyser les données de chaque journée séparément en tant qu'échantillons représentatifs des points de vue du jour, puis collectivement en tant que série chronologique pour mesurer les tendances au fil de la période électorale. Comme le temps était un facteur important dans le sondage et ses questions, les questions et les choix de réponses présentés aux répondants variaient selon la date d'accès au sondage, et non selon la date d'envoi de l'invitation.

Le nombre d'invitations quotidiennes a augmenté au cours de la période électorale pour que la taille des échantillons soit suffisamment grande dans les phases plus tardives, même si elles étaient plus courtes. Les invitations ont été distribuées de façon à ce qu'il n'y en ait plus à transmettre au 17 octobre. Pour obtenir des réponses du 18 au 20 octobre, seuls des rappels ont été envoyés, y compris un rappel de « dernière chance » transmis à tous les non-répondants en plus des rappels habituels.

Le premier jour ouvrable après le 1er septembre a été choisi pour commencer le travail sur le terrain. Selon la loi, si le jour de l'élection était le 21 octobre 2019, c'était le plus tôt que la période électorale pouvait commencer. Cependant, la période électorale a réellement commencé le 11 septembre, de sorte que la phase initiale de l'élection comprend une semaine de sondage préélectoral.

Le tableau ci-dessous présente le nombre de questionnaires remplis par phase et par source d'échantillon, de même que le nombre moyen de questionnaires remplis par jour pour chaque phase.

Phase Nombre cible de questionnaires remplis Nombre de questionnaires remplis Total de questionnaires remplis Jours de sondage Moyenne quotidienne
Échantillon probabiliste (Web) Échantillon du panel
W2a 3 071 1 584 1 528 3 112 15 207
W2b 6 888 3 933 3 306 7 239 14 517
W2c 4 638 2 305 2 269 4 574 7 653
W2d 4 900 2 882 1 925 4 807 7 689
W2e 4 684 3 562 586 4 148 5 830

Taux relatifs aux résultats

Échantillons probabilistes

Échantillon longitudinal

Les tableaux suivants présentent le taux de réponse initial pour l'échantillon probabiliste longitudinal (Web et téléphone) de la première vague, puis le taux de rétention des répondants de l'échantillon longitudinal pour chaque vague subséquente, par rapport au nombre de questionnaires remplis dans la première vague.

Taux de réponse au téléphone pour la vague 1 Longitudinal téléphone
Total de numéros de téléphone composés = NV + NR + UA + UR 29 992
Cas inadmissibles non valides (NV) 4 075
Cas non résolus (NR) 11 183
Pas de réponse/répondeur/ligne occupée 11 183
Unités admissibles non répondantes (UA) 10 173
Problème de langue, maladie, incapacité 70
Répondant choisi non disponible 20
Refus du ménage 6 469
Refus du répondant 3 369
Interruption prématurée de l'entrevue par le répondant qualifié/entrevue partielle 245
Unités admissibles répondantes (UR) 4 561
Inadmissibilité en raison de la langue 302
Fin de l'entrevue – inadmissible (déterminé pendant l'introduction) 52
Fin de l'entrevue – moins de 18 ans le jour de l'élection 1 109
Fin de l'entrevue – pas de citoyenneté canadienne 33
Fin de l'entrevue – lieu de résidence à l'extérieur du Canada 2
Sondages W1 réalisés 3 063
Taux de réponse au téléphone pour la vague 1 = UR / (NR + UA + UR) 17,6 %

Taux de réponse sur le Web pour la vague 1 Longitudinal Web
Total d'invitations envoyées = NR + UA + UR 55 439
Invitations envoyées par courriel 2 111
Invitations envoyées par messagerie texte 53 328
Cas non résolus (NR) 104
Invitations par courriel ou messagerie texte non livrables 104
Unités admissibles non répondantes (UA) 25 873
Invitations par courriel ou messagerie texte sans réponse 25 873
Unités admissibles répondantes (UR) 29 462
Sondages W1 réalisés 29 462
Taux de réponse sur le Web pour la vague 1 = UR / (NR + UA + UR) 53,1 %

Taux de rétention pour la vague 2 Longitudinal Web
Total d'invitations envoyées 29 340
Invitations envoyées par courriel 1 275
Invitations envoyées par messagerie texte 28 065
Perte d'effectifs à l'invitation (PE) 122
Invitations non valides (non livrables, désinscription, échec au contrôle de la qualité) 122
Invitations par courriel ou messagerie texte sans réponse (UA) 15 074
Sondages W2 réalisés (R) 14 266
Taux de rétention pour la vague 2 = R / (R + UA + PE) 48,4 %

Taux de rétention pour la vague 3a Longitudinal Web Longitudinal téléphone
Total de numéros composés – 3 063
Total d'invitations envoyées 29 244 –
Invitations envoyées par courriel 1 275 –
Invitations envoyées par messagerie texte 27 969 –
Perte d'effectifs à l'invitation (PE)6 218 520
Numéros/invitations non valides 218 185
Pas de réponse/répondeur/ligne occupée – 303
Inadmissibilité en raison de la langue – 8
Fin de l'entrevue – inadmissible (déterminé pendant l'introduction) – 24
Unités admissibles non répondantes (UA) 20 723 799
Problème de langue, maladie, incapacité – 12
Répondant choisi non disponible – 14
Refus du ménage – 199
Refus du répondant – 574
Invitations par courriel ou messagerie texte sans réponse 20 723 --
Sondages W3a réalisés (R) 8 521 1 744
Taux de rétention pour la vague 3a = R / (R + UA + PE) 28,9 % 56,9 %

Échantillon discret

Le taux de réponse de l'échantillon probabiliste discret au sondage téléphonique W3b était de 15,4 %.

Taux de réponse pour la vague 3b Discret (téléphone)
Total de numéros de téléphone composés = NV + NR + UA + UR 23 447
Cas inadmissibles non valides (NV) 3 513
Cas non résolus (NR) 9 007
Pas de réponse/répondeur/ligne occupée 9 007
Unités admissibles non répondantes (UA) 7 857
Problème de langue, maladie, incapacité 37
Répondant choisi non disponible 17
Refus du ménage 4 118
Refus du répondant 3 019
Interruption prématurée de l'entrevue par le répondant qualifié/entrevue partielle 666
Unités admissibles répondantes (UR) 3 070
Inadmissibilité en raison de la langue 139
Fin de l'entrevue – inadmissible (déterminé pendant l'introduction) 183
Fin de l'entrevue – moins de 18 ans 710
Fin de l'entrevue – pas de citoyenneté canadienne 28
Fin de l'entrevue – moins de 18 ans le jour de l'élection 7
Fin de l'entrevue – lieu de résidence à l'extérieur du Canada 3
Taux de réponse = UR / (NR + UA + UR) 15,4 %

Échantillon non probabiliste

Le tableau suivant présente le taux de participation initial au panel Web non probabiliste W1 ainsi que les taux de rétention pour les sondages W2 et W3a par rapport au sondage W1.

Taux de participation et de rétention Échantillon non probabiliste
Vague 1 Vague 2 Vague 3a
Invitations envoyées par courriel (E) 29 000 17 468 17 468
Sondages réalisés (R) 17 468 9 614 9 170
Taux de participation/rétention = R / E 60,2 % 55,0 % 52,5 %

Le taux de participation pour la première vague était de 60,2 %, et le taux de rétention des vagues suivantes était de 55,0 % (W2) et de 52,5 % (W3a)

Possibilité de biais de non-réponse

Les votants de la 43e EG étaient surreprésentés dans l'échantillon final. Le taux de participation déclaré par les répondants était de 90 %, alors que le taux de participation réel des électeurs inscrits était de 67 %. Deux facteurs peuvent expliquer cette surreprésentation. D'abord, les personnes qui votent sont possiblement plus enclines que les non-votants à participer à une étude sur le vote, particulièrement lorsqu'il y a plusieurs vagues de sondage (biais dans les réponses). Ensuite, les personnes qui n'ont pas voté peuvent tout de même déclarer l'avoir fait, simplement pour se présenter sous un jour favorable (biais de désirabilité sociale). Au moment d'interpréter les résultats, les lecteurs et les chercheurs devraient être conscients de cette possibilité de biais résultant de la non-réponse, y compris de la perte d'effectifs.

Marge d'erreur

Comme l'ENE utilisait des échantillons probabilistes et des échantillons non probabilistes, il est impossible d'évaluer l'erreur d'échantillonnage pour l'échantillon total ainsi que d'établir, à partir des résultats, des projections statistiques applicables à l'ensemble de l'électorat. Une marge d'erreur d'échantillonnage et des estimations statistiques peuvent être calculées en excluant le panel et en ne considérant que les échantillons aléatoires. Ces échantillons sont tous d'une taille telle que la marge d'erreur d'échantillonnage des résultats globaux, pour chacune des vagues, est inférieure à ± 1 %, 19 fois sur 20, comme l'illustre le tableau ci-dessous.

Vague Total de répondants Répondants par source d'échantillon Échantillon probabiliste total Marge d'erreur globale à 50 %
Panel non probabiliste longitudinal Probabiliste longitudinal Web Probabiliste longitudinal téléphone Probabiliste discret (téléphone)
W1 49 993 17 468 29 462 3 063 – 32 525 ±0,543 %
W2 23 880 9 614 14 266 – – 14 266 ±0,82 %
W3 21 435 9 170 8 521 1 744 2 000 12 265 ±0,885 %

Production de données

Contrôle de la qualité

Après le travail sur le terrain, les données ont été nettoyées à l'aide de la syntaxe SPSS. Cet examen visait à évaluer, d'une part, la gamme de réponses fournies de manière à repérer les personnes ayant répondu de façon linéaire (en fournissant la même réponse à toutes les questions d'un tableau) et, d'autre part, le temps consacré aux questionnaires de façon à repérer les gens ayant répondu trop rapidement. Tous les cas ainsi repérés dans le contrôle de la qualité des données ont été remplacés avant la pondération et la mise en tableaux des données.

Des mesures de contrôle de la qualité ont été mises en œuvre après chaque vague de collecte de données, y compris la production et l'examen d'ensembles de données provisoires, de tableaux et de rapports de synthèse, pour permettre l'amélioration de la conception et de l'exécution des vagues de sondage suivantes.

Codage

Les réponses textuelles fournies dans les catégories « Autre, veuillez préciser » ont été analysées en vue d'un éventuel codage quand elles représentaient plus de 10 % des réponses à une question. La priorité était de réduire la proportion des réponses « Autre », d'abord par le nettoyage des réponses incorrectement précisées, puis par la définition de nouvelles catégories lorsque le nombre de réponses le justifiaient.

Une sélection de questions ouvertes a été codée par machine ou manuellement.

Les réponses textuelles recueillies sur le Web pour la question 17 du questionnaire W1 et la question 22 du questionnaire W3a ont été codées dans des catégories grâce à un algorithme mis au point par EC au moyen d'un dictionnaire de codage basé sur les réponses textuelles codées manuellement pour ces mêmes questions dans l'Évaluation du Programme de rappel électoral de 2015. Ces questions visaient à déterminer la première source d'information qui vient à l'esprit concernant le processus de vote; par conséquent, l'algorithme ne devait coder qu'une seule réponse pour chaque chaîne unique. Quand les chaînes contenaient de multiples réponses possibles, l'algorithme priorisait certaines catégories, EC étant en tête de la liste. Si aucune catégorie prioritaire n'était indiquée, la première catégorie mentionnée avait préséance sur les catégories suivantes dans la chaîne. L'inspection des résultats codés a révélé que l'algorithme avait codé correctement les chaînes uniques représentant plus de 95 % des cas. Les chaînes codées incorrectement ont été recodées manuellement pour qu'elles figurent dans la bonne catégorie. Au total, plus de 64 000 réponses textuelles ont été codées grâce à cette méthode.

Les réponses à d'autres questions ouvertes importantes ont été codées manuellement, car elles étaient plus complexes, et il aurait été impossible d'utiliser un dictionnaire de codage. Compte tenu du grand nombre de réponses aux questions ouvertes recueillies sur le Web au fil des différentes vagues, seuls des échantillons aléatoires de réponses textuelles à des questions clés ont été codés à des fins de production de rapports, pour des raisons pratiques. Les échantillons à coder ont été sélectionnés au hasard pour chaque vague. La taille de ces échantillons a été déterminée en fonction de la marge d'erreur maximale voulue pour chaque échantillon par rapport au nombre total de réponses. Avant la sélection aléatoire, les réponses aux questions ouvertes ont été nettoyées de manière à éliminer les réponses « Ne sait pas » ainsi que les réponses manquantes ou non valides. Ainsi, seuls des cas valides restaient à être codés.

Au besoin, des variables calculées ont été codées et utilisées au lieu des variables brutes pour produire les résultats finaux de l'étude. Par exemple, dans la deuxième vague, une série de questions sur l'expérience de vote ont été posées aux répondants qui avaient indiqué avoir déjà voté durant la période électorale, plutôt que ces mêmes questions soient posées à la troisième vague. Pour obtenir une mesure définitive concernant tous les votants, il a donc fallu fusionner les données des répondants à la troisième vague qui avaient déjà répondu à la question lors de la deuxième vague et celles des répondants qui y ont répondu seulement lors de la troisième vague.

Pondération

L'échantillon de l'étude a été pondéré de façon à ce que les résultats soient représentatifs ou puissent être généralisés à l'ensemble des électeurs. Différents poids ont été calculés pour permettre la pondération des données selon la vague et le mode, avec l'option d'utiliser seulement les échantillons probabilistes ou tous les échantillons. La somme des valeurs pondérées correspond à la taille de l'échantillon total disponible pour la vague et le mode.

Dans l'analyse, les données ont été pondérées en fonction des modes, question par question. Par exemple, les fréquences des réponses à une question posée à la W3 uniquement sur le Web ont été pondérées pour correspondre au total de tous les répondants à la W3 sur le Web. Une question posée aussi bien au téléphone que sur le Web était pondérée de manière à ce que les fréquences correspondent au total des répondants des deux modes.

W1

En commençant par la W1 et l'échantillon longitudinal, la pondération a été effectuée en deux étapes.

  • Première étape : établissement de facteurs de pondération permettant des ajustements pour tenir compte de certains aspects du modèle de l'étude.
  • Deuxième étape : stratification a posteriori pour établir la correspondance entre les résultats et les caractéristiques connues de la population.

Les ajustements ci-dessous ont été calculés durant la première étape du processus de pondération.

  • Ajustement lié à la probabilité de sélection : La probabilité de sélection dans une base d'échantillonnage variait selon la source et le sous-échantillon de l'échantillon probabiliste; il fallait donc corriger l'écart. Cet ajustement s'appliquait seulement aux échantillons probabilistes et représentait le nombre de dossiers d'échantillons téléphoniques disponibles divisé par le nombre de dossiers utilisés. Une probabilité de sélection a été calculée pour l'échantillon probabiliste téléphonique, et quatre autres probabilités ont été calculées pour quatre groupes distincts de l'échantillon probabiliste Web à partir de caractéristiques définies lors du recrutement téléphonique :
    • les répondants de 18 à 24 ans non autochtones (ou au statut d'Autochtone inconnu);
    • les répondants de 18 à 24 ans autochtones;
    • les répondants de 25 ans et plus (ou d'âge inconnu) autochtones;
    • les répondants de 25 ans et plus (ou d'âge inconnu) non autochtones (ou au statut d'Autochtone inconnu).
  • Ajustement lié à l'admissibilité : Cet ajustement visait à prendre en compte le fait que les personnes jointes n'étaient pas toutes admissibles aux fins de l'étude. Il a été calculé globalement pour l'échantillon probabiliste téléphonique et le panel Web ainsi que pour les quatre groupes de l'échantillon probabiliste Web définis selon l'âge et le statut d'Autochtone. Le taux d'unités admissibles dans l'échantillon connu a servi à estimer le nombre d'unités admissibles parmi les unités dont l'admissibilité était inconnue (en supposant que la proportion d'unités admissibles serait la même parmi les unités dont l'admissibilité était inconnue). L'ajustement relatif à l'admissibilité a été calculé en divisant le nombre de dossiers d'échantillons utilisés par le nombre total estimé d'unités admissibles dans l'échantillon.
  • Ajustement lié à la non-réponse : Cet ajustement visait à tenir compte de la variance de la propension à répondre au sondage au sein des unités de l'échantillon. Il a été calculé globalement pour l'échantillon probabiliste téléphonique et le panel Web ainsi que pour les quatre groupes de l'échantillon probabiliste Web définis selon l'âge et le statut d'Autochtone. L'ajustement a été calculé en divisant le nombre total estimé d'unités admissibles dans l'échantillon par le nombre d'entrevues réalisées.
  • Ajustement lié à la taille du ménage : Cet ajustement visait uniquement les numéros de téléphone fixe utilisés pour les échantillons probabilistes Web et téléphonique. Il tenait compte du nombre de membres du ménage présents et traitait chaque dossier comme s'il représentait un nombre de cas égal au nombre de personnes de 18 ans et plus dans le ménage. Un facteur d'ajustement neutre de 1 a été appliqué lorsque les répondants n'ont pas indiqué combien de membres comptait leur ménage.

Ces quatre facteurs d'ajustement ont été multipliés entre eux pour chaque dossier de la W1 et ont servi à calculer les proportions de l'échantillon de départ pour la deuxième étape de la pondération.

La deuxième étape du processus de pondération s'est déroulée comme suit :

L'échantillon a été ajusté pour tenir compte de la répartition en fonction de l'âge, du genre et de la région selon l'estimation donnée par EC de la population d'électeurs canadiens en juin 2019. Les catégories suivantes ont été utilisées :

  • homme, femme, autre/ne sait pas;
  • 18 à 24 ans, 25 à 34 ans, 35 à 54 ans, 55 à 64 ans, 65 ans et plus;
  • Colombie-Britannique, Alberta, Saskatchewan/Manitoba/territoires, Ontario, Québec, Atlantique.
  • L'échantillon a été ajusté pour prendre en compte le fait que la population autochtone représente 3,4 % de la population totale.
  • L'échantillon a été ajusté pour que la taille de l'échantillon pondéré équivaille à la taille de l'échantillon total non pondéré.

Les ajustements ci-dessous ont été envisagés sans être intégrés à la structure de pondération de la W1.

  • Ajustement lié aux multiples chances d'être sélectionné : Cet ajustement aurait tenu compte du fait que certains dossiers ont plus de chances d'être inclus dans la base d'échantillonnage, par exemple si une personne ayant un téléphone cellulaire vit dans un ménage possédant aussi un téléphone fixe. Cependant, comme le sondage ne comprenait aucune question visant à déterminer si une personne pouvait être incluse dans les deux échantillons (téléphone fixe et téléphone cellulaire), cet ajustement n'a pas été intégré aux poids.
  • Ajustement lié au suréchantillonnage au sein des ménages : Cet ajustement aurait permis de compenser les cas où certains membres du ménage ont plus de chances d'être sélectionnés pour participer à l'étude, par exemple les personnes de 18 à 24 ans. Puisqu'aucun type d'électeur en particulier n'a été ciblé dans les ménages joints à un numéro de téléphone fixe, il n'a pas été nécessaire d'appliquer cet ajustement aux poids.

W2

Un facteur d'ajustement lié à la perte d'effectifs a été appliqué pour corriger l'inégalité des taux de réponse à la W2 entre différents segments de répondants de la W1. Le facteur de pondération de la W1 a été multiplié par un facteur de perte d'effectifs calculé d'après les proportions de répondants de la W1 et de répondants de la W2 pour chaque segment. L'ajustement lié à la perte d'effectifs reposait sur des segments déterminés selon le genre (homme, femme, non binaire/transgenre), l'âge (18 à 24, 25 à 34, 35 à 54, 55 à 64, 65 et plus) et la région (Colombie-Britannique, Alberta, Saskatchewan/Manitoba/territoires, Ontario, Québec, Atlantique).

W3

Les échantillons W3 longitudinal (W3a) et discret (W3b) ont été pondérés séparément. Pour l'échantillon W3a, les poids de la W1 ont encore servi de point de départ; comme pour la W2, un facteur de perte d'effectifs a été appliqué en fonction de la perte d'effectifs inégale entre les segments d'une vague à l'autre. La pondération de la W3b a été faite en trois temps. Premièrement, un ajustement a été effectué relativement à la taille du ménage pour les dossiers associés à un numéro de téléphone fixe. Deuxièmement, les cas ont été pondérés selon l'âge (18 à 24, 25 à 34, 35 à 54, 55 à 64, 65 et plus), le genre (homme, femme, non binaire/transgenre) et la région (Colombie-Britannique, Alberta, Saskatchewan/Manitoba/territoires, Ontario, Québec, Atlantique). Troisièmement, les poids ont été ajustés de façon à ce que la taille de l'échantillon pondéré corresponde à celle de l'échantillon non pondéré. Les échantillons pondérés de la W3a et de la W3b ont ensuite été combinés pour produire l'échantillon intégré final de la W3. L'application d'autres facteurs de correction (p. ex. étalonnage et stratification a posteriori) aux échantillons pondérés combinés a été envisagée, mais jugée inutile.

Intégration des échantillons probabilistes et non probabilistes

La possibilité d'intégrer les échantillons probabilistes et non probabilistes aux résultats finaux a été examinée, tout comme celle d'intégrer un échantillon non probabiliste avec un poids moindre établi à l'aide de points de référence connus tels que les caractéristiques démographiques de la population ou les chiffres officiels de la participation électorale.

Une comparaison des résultats non pondérés des échantillons probabiliste et non probabiliste de la W1 a révélé que l'inclusion de l'échantillon non probabiliste non pondéré produisait un profil sociodémographique globalement plus proportionnel aux données connues sur la population. Cet effet était particulièrement notable pour les proportions relatives au genre et à la participation à la 42e EG de 2015 : l'ajout de l'échantillon non probabiliste faisait monter la représentation des femmes à 48 % des répondants de la W1, contre 45 % si seul l'échantillon probabiliste était utilisé. La proportion de non-votants en 2015 passait de 10 % dans l'échantillon probabiliste à 17 % dans l'ensemble des échantillons disponibles. Les vagues de sondage subséquentes ont confirmé cette tendance. En effet, l'échantillon non probabiliste comptait la plus importante proportion de non-votants à l'EG de 2019 à la W3 comparativement à tout autre échantillon (soit plus de la moitié de tous les répondants non-votants, même si cet échantillon ne représentait que le tiers des répondants de la W3).

La décision d'intégrer tous les échantillons a été renforcée par d'autres comparaisons révélant que l'utilisation de l'échantillon complet au lieu de l'échantillon probabiliste seul n'avait pas d'effet majeur sur les résultats ou que les effets semblaient prévisibles, compte tenu de la plus grande proportion de non-votants dans l'échantillon complet. Par exemple, les répondants de l'échantillon complet avaient moins l'intention de voter à l'EG de 2019 que les répondants de l'échantillon probabiliste.

À la lumière de ces observations, l'échantillon non probabiliste non pondéré a été intégré aux résultats avec tous les autres échantillons dans le but de contrebalancer la surreprésentation des votants dans les échantillons probabilistes. À la suite d'une réflexion semblable, les résultats du sondage W3b ont été intégrés à ceux du sondage W3a.

Notes de bas de page

Note 1 Pour obtenir des renseignements détaillés sur le nombre cible d'entrevues et le nombre d'entrevues réalisées de la deuxième vague, consultez la section « Échantillon représentatif quotidien en période électorale ».

Note 2 Les sondages téléphoniques n'étaient pas autorisés durant la campagne électorale.

Note 3 Pour les non-votants, la cible a été fixée rétroactivement. Étant donné la surévaluation habituelle de la participation électorale dans les sondages auprès des électeurs, l'objectif était, pour tous les échantillons, d'avoir un écart d'au plus 15 points de pourcentage entre la proportion de non-votants parmi les répondants et leur proportion selon le taux officiel de participation électorale. Le taux de participation officiel ayant été de 67 %, la proportion minimale visée de non-votants était donc de 19 % des répondants à la vague W3, pour tous les échantillons.

Note 4 Pour les membres des Premières Nations et les membres des Premières Nations vivant dans une réserve, les cibles étaient variables : on visait de 50 % à 70 % de membres des Premières Nations parmi les électeurs autochtones ainsi que 50 % d'électeurs vivant dans une réserve, parmi les répondants des Premières Nations. Suivant la cible globale de 936 électeurs autochtones pour la troisième vague, les cibles minimales absolues étaient de 468 répondants des Premières Nations (valeur réelle W3 : 464) et de 234 répondants des Premières Nations vivant dans une réserve (valeur réelle W3 : 95).

Note 5 Les questions complémentaires étaient les suivantes :

  • Quelle impression globale le sondage vous a-t-il laissée... le sondage était-il clair et facile à comprendre? Si c'est non, pourquoi pas?
  • Le sondage vous a-t-il semblé bien structuré? Si c'est non, pourquoi pas?
  • Est-ce que l'une ou plusieurs des questions du sondage créent de la confusion? Si c'est oui, lesquelles, et pourquoi?
  • Est-ce que l'une ou l'autre des questions auraient pu être formulées plus clairement? Si c'est oui, lesquelles, et pourquoi?
  • Aimeriez-vous formuler d'autres commentaires au sujet du sondage?

Note 6 Aux fins du calcul de la rétention des répondants au sondage téléphonique W3a, les unités qui seraient normalement considérées comme inadmissibles (p. ex., non valides) ou répondantes (p. ex., déclarées inadmissibles) sont considérées comme des unités admissibles répondantes qui ont été perdues au moment de l'invitation plutôt qu'en raison d'une non-réponse, car l'objectif de l'appel à la vague W3a était de recommuniquer avec la personne qualifiée qui avait répondu au sondage W1 à ce numéro de téléphone.