Colloque

Une approche statistique pratique pour le traitement de la non-réponse dans les sondages : l'estimation de vraisemblance maximum privée

Jean-J. Fortier

Membre a labase

Jean-J. Fortier

Résumé du colloque

L'objectif du traitement statistique proposé est d'estimer les proportions de non-répondants dans chacune des catégories de réponse à une question particulière d'un sondage, si ceux-ci avaient effectivement exprimé leur intention ou leur opinion en réponse à cette question. Ce problème est particulièrement important dans les sondages politiques, où ceux qu'on appelle parfois les "discrets", sont suffisamment nombreux pour changer substantiellement les résultats basés uniquement sur les répondants (ou de façon équivalente, sur une répartition proportionnelle des non-répondants). On obtient les estimés des proportions en résolvant numériquement un système d'équations de vraisemblance. Celles-ci résultent d'un modèle statistique reliant les proportions à estimer et les "signatures" de chaque catégorie de répondants à la question considérée. Les "signatures" sont les distributions multivariées, finies et discrètes, des réponses des répondants de chaque catégorie de la question considérée, à d'autres questions. On obtient ainsi une signature différente caractérisant chaque catégorie de réponse à la question considérée. On peut alors utiliser ces signatures, et les proportions a priori, pour calculer la probabilité qu'un non-répondant appartienne à une catégorie ou une autre de réponse à la question considérée, étant donné ses propres réponses aux autres questions. Ce procédé est commun dans la solution Bayesienne aux problèmes de classification, où l'on assume que les proportions sont connues a priori. Cependant dans la présente approche, on utilise plutôt le procédé pour trouver l'estimé de vraisemblance maximum des proportions a priori. (La fonction de vraisemblance possède un maximum unique et absolu, et répond aux conditions de Cramér). Le succès du programme repose sur l'hypothèse que les non-répondants ou discrets appartenant à une catégorie de réponse non-exprimée, ont la même signature que les répondants appartenant à la même catégorie. Il va sans dire qu'il faut aussi assumer que les non-répondants ont une intention ou une opinion, mais qu'elle n'est pas exprimée pour une raison ou une autre. Pour tester le modèle et le programme, nous avons obtenu les réponses de tous les individus échantillonnés pour 4 sondages successifs, faits par la même maison de sondage, pendant la dernière campagne électorale au Québec. L'objectif était de déterminer la proportion de non-répondants appartenant à chaque parti politique selon les hypothèses énoncées. Nous avons utilisé pour les signatures les réponses à 4 variables: région, sexe, langue, âge, et une opinion politique souvent exprimée par les non-répondants: la satisfaction à l'égard du gouvernement. (Quand cette dernière variable n'était pas exprimée nous nous sommes servis des 4 premières seulement selon une signature "mixte"). Une première constatation est que la répartition des non-répondants varient considérablement d'un sondage à l'autre, et ne correspond pas dans l'ensemble à aucune formule proposée par la maison de sondage dont on a obtenu les données, ou par d'autres maisons de sondage. Cependant, après utilisation des estimés dans les résultats globaux (réponse combinée à non-réponse), et en prenant la moyenne des 4 sondages, on arrive à peu de choses près aux résultats des 2 partis principaux aux élections, et à une différence "non-significative" pour les deux autres. Quant au dernier sondage (celui qu'on utilise souvent pour "prédire" les résultats électoraux) on y obtient à peu près le même résultat qu'aux élections pour le PQ, et des résultats différents pour les autres partis, essentiellement dû à une surestimation de 5% pour l'ADQ. Cependant, si l'on examine les probabilités conditionnelles d'appartenance des non-répondants (en utilisant les proportions estimées comme proportions a priori) on peut montrer que le transfert le plus probable va de l'ADQ au PLQ, ce qui correspond aux résultats de l'élection. (Ces probabilités conditionnelles sont aussi utilisées dans le calcul des proportions pondérées des non-répondants. En général, la pondération est utilisée dans tous les calculs, pour corriger le biais socio-démographique créé par la méthode d'échantillon). Pour valider l'approche, nous avons appliqué l'algorithme à l'ensemble des répondants du dernier sondage, en supposant que c'était des non-répondants. Nous avons reproduit à peu près exactement les proportions obtenus chez les répondants, démontrant la cohérence de l'approche. Nous avons ensuite choisi parmi les répondants un échantillon à peu près de même dimension que celui des non-répondants, en supposant que c'était des non-répondants. Nous avons calculé les signatures à partir du reste des répondants, pour éviter la contamination, et nous avons appliqué le programme aux répondants jouant le rôle de non-répondants. Les proportions ainsi estimées diffèrent d'à peu près 4%, en moyenne, des proportions réelles de ces répondants. En tenant compte du fait que les signatures sont moins précises dans cette dernière simulation, on peut supposer que l'erreur pour les "vrais" non-répondants, si les hypothèses tiennent, est inférieure à ce chiffre.