Citizens as election forecasters : the determinants and consequences of voters’ electoral expectations

Abstract

Prédire est une activité du quotidien. Nous formons sans arrêt des jugements portant sur l’avenir. Cela n’a rien d’étonnant puisque la pensée prospective est une condition essentielle à la survie et à la créativité du genre humain. Prédire est aussi l’une des fonctions premières de l’entreprise scientifique. L’idée qu’il puisse y avoir des facteurs ou des conditions améliorant les compétences prévisionnelles des individus est controversée. Il existe en effet une certaine confusion entre l’entreprise prévisionnelle de nature scientifique et les manifestations plus folkloriques de la prédiction apparentées à la simple prophétie ou à la divination. Pourtant, un nombre croissant de travaux démontrent que la qualité et la précision des inférences prospectives s’expliquent au moins en partie par l’information dont disposent les individus. Au cours des dernières décennies, la science politique a connu un regain d’intérêt pour la prévision électorale. La prévision citoyenne est l’une des méthodes ayant rencontré le plus de succès pour prédire les résultats d’élections. Cette méthode consiste, comme son nom l’indique, à sonder les citoyens pour obtenir leurs prédictions. Ces prédictions sont ensuite agrégées ou incorporées à des modèles afin d’estimer l’issue la plus probable d’une course électorale. Cette thèse vise à identifier et à estimer l’effet de différentes variables sur les capacités prédictives des citoyens. Elle a aussi pour objectif de déterminer les conséquences des attentes électorales déçues sur la satisfaction envers la démocratie et l’intégrité perçue du processus électoral. La démonstration empirique repose sur une variété d’études électorales et comprend quatre articles formant chacun un chapitre à part entière. Au total, plus de 730 000 prévisions électorales de citoyens dans 11 pays différents ont été récoltées pour cette thèse. Le premier article s’intéresse au rôle de la sophistication politique et tout particulièrement de la connaissance politique factuelle des individus sur leur capacité à prédire les résultats d’élections. Cet article cherche également à déterminer si le niveau de connaissances politiques d’un individu peut exercer un effet modérateur sur la relation qui existe entre les préférences partisanes d’un individu et ses attentes électorales. Pour ce faire, des données du projet Making Electoral Democracy Work couvrant des élections au niveau régional/national et de la circonscription dans trois pays (soit le Canada, la France et l’Allemagne) sont employées. Les résultats supportent l’hypothèse voulant que les électeurs les mieux informés soient de meilleurs prévisionnistes. Toutefois, un niveau élevé de connaissances politiques ne semble pas suffire pour amenuiser l’influence des biais partisans sur les attentes électorales des individus. Le premier article introduit également une nouvelle mesure fondée sur l’indice de Brier afin d’évaluer la qualité des prévisions probabilistes en contexte électoral. Le deuxième article propose une stratégie de pondération visant à accorder plus d’importance aux prévisions des individus ayant un potentiel élevé d’habilité prévisionnelle. Selon le principe du « miracle de l’agrégation », en l’absence de biais systématiques, les erreurs dans les jugements individuels au sein d’une population devraient s’annuler mutuellement et mener à une décision juste au niveau agrégé. Ce phénomène traduit l’idée d’intelligence collective (ou de « sagesse des foules »). L’agrégation aurait donc des propriétés épistémiques. Le deuxième article cherche par conséquent à tirer profit du niveau variable de compétence au sein d’un groupe afin de maximiser l’apport informationnel des membres jugés les plus compétents sans toutefois faire fi de la contribution des membres jugés moins compétents. Deux mesures ont été retenues pour évaluer ce potentiel de compétence, à savoir un indice du niveau de connaissances politiques factuelles des répondants et un indice de performance prévisionnelle passée. Cet article mobilise la théorie des réponses aux items ainsi que des données de panel afin de créer ces indices de pondération. L’analyse des données, provenant d’élections locales au Canada, en France, en Allemagne et en Grande-Bretagne, démontrent que l’agrégation pondérée constitue une alternative supérieure à l’agrégation non pondérée. Le troisième article vise à établir la relation existant entre les interactions sociales d’un individu et son exactitude prédictive. Un nombre restreint de travaux suggèrent que certaines caractéristiques des réseaux de sociabilité peuvent générées suffisamment d’informations pertinentes permettant de dresser un portrait assez précis de l’électorat et de ses préférences. Plus précisément, la fréquence des discussions politiques à l’intérieur d’un réseau, son niveau d’hétérogénéité, sa taille ainsi que le degré d’expertise politique de ses membres devraient contribuer à l’exactitude prédictive d’un individu. Ce troisième article emploie l’approche méta-analytique pour analyser le rapport qui existe entre ces quatre variables et l’habilité prévisionnelle des citoyens. Les analyses reposent sur une base de données rassemblant près de 70 sondages électoraux menés dans 10 pays différents. De manière générale, la nature des interactions interpersonnelles d’un individu semble avoir peu d’importance sur sa capacité à prévoir les résultats électoraux. Le quatrième et dernier article se penche sur les conséquences des attentes électorales non comblées des citoyens. L’impact des attentes insatisfaites sur les attitudes post-électorales demeure relativement peu étudié. En vertu de la théorie de la confirmation des attentes, les électeurs ayant incorrectement prédit la victoire de leur parti ou de leur candidat favori devraient afficher un niveau de satisfaction envers le fonctionnement de la démocratie plus bas que celui des électeurs ayant correctement anticipé la défaite de leur parti ou de leur candidat favori. Ces électeurs devraient également se montrer moins confiants envers l’impartialité du processus électoral. Les vainqueurs « surpris » devraient pour leur part être davantage satisfaits et confiants que les vainqueurs ayant correctement anticipé le résultat. Des données provenant de plus de 20 élections régionales et nationales dans quatre pays (soit le Canada, la France, le Royaume-Uni et les États-Unis) semblent indiquer que les attentes des électeurs n’ont guère d’effet sur leur niveau de satisfaction envers la démocratie. Dans un certain nombre de cas, les perdants surpris par le résultat de l’élection sont toutefois plus susceptibles de mettre en doute l’intégrité du processus électoral. Ceci est tout particulièrement vrai pour l’élection présidentielle américaine de 2020 qui a été marquée par un nombre inhabituelle d’accusations de fraude et de pratiques déloyales. Dans les contextes de forte polarisation, les attentes insatisfaites peuvent possiblement aggraver les conséquences d’une défaite. La conclusion revient sur les principaux résultats de chacun des articles et aborde leurs implications pour la recherche dans le champ de la prévision électorale. Les contributions de cette thèse sont d’intérêt à la fois théorique et pratique. D’un point de vue théorique, les résultats renforcent la notion d’« habilité prévisionnelle » en établissant une association positive entre connaissances politique factuelles et performance prévisionnelle à différents niveaux d’élections et dans différents systèmes électoraux. Les résultats mettent également en doute les explications en termes d’interactions sociales ou, à tout le moins, invitent à repenser la manière dont nous mesurons les caractéristiques des réseaux de sociabilité. Cette thèse est également un des rares travaux à considérer l’influence des attentes électorales des citoyens sur leurs attitudes envers le fonctionnement de la démocratie et le processus électoral suivant une défaite ou une victoire imprévue. Enfin, d’un point de vue pratique, les résultats suggèrent que la pondération des jugements individuels en fonction de la compétence constitue une stratégie viable afin d’améliorer la mesure de l’opinion publique en ce qui a trait aux résultats projetés des élections.

Forecasting is a daily activity. We are constantly making judgments about the future. This is not surprising since forward thinking is an essential condition for the survival and creativity of humankind. Prediction is also one of the primary functions of the scientific enterprise. The idea that there may be factors or conditions that improve the predictive skills of individuals is controversial. Indeed, there is some confusion between prediction as a scientific goal and the more folkloric manifestations of prediction akin to prophecies or divination. However, a growing body of work demonstrates that the quality and accuracy of predictive inferences can be explained at least in part by the information individuals possess. Over the last few decades, political science has seen a renewed interest in electoral forecasting. Citizen forecasting is one of the most successful methods for predicting election outcomes. This method consists, as the name suggests, in surveying citizens about their electoral expectations. These predictions are then aggregated or incorporated into models to estimate the most likely election outcome. The goal of this dissertation is to identify and estimate the effect of different variables on citizens’ predictive ability as well as to determine the consequences of unfulfilled electoral expectations on satisfaction with democracy and perceptions of electoral integrity. The empirical demonstration relies on a variety of electoral studies and consists of four articles, each of which forms a chapter. Overall, more than 730,000 citizens’ election forecasts from 11 different countries were collected for this dissertation. The first article examines the role of political sophistication, and particularly of individuals’ factual political knowledge, on their ability to predict election outcomes. This paper also investigates whether an individual’s level of political knowledge can exert a moderating effect on the relationship between partisan preferences and electoral expectations. To do so, data from the Making Electoral Democracy Work project covering regional/national and district elections in three countries (i.e., Canada, France, and Germany) are used. The results support the hypothesis that highly knowledgeable voters are better forecasters. However, high levels of political knowledge do not appear to be sufficient to reduce the influence of partisan bias on electoral expectations. The first paper also introduces a new measure based on the Brier score to assess the quality of probabilistic forecasts in the context of elections. The second paper proposes a weighting strategy favouring the predictions of individuals with a high predictive ability potential. According to the “miracle of aggregation” principle, in the absence of systematic biases, errors in individual judgments within a population should cancel each other out and lead to a correct decision at the aggregate level. This phenomenon reflects the idea of collective intelligence (or “wisdom of crowds”). Aggregation would thus have epistemic properties. Therefore, the second article seeks to take advantage of the varying levels of competence within a group in order to maximize the informational input of the most competent members without completely ignoring the contribution of less competent members. Two measures were chosen to assess potential competence, namely, an index of respondents’ factual political knowledge and an index of past forecasting performance. This paper mobilizes item response theory and panel data to create these indices. The analysis of data from district-level elections in Canada, France, Germany, and Great Britain shows that weighted aggregation is a superior alternative to unweighted aggregation. The third article analyzes the relationship between social interactions and predictive accuracy. A limited body of work suggests that certain characteristics of social networks may generate enough relevant information to provide a fairly accurate picture of the electorate and its preferences. Specifically, the frequency of political discussion within a network, its level of heterogeneity, its size, and the degree of political expertise of its members should contribute to predictive accuracy. This article uses the meta-analytic approach to analyze the relationship between these four variables and the predictive accuracy of citizens. The analyses are based on a dataset including observations from nearly 70 election surveys conducted in 10 different countries. In general, the nature of an individual’s interpersonal interactions does not appear to have much impact on his or her ability to predict election outcomes. The fourth and final article shifts the attention to the consequences of the electoral predictions that citizens make. Specifically, this chapter evaluates how unfulfilled electoral expectations affect political attitudes. The impact of unmet expectations on post-election attitudes remains relatively understudied. According to the expectancy-disconfirmation model, voters who incorrectly predicted the victory of their preferred party or candidate should show lower levels of satisfaction with the way democracy works than voters who correctly anticipated the defeat of their preferred party or candidate. These voters should also be less confident in the integrity of the electoral process. In contrast, “surprised” winners should be more satisfied and confident than winners who correctly anticipated the outcome. Data from more than 20 regional and national elections in four countries (i.e., Canada, France, the United Kingdom, and the United States) suggest that voters’ expectations have little impact on their level of satisfaction with democracy. In a number of cases, however, unexpected losers were more likely to question the integrity of the electoral process than expected losers. This is especially true of the 2020 U.S. presidential election, which witnessed an unusual number of fraud claims and malpractice accusations. In highly polarized contexts, unmet expectations can potentially worsen the consequences of defeat. In the conclusion, the main results of each of the four papers are reviewed. Implications for research in the field of election forecasting are also discussed. The contributions of this dissertation are of both theoretical and practical interest. From a theoretical standpoint, the results reinforce the notion of “forecasting ability” by establishing a positive association between factual political knowledge and forecasting performance across different levels of elections and electoral systems. The results also cast doubt on explanations in terms of social interactions or, at the very least, invite a rethinking of how we measure the characteristics of social networks. This dissertation is also one of the few works to consider the influence of citizens’ electoral expectations on their attitudes toward democracy and the electoral process following an unexpected defeat or victory. Finally, from a practical standpoint, the results suggest that weighting individual judgments by competence is a viable strategy for improving the measurement of public opinion with regards to projected election outcomes.