Mesurer ce qui compte vraiment

Notre cheminement vers un meilleur suivi des résultats

Chez Vision Mondiale, nous avons toujours été guidés par une question simple, mais significative: les enfants et les collectivités progressent-ils véritablement? Pas seulement en termes du nombre d’enseignants que nous formons ou du nombre de familles qui reçoivent de la nourriture, mais en termes de changements plus profonds et durables qui façonnent des vies.

Ces changements, appelés « résultats », sont significatifs; ils traduisent des évolutions dans le bien-être, les possibilités et la résilience des personnes.

Pendant des années, nous nous sommes appuyés sur des évaluations locales et nationales pour mesurer ces résultats. Bien que précieuses, ces initiatives étaient souvent isolées et incohérentes, ce qui rendait difficile la comparaison des résultats d’un contexte à l’autre ou l’établissement de conclusions unifiées. Nous avions besoin d’une meilleure façon de tirer des leçons de nos réussites et de nos échecs, de partager nos connaissances entre les bureaux nationaux et de rendre compte de manière pertinente à nos donateurs et à nos partenaires.

C’est pourquoi nous avons lancé l’AIM (Annual Impact Measurement, ou mesure annuelle de l’impact).¹ L’AIM est le premier système mis en place par le Partenariat World Vision pour suivre les résultats mondiaux d’une année à l’autre, à l’aide d’un ensemble d’indicateurs communs à tous les pays où nous intervenons.

La publication, cette année, de notre Rapport annuel des résultats 2025 marquera une étape importante: la première vague de données AIM reçues et publiées. Ce sera notre premier aperçu du travail de World Vision à travers une perspective commune. Au fur et à mesure que nous enrichirons cet ensemble de données, nous disposerons de l’information nécessaire pour repérer les tendances, nous adapter plus rapidement et prendre des décisions plus éclairées en matière de programmes.

Comment l’AIM nous permet d’améliorer nos analyses et notre prise de décision

AIM ne se contente pas de nous fournir des chiffres, il nous ouvre la voie à des perspectives plus approfondies. Grâce à son lancement, nous pouvons pour la première fois effectuer des analyses statistiques avancées sur un ensemble de données mondiales. Cela signifie que nous pouvons mettre au jour des liens qui étaient auparavant invisibles — par exemple, comment l’éducation est liée à la protection de l’enfance, ou comment l’égalité des sexes est liée à l’accès à l’eau. Ces perspectives ne se contentent pas de révéler ce qui se passe, elles nous aident à commencer à comprendre pourquoi ² — afin que nous puissions concevoir des projets qui s’attaquent aux causes profondes et apportent des changements plus transformateurs pour les plus vulnérables.

Bon nombre de ces tendances sont déjà visibles et nous avons hâte de les partager dans le rapport annuel de cette année. Par exemple, dans plus de 30 pays, nous constatons que:

• Les adolescents scolarisés sont moins exposés à la violence et ont davantage d’espoir en l’avenir. La scolarisation semble constituer un facteur de protection.
• Les adolescents en situation de handicap sont plus susceptibles d’être victimes de violence de la part de leurs aidants et de leurs pairs. Cela confirme la nécessité d’une protection inclusive.

De telles constatations nous permettent d’orienter les discussions sur la conception des programmes et le plaidoyer au sein du Partenariat World Vision et au-delà.

Tout aussi important, l’AIM nous permettra de suivre les tendances générales d’une année à l’autre. En comparant les données d’AIM au fil du temps, nous pouvons déterminer si nos programmes aident les collectivités à combler leurs écarts ou même à surpasser les tendances nationales. Cela est essentiel pour assurer le suivi de l’objectif mondial de Vision Mondiale: veiller à ce que les collectivités où nous intervenons progressent à un rythme égal ou supérieur aux moyennes de leur pays.

Un tel niveau de reddition de comptes et d’apprentissage à l’échelle de notre portefeuille n’était pas possible auparavant — cela nous permet de prendre des décisions fondées sur des données probantes qui favorisent véritablement la transformation.

« L’AIM nous aide à aller au-delà de la simple collecte de données pour en arriver à une véritable compréhension de celles-ci. Pour la première fois, nous pouvons observer des tendances communes à plusieurs pays et utiliser ces connaissances pour prendre des décisions plus éclairées », explique Juliana Breidy, directrice technique de la mesure de l’impact chez World Vision International. « Cela change notre façon d’apprendre en tant qu’organisation et nous aide à concentrer nos efforts là où ils comptent le plus pour les enfants. »

Les défis liés aux données en cours de route

Grâce à AIM, les bureaux de World Vision recueilleront chaque année des données sur les résultats provenant des zones d’intervention dans leurs pays respectifs, à l’aide d’un ensemble d’indicateurs normalisés. Le système s’appuie sur l’« échantillonnage stratifié », une méthode qui permet de s’assurer que différents sous-groupes au sein d’une population — dans le cas de World Vision, les zones d’intervention communautaires — sont adéquatement représentés dans l’échantillon.

Cependant, notre analyse initiale a révélé un défi lié à la taille de l’échantillon: les données AIM étaient fiables pour les évaluations à l’échelle nationale, mais insuffisantes pour effectuer des tests statistiques à l’échelle communautaire. De ce fait, elles pouvaient offrir une perspective nationale générale, mais pas une compréhension détaillée des contextes locaux des programmes.

Cela revêtait une importance considérable. La plupart des programmes de World Vision se déroulent au sein des communautés. Nos équipes ne pouvaient pas communiquer ces données AIM au niveau communautaire à nos donateurs, qui s’attendent à constater des progrès significatifs directement liés à leurs contributions. Et sans données locales précises, nous risquions de prendre des décisions de programmation qui ne correspondaient pas aux besoins réels des communautés.

Il semblait que notre approche devait changer, mais compte tenu des coûts, nous avions besoin de preuves avant d’aller de l’avant. Nous avons donc ensuite lancé un projet pilote en Éthiopie — afin de vérifier si des échantillons plus vastes, au niveau communautaire, pourraient nous apporter les informations qui nous manquaient, et ce, avant le déploiement complet d’AIM.

Vérification de notre hypothèse et naissance d’IM+

Le projet pilote en Éthiopie portait sur deux collectivités — Kamba Zuria et Oda Bultum — et a été financé par Vision Mondiale du Canada. Il consistait à comparer les données d’AIM à des échantillons représentatifs des populations cibles et suffisamment vastes pour fournir des résultats fiables. L’objectif était de valider une hypothèse que nous soupçonnions déjà: que les données de l’AIM, bien que statistiquement valables à l’échelle nationale, étaient peu susceptibles de refléter la situation réelle à l’échelle locale.

Les résultats étaient sans équivoque.

À Kamba Zuria, 8 des 45 indicateurs présentaient des différences statistiquement significatives entre les données de l’AIM et les mesures du projet pilote. À Oda Bultum, l’écart était encore plus grand: 22 des 51 indicateurs présentaient des différences significatives.

Par exemple:

• À Oda Bultum, les données de l’AIM laissaient entendre que 60 % des ménages disposaient de sources de revenus diversifiées, alors que les données locales n’en indiquaient que 33 %.
• À Kamba Zuria, les données de l’AIM indiquaient que 91 % des ménages faisaient état d’une bonne autoefficacité — c’est-à-dire une confiance en leur capacité à prendre des décisions, à résoudre des problèmes et à améliorer leur situation. Or, les données locales n’en montraient que 25 %.

Il s’agit là de différences majeures. Si, dans ces cas, nous nous étions appuyés uniquement sur les données nationales de l’AIM pour orienter nos décisions en matière de programmation, nous aurions pu réduire nos efforts dans des régions qui sont encore en difficulté, ou manquer des occasions d’offrir un soutien là où il est vraiment nécessaire.

Lorsque nous avons adopté une approche différente, en vérifiant si les données nationales pouvaient servir à estimer les résultats au niveau communautaire, l’écart s’est avéré encore plus marqué: 84 % des indicateurs à Kamba Zuria et 91 % à Oda Bultum présentaient des différences statistiquement significatives.

« Le projet pilote en Éthiopie nous a fourni les preuves dont nous avions besoin: les moyennes nationales ne reflètent pas toute la réalité », explique Tewolde Mekonnen, spécialiste principal en suivi, évaluation, reddition de comptes et apprentissage chez World Vision Canada. « Les données locales sont essentielles pour prendre des décisions qui reflètent véritablement les réalités communautaires. »

Les données de l’AIM ne pouvaient pas servir d’indicateur fiable pour les informations au niveau communautaire. Les répercussions étaient considérables — non seulement sur la qualité des données, mais aussi sur les coûts. Le projet pilote en Éthiopie a utilisé des échantillons de 768 ménages par zone de programme et d’au moins 384 enfants pour les sondages hors ménages. Ce niveau de rigueur a un coût, et nous savions que nous ne pourrions pas l’étendre à toutes les régions.

C’est là qu’IM+ est entré en jeu.

Une amélioration visant à faciliter la collecte de données locales

IM+ a été conçu comme une amélioration stratégique d’AIM — un cadre de mesure des résultats permettant de recueillir des données statistiquement précises au niveau communautaire à des moments clés, soit au début, au milieu et à la fin des programmes. Il ne remplace pas AIM, mais le complète: il s’agit d’un outil de précision déployé à un rythme adapté, lorsque les données locales sont le plus nécessaires.

Nous croyons que cette double approche nous permettra de concilier rigueur et praticité, afin que chaque dollar consacré à la collecte de données apporte une valeur significative.

Bien qu’IM+ n’en soit encore qu’à ses débuts, nous sommes enthousiastes quant à l’avenir et avons hâte de partager ce que nous apprendrons. Nous prévoyons que ces informations nous aideront à prendre des décisions plus éclairées, à renforcer nos relations avec les donateurs et à nous assurer que nos programmes répondent véritablement aux besoins des communautés que nous servons.

La leçon que nous avons tirée

La conception d’AIM, le projet pilote en Éthiopie et le développement d’IM+ ont renforcé une leçon importante: le suivi mondial raconte une histoire d’échelle, mais le suivi local raconte une histoire de pertinence. Alors que nous adoptons un système permettant une analyse plus large, nous ne pouvons pas compromettre l’exactitude de nos données communautaires.

En investissant dans IM+, nous faisons plus qu’améliorer nos données sur les résultats; nous renforçons notre engagement envers l’apprentissage centré sur la communauté, la confiance des donateurs et une gestion responsable.

Monique Strassburger est directrice du développement des produits d’impact chez Vision Mondiale du Canada.

¹ AIM signifie « Annual Impact Measurement » (mesure annuelle de l’impact), bien que le système en soi ne mesure pas les changements au niveau de l’impact tels qu’ils sont officiellement définis par World Vision Canada. Ce nom reflète notre aspiration à évoluer vers des systèmes capables de mesurer ou d’estimer en continu les changements au niveau de l’impact dans la vie des plus vulnérables.

² Notre analyse identifie actuellement des corrélations, et non des liens de causalité. Les résultats mettent en évidence des liens et des relations plutôt que des schémas définitifs de cause à effet. Par exemple, nous avons observé que les adolescents scolarisés sont systématiquement moins exposés à la violence et ont davantage d’espoir en l’avenir, mais nous ne pouvons pas affirmer que la scolarisation est la cause de ces résultats — seulement qu’il existe une forte association entre ces facteurs.