Taking Action to Improve Data Alignment with Ministry Partners: Case Study from Togo

By: Etonam Sowu (1), Erick Komlan (2), and Jessica Cook (3)

Lisez la version française ici.

Introduction

There are more than 11,000 Community Health Workers (CHWs) deployed throughout the country of Togo. This cadre of workers is fragmented, and the roles of CHWs vary by implementing organization. In October, the government of Togo introduced a new plan titled “Roadmap 2025” that elevates health as a critical pillar of national development and prioritizes professionalized CHWs as part of the solution. We are thrilled that the government of Togo has committed to ensuring a coordinated, effective cadre of professionalized CHWs

Integrate Health is one of many partners that supports the Ministry of Health in Togo to achieve their universal health access goals. In this article, we describe Integrate Health’s experience applying the Community Health Worker Assessment and Improvement Matrix (CHW AIM) to an existing CHW program while also deepening collaboration with government partners, specifically by harmonizing data. We hope the lessons learned from this experience will inspire other NGOs and governments to apply the evidence-based CHW AIM framework to their own work in order to propel CHW programs to a higher level of quality and impact.

Founded in 2004, Integrate Health helped to build one of the most effective HIV care programs in the country. In 2015, community members asked Integrate Health to expand services to include comprehensive primary healthcare. In close collaboration with the national, regional, and district health authorities, Integrate Health is supporting the scale-up of a community-owned, women-led healthcare system to five districts in northern Togo by 2021. A central part of this healthcare approach is a cadre of professionalized CHWs. Integrate Health supports 139 CHWs serving over 166,000 people. These CHWs deliver a suite of maternal and child health services including proactive case finding, integrated management of childhood illnesses, family planning, and referrals for complicated cases. Under the guidance of a dedicated supervisor, CHWs conduct routine door-to-door consultations to deliver high-quality services.

CHW AIM: From Assessment to Action in Togo

Since the launch of the program in 2015, Integrate Health has worked with the government to advance adoption of evidence-based policies for a professional cadre of CHWs. Central to adopting these policies is guidance from CHW AIM, an evidence-based, easy-to-use tool for designing and optimizing investments in high-performing CHW programs. CHW AIM provides a framework to systematically and rigorously assess CHW programs for alignment with quality-producing practices across 10 programmatic components. Findings from the CHW AIM assessment inform action planning around specific improvement activities that stakeholders can implement to improve CHW program performance.

Integrate Health has a multi-year history of using the CHW AIM tool to drive evidence-based improvements. Through a collaborative process, Integrate Health used the AIM tool to evaluate the program in 2018. Per the CHW AIM methodology, this involved assessing each of ten program components against a set of evidence-based practices and assigning a “functionality” score of 1 (non-functional), 2 (partially functional), 3 (functional), or 4 (highly functional). “We didn’t always achieve a 4,” commented Emile Bobozi, Integrate Health’s Program Director. For example, under the category of “Data – How community-level data flow to the health system and back to the community and how they are used for quality improvement ”, Integrate Health scored a 3, functional.

Integrate Health-supported CHWs document visits, provide data in a standardized format, and work with communities and supervisors to use data to improve performance. All of these would warrant a 4, “highly functional” score, however, Integrate Health failed to consistently report data to public-sector monitoring and evaluation systems.[PA1]

Integrate Health has always shared data with government partners to demonstrate impact. However, in 2018, the Togo Ministry of Health (MOH) launched the District Health Information System (DHIS-2) and greatly expanded the list of indicators used to track the healthcare system. The DHIS-2 system is used to collect and store data for every health center in Togo. As a result of the MOH’s efforts, many of the indicators that Integrate Health had been using since 2015 no longer aligned to those of the MOH nor was the data collected by Integrate Health CHWs always available within the DHIS-2 system. As a result, it was difficult to compare performance across intervention and non-intervention sites and program results weren’t represented in annual MOH review meetings. This made it challenging to meaningfully compare Integrate Health-supported sites to sites around the country, rendering it impossible for our government partners to adequately understand the impact of the program on improving the quality of services delivered.

Given that Integrate Health has partnered with the Government of Togo to make primary healthcare accessible to all, it was important to us that the government have access to our data. With this access, they can better assess how the program improves the quality of service delivery. Evidence gathered by the AIM tool shows that high-quality systems have digital community health technologies that are scalable, so we embarked on a journey to better align with the government.

Developing a system that needed to consistently report data into public-sector monitoring and evaluation systems proved to be an extensive undertaking. Integrate Health first needed to align indicators, harmonize definitions and calculation methods, tweak data collection and reporting tools, and finally reinforce the use of DHIS-2 at the district and regional levels. During the process, we found that there were many gaps in the understanding of indicator definitions and calculation methods across not only our organization, but also amongst our colleagues at different levels in the MOH.

The Integrate Health team compiled lists of all of the indicators contained in the national health strategy (60), DHIS-2 system (1,089), and those used in Integrate Health programmatic dashboards (58). The team then focused on 60 of the most relevant indicators across the three data sources and reviewed calculation methods for each. Accessing the web-based API, a software that provides access to the data on DHIS2, proved to be critical for allowing our team to understand the calculation methods behind the indicators contained in DHIS-2.

Next, Integrate Health held a series of workshops to bring government actors together to discuss challenges and find solutions. The workshops covered data quality challenges frequently encountered by Integrate Health data analysts, best practices for validating data, and indicator definitions and calculation methods. The workshops proved to be essential in building consensus and consistency across all parties on the definition of key indicators and practical measures each stakeholder could take to improve data quality.

Following the workshops, Integrate Health redesigned its data systems and process flows so that data is now routinely entered into the national DHIS2 system and Integrate Health uses data directly from the national system to monitor its own programs: parallel data flows have been eliminated. Integrate Health data is now always included in figures presented by the MOH and the MOH has much greater visibility into the work of Integrate Health. The two organizations now speak the same language and have the same basis for monitoring and evaluating programs.

This was a major step in ensuring that the digital technologies were efficient and scalable. By guaranteeing that monthly data from Integrate Health would routinely appear in DHIS-2, available to policymakers nationwide, we could begin to show the impact of a cadre of professionalized CHWs against the national standard.

Looking Ahead: Expanding CHW AIM Commitments for Continued Quality Improvement

Last year, before undertaking this alignment, the Togolese Minister of Health attended a Community Health Impact Coalition (CHIC)-led workshop where he learned about the CHW AIM tool and saw the power in using evidence-based policies to build a cadre of professionalized CHWs. Since then, he has asked Integrate Health to facilitate a workshop to bring together key stakeholders and harmonize CHW policies nationwide. This spring, Integrate Health, with critical support from CHIC, will support the Ministry of Health’s Division of Community Health to lead a series of workshops using the AIM tool to help Togo leverage the best practices captured in the tool to overcome the current fragmentation and advance the Ministry’s goal of a harmonized cadre of professionalized CHWs to serve over eight million Togolese.

Author Affiliations:
(1) Director of Monitoring, Evaluation, and Quality Improvement at Integrate Health
(2) Development & Communications Associate at Integrate Health
(3) Communications Program Officer at Integrate Health

Check out the rest of the features in the CHW AIM series:

___________________________________________________________________________________

Prendre des mesures pour améliorer l’alignement des données avec les partenaires ministériels: Etude de cas du Togo

Par: Etonam Sowu (1), Erick Komlan (2), et Jessica Cook (3)

Introduction

Il y a plus de 11 000 agents de santé communautaires (ASC) déployés dans tout le pays au Togo. Ce cadre de travailleurs est fragmenté et les rôles des ASC varient selon l’organisation de l’application. En octobre, le gouvernement du Togo a présenté un nouveau plan intitulé “Plan 2025” qui accentue le domaine de la santé comme un pilier essentiel du développement national et donne la priorité aux ASC professionnalisés dans le cadre de la solution. Nous sommes ravis que le gouvernement du Togo se soit engagé à assurer un cadre coordonné et efficace pour les ASC professionnels.

Integrate Health est l’un des nombreux partenaires qui soutiennent le Ministère De La Santé du Togo pour atteindre ses objectifs d’accès universel à la santé. Dans cet article, nous décrivons l’expérience d’Integrate Health en appliquant la matrice d’évaluation et d’amélioration des agents de santé communautaires (ASC AIM) à un programme d’ASC existant tout en approfondissant la collaboration avec les partenaires gouvernementaux, en particulier en harmonisant les données. Nous espérons que les leçons tirées de cette expérience inspireront d’autres ONG et gouvernements à appliquer le cadre AIM des ASC basé sur des preuves de leur propre travail afin de propulser les programmes d’ASC à un niveau supérieur de qualité et d’impact.

Fondé en 2004, Integrate Health a contribué à l’élaboration de l’un des programmes de prise en charge du VIH les plus efficaces du pays. En 2015, des membres de la communauté ont demandé à Integrate Health d’étendre ses services pour inclure des soins de santé primaires complets. Avec une étroite collaboration avec les autorités sanitaires nationales, régionales et de district, Integrate Health soutient la mise à l’échelle d’un système de santé géré par les femmes et géré par la communauté dans cinq districts du nord du Togo d’ici 2021. Un élément central de cette approche pour amélioration de la santé est la définition d’un cadre d’ASC professionnalisés. Integrate Health soutient 139 ASC au service de plus de 166 000 personnes. Ces ASC offrent une gamme de services de santé maternelle et infantile, y compris la recherche proactive des cas, la prise en charge intégrée des maladies infantiles, la planification familiale et les références pour les cas compliqués. Sous la direction d’un superviseur dédié, les ASC mènent des consultations porte-à-porte de routine pour fournir des services de haute qualité.

ASC AIM: De l’évaluation à l’action au Togo

Depuis le lancement du programme en 2015, Integrate Health a travaillé avec le gouvernement pour faire progresser l’adoption de politiques fondées sur des données probantes pour un cadre professionnel d’ASC. Les conseils de ASC AIM, un outil factuel et facile à utiliser pour la conception et l’optimisation des investissements dans des programmes d’ASC hautement performants, sont au cœur de l’adoption de ces politiques. ASC AIM fournit un cadre pour évaluer systématiquement et rigoureusement les programmes ASC afin de les aligner sur les pratiques de production de qualité à travers 10 composantes programmatiques. Les résultats de l’évaluation de l’AIM des ASC éclairent la planification des actions autour d’activités d’amélioration spécifiques que les parties prenantes peuvent mettre en œuvre pour améliorer la performance du programme des ASC.

Integrate Health a un historique de plusieurs années d’utilisation de l’outil ASC AIM pour mener des améliorations fondées sur des preuves. Grâce à un processus collaboratif, Integrate Health a utilisé l’outil AIM pour évaluer le programme en 2018. Selon la méthodologie ASC AIM, cela impliquait d’évaluer chacune des dix composantes du programme par rapport à un ensemble de pratiques fondées sur des données probantes et d’attribuer un score de “fonctionnalité” 1 (non fonctionnel), 2 (partiellement fonctionnel), 3 (fonctionnel) ou 4 (hautement fonctionnel). “Nous n’avons pas toujours obtenu un 3 ou un 4”, a commenté Emile Bobozi, directeur du programme d’Integrate Health. Par exemple, dans la catégorie “Données – Comment les données au niveau communautaire circulent vers le système de santé et reviennent vers la communauté et comment elles sont utilisées pour l’amélioration de la qualité”, Integrate Health a obtenu une note de 3, fonctionnelle.

Les documents sanitaires soutenus d’Integrate Health à travers les visites ASC fournissent des données dans un format standardisé et travaille avec les communautés et les superviseurs pour utiliser ces données afin d’améliorer les performances. Tous ces éléments justifieraient un score de 4, “hautement fonctionnel”, mais Integrate Health n’a pas systématiquement communiqué les données aux systèmes de suivi et d’évaluation du secteur public. [PA1]

Integrate Health a toujours partagé des données avec des partenaires gouvernementaux pour démontrer son impact. Cependant, en 2018, le Ministère Tgolais de la Santé (MS) a lancé le Système d’information sanitaire du district (SISD-2) et a considérablement élargi la liste des indicateurs utilisés pour suivre le système de santé. Le système SISD-2 est utilisé pour collecter et stocker des données pour chaque centre de santé au Togo. À la suite des efforts du MS, de nombreux indicateurs qu’Integrate Health utilisait depuis 2015 ne sont plus alignés sur ceux du MS et les données collectées par les ASC d’Integrate Health n’étaient pas toujours disponibles dans le système SISD-2. En conséquence, il était difficile de comparer les performances entre les sites d’intervention et de non-intervention et les résultats du programme n’étaient pas représentés dans les réunions annuelles d’examen du MS. Cela a rendu difficile la comparaison significative des sites soutenus par Integrate Health avec des sites à travers le pays, rendant impossible pour nos partenaires gouvernementaux de bien comprendre l’impact du programme sur l’amélioration de la qualité des services fournis.

Étant donné qu’Integrate Health s’est associé au gouvernement du Togo pour rendre les soins de santé primaires accessibles à tous, il était important pour nous que le gouvernement ait accès à nos données. Grâce à cet accès, ils peuvent mieux évaluer comment le programme améliore la qualité de la prestation des services. Les données recueillies par l’outil AIM montrent que les systèmes de haute qualité disposent de technologies de santé communautaire numériques évolutives, nous nous sommes donc lancés dans une démarche visant à mieux nous aligner avec le gouvernement.

La mise au point d’un système permettant de communiquer systématiquement les données dans les systèmes de suivi et d’évaluation du secteur public s’est avérée une entreprise de grande envergure. L’intégration de la santé était d’abord nécessaire pour aligner les indicateurs, harmoniser les définitions et les méthodes de calcul, peaufiner la collecte de données et les outils de reporting, et enfin renforcer l’utilisation du SISD-2 aux niveaux district et régional. Au cours du processus, nous avons constaté qu’il y avait de nombreuses lacunes dans la compréhension des définitions des indicateurs et des méthodes de calcul non seulement dans notre organisation, mais aussi parmi nos collègues à différents niveaux du Ministère de la Santé.

L’équipe Integrate Health a compilé des listes de tous les indicateurs contenus dans la stratégie nationale de santé (60), le système SISD-2 (1 089) et ceux utilisés dans les tableaux de bord programmatiques d’Integrate Health (58). L’équipe s’est ensuite concentrée sur 60 des indicateurs les plus pertinents dans les trois sources de données et a examiné les méthodes de calcul pour chacun. L’accès à l’API Web s’est avéré essentiel pour permettre à notre équipe de comprendre les méthodes de calcul derrière les indicateurs contenus dans SISD-2.

Ensuite, Integrate Health a organisé une série d’ateliers pour rassembler les acteurs gouvernementaux pour discuter des défis et trouver des solutions. Les ateliers ont couvert les problèmes de qualité des données fréquemment rencontrés par les analystes de données d’Integrate Health, les meilleures pratiques pour valider les données, ainsi que les définitions des indicateurs et les méthodes de calcul. Les ateliers se sont avérés essentiels pour parvenir à un consensus et à la cohérence entre toutes les parties sur la définition des indicateurs clés et des mesures pratiques que chaque partie prenante pourrait prendre pour améliorer la qualité des données.

À la suite des ateliers, Integrate Health a repensé ses systèmes de données et ses flux de processus afin que les données soient désormais systématiquement saisies dans le système national SISD-2 et Integrate Health utilise les données directement du système national pour surveiller ses propres programmes: les flux de données parallèles ont été éliminés. Les données d’Integrate Health sont désormais toujours incluses dans les chiffres présentés par le MS et le MS a une bien plus grande visibilité sur le travail d’Integrate Health. Les deux organisations parlent désormais la même langue et ont la même base pour le suivi et l’évaluation des programmes.

Il s’agissait d’une étape majeure pour garantir que les technologies numériques soient efficaces et évolutives. En garantissant que les données mensuelles d’Integrate Health apparaîtront régulièrement dans SISD-2, disponible pour les décideurs à l’échelle nationale, nous pourrions commencer à montrer l’impact d’un cadre d’ASC professionnalisés par rapport à la norme nationale.

Regard vers l’avenir: élargir les engagements de ASC AIM pour une amélioration continue de la qualité

L’année dernière, avant d’entreprendre cet alignement, le Ministre Togolais de la Santé a participé à un atelier dirigé par la Community Health Impact Coalition (CHIC) où il a découvert l’outil ASC AIM et a vu le pouvoir d’utiliser des politiques fondées sur des preuves pour constituer un cadre d’ASC professionnalisés. Depuis lors, il a demandé à Integrate Health de faciliter un atelier pour rassembler les principales parties prenantes et harmoniser les politiques des ASC à l’échelle nationale. Ce printemps, Integrate Health, avec le soutien essentiel du CHIC, soutiendra la Division de la Santé Communautaire du Ministère de la Santé pour animer une série d’ateliers, utilisant l’outil AIM pour aider le Togo à tirer parti des meilleures pratiques capturées dans l’outil pour surmonter la fragmentation actuelle et progresser l’objectif du ministère pour un cadre harmonisé d’ASC professionnalisés afin de servir plus de huit millions de Togolais.

Auteur affiliations:
(1) Directeur du suivi, de l’évaluation et de l’amélioration de la qualité à Integrate Health
(2) Associé au Développement et aux Communication à Integrate Health
(3) Agente du Programme de Communication à Integrate Health

___________________________________________________________________________________

Trackbacks

Taking Action to Improve Data Alignment. | ProfMoosa says:

July 1, 2021 at 11:01 am

[…] Founded in 2004, Integrate Health helped to build one of the most effective HIV care programs in the country. In 2015, community members asked Integrate Health to expand services to include comprehensive primary healthcare. In close collaboration with the national, regional, and district health authorities, Integrate Health is supporting the scale-up of a community-owned, women-led healthcare system to five districts in northern Togo by 2021. A central part of this healthcare approach is a cadre of professionalized CHWs. Integrate Health supports 139 CHWs serving over 166,000 people. These CHWs deliver a suite of maternal and child health services including proactive case finding, integrated management of childhood illnesses, family planning, and referrals for complicated cases. Under the guidance of a dedicated supervisor, CHWs conduct routine door-to-door consultations to deliver high-quality services…more […]