Mathematical modelling is increasingly used to inform budgeting and strategic decision-making by national TB programmes. Despite the importance of these decisions, there is currently no mechanism to review and confirm the appropriateness of modelling analyses. We have developed a benchmarking, reporting, and review (BRR) approach and accompanying tools to allow constructive review of country-level TB modelling applications. This approach has been piloted in five modelling applications and the results of this study have been used to revise and finalise the approach. The BRR approach consists of 1) quantitative benchmarks against which model assumptions and results can be compared, 2) standardised reporting templates and review criteria, and 3) a multi-stage review process providing feedback to modellers during the application, as well as a summary evaluation after completion. During the pilot, use of the tools prompted important changes in the approaches taken to modelling. The pilot also identified issues beyond the scope of a review mechanism, such as a lack of empirical evidence and capacity constraints. This approach provides independent evaluation of the appropriateness of modelling decisions during the course of an application, allowing meaningful changes to be made before results are used to inform decision-making. The use of these tools can improve the quality and transparency of country-level TB modelling applications.
Les programmes nationaux de lutte contre la TB ont de plus en plus recours aux modélisations mathématiques pour éclairer l’établissement du budget et la prise de décision stratégique. Malgré l’importance de ces décisions, il n’existe actuellement aucun mécanisme permettant de vérifier et confirmer la pertinence des analyses de modélisation. Nous avons développé une méthode de référenciation, rapportage et examen (de l’anglais, benchmarking, reporting and review [BRR]), avec outils connexes, pour une analyse constructive des modélisations liées à la TB à l’échelle d’un pays. Cette approche a été testée avec cinq applications de modélisation et les résultats de cette étude ont été utilisés afin de corriger et de finaliser l’approche. L’approche BRR comprend : 1) des points de référence quantitatifs avec lesquels les hypothèses et résultats des modélisations peuvent être comparés, 2) des modèles de rapports standardisés et des critères d’examen, et 3) un processus d’examen en plusieurs étapes faisant remonter les informations aux modélisateurs pendant l’application du modèle, ainsi qu’une évaluation récapitulative une fois la modélisation terminée. Pendant l’essai pilote, l’utilisation d’outils a donné lieu à d’importantes modifications des approches de modélisation. L’essai pilote a également permis d’identifier des problèmes qui sortent du champ d’application d’un mécanisme d’évaluation, tels qu’un manque de données probantes empiriques et des contraintes de capacité. Cette approche fournit une évaluation indépendante de la pertinence des décisions de modélisation pendant l’application du modèle, permettant d’apporter des modifications significatives avant d’utiliser les résultats pour éclairer la prise de décisions. L’utilisation de ces outils peut améliorer la qualité et la transparence des modélisations liées à la TB à l’échelle d’un pays.