Objective: Several studies have shown that the quality of reports of randomized controlled trials (RCTs) in medicine is variable and often poor, whereas the quality of those in surgery is unknown. We aimed to assess the quality of reports of RCTs in coronary artery bypass grafting (CABG) surgery when comparing off- and on-pump techniques.
Methods: From electronic searches of MEDLINE, the Cochrane Library, CINAHL, HealthSTAR and EMBASE, we identified RCTs published between 2000 and 2005 comparing off- and on-pump CABG. We assessed the report quality, using 35 items from the Consolidated Standards for Reporting Trials (CONSORT) statement and 54 additional indicators relevant to CABG surgery. Some of the indicators comprised several small parts, making the maximum possible total score 105. Two authors independently reviewed and assessed the reporting quality of each RCT. The level of agreement was assessed with kappa statistics, and disagreements were resolved by consensus. We expressed descriptive analyses as median and interquartile range; we used a generalized estimating equation (GEE) for data analysis.
Results: We included 50 trials, for a total of 5134 patients. The kappa value was greater than 0.6 for 73 of 105 (70%) indicators. The overall report quality score varied from 35 to 93 of 105. The CONSORT score reporting quality varied from 16 to 39 of 42. The quality of reporting was poor and insufficient for the methods (particularly, the sample size, allocation and blinding subsections), results and discussion sections. With GEE modelling, the reporting quality had a strong association with trial size, publication year, trial location and funding source, but not with the results and type of primary outcome.
Conclusion: The quality of the publications' reporting methods, results and discussion sections was suboptimal. It is critical that, in reporting surgical trials, authors follow the CONSORT guidelines as well as consider the surgical factors.
Objectif: Plusieurs études ont démontré que la qualité des rapports d'études contrôlées randomisées (ECR) en médecine est variable et souvent médiocre, tandis qu'on ne connaît pas celle des rapports d'ECR en chirurgie. Nous voulions évaluer la qualité des rapports d'ECR sur le pontage aortocoronarien (PAC) lorsque l'on compare des techniques sans pompe et avec pompe.
Méthodes: Des recherches effectuées dans les banques de données MEDLINE, Cochrane Library, CINAHL, HealthSTAR et EMBASE nous ont permis de repérer des rapports publiés entre 2000 et 2005 portant sur des ECR au cours desquelles on a comparé le PAC sans pompe et avec pompe. Nous avons évalué la qualité du rapport en nous fondant sur 35 éléments de l'énoncé sur le regroupement des normes relatives aux rapports d'études (CONSORT) et sur 54 indicateurs supplémentaires pertinents au PAC. Certains des indicateurs comportaient plusieurs sous-éléments, ce qui a porté à 105 le score total maximum possible. Deux auteurs ont critiqué et évalué indépendamment la qualité du rapport de chaque ECR. On a évalué le niveau de convergence au moyen de statistiques kappa et résolu les divergences de vues par consensus. Nous avons exprimé les analyses descriptives sous forme d'intervalle médian et interquartile. Nous avons utilisé une équation d'estimation généralisée (EEG) pour analyser les données.
Résultats: Nous avons inclus 50 études portant sur 5134 patients au total. La valeur kappa a dépassé 0,6 pour 73 indicateurs sur 105 (70 %). Le score global de la qualité des rapports a varié de 35 à 93 sur 105. Le score CONSORT de qualité des rapports a varié de 16 à 39 sur 42. La qualité des rapports était médiocre et insuffisante dans les sections portant sur les méthodes (en particulier les sous-sections sur la taille de l'échantillon, la répartition et le masquage), les résultats et la discussion. La modélisation EEG a révélé qu'il y avait un lien solide entre la qualité du rapport et l'ampleur de l'étude, l'année de publication, le lieu où se déroulait l'étude et la source de financement, mais non avec les résultats et le type de résultat principal.
Conclusion: : La qualité des sections des publications sur les méthodes, les résultats et la discussion n'est pas optimale. Il est crucial que dans leur rapport sur des études chirurgicales, les auteurs suivent les lignes directrices CONSORT et tiennent compte des facteurs chirurgicaux.