Bias in the use of randomized trials for carotid stenosis management

Gefasschirurgie. 2015;20(4):252-257. doi: 10.1007/s00772-015-0036-3.

Abstract

Background: Carotid artery procedures, such as surgery and stenting, although associated with significant risks and costs, are often recommended in guidelines which cite12- to 34-year-old randomized trial evidence of benefit; however, these recommendations exist although there is no evidence these procedures benefit patients who receive only current optimal medical treatment (encouragement of a healthy lifestyle and appropriate use of medication).

Objective: To examine whether bias exists in the use of randomized trial evidence and its impact on guideline recommendations.

Material and methods: Examples of how bias underpins endorsement of carotid procedures for patients with asymptomatic or symptomatic carotid stenosis were sought from available literature. .

Results: Many forms of procedural bias were identified involving the need for randomized trials, and their design and interpretation. Fundamental problems included failure to first adequately measure outcomes with non-invasive treatment alone, lack of appreciation of quality non-randomized trial measurements of risk in determining need for randomized trials and their applicability in routine practice, poor randomized trial methods with biased comparisons, inaccurate definitions of target populations, confusion of efficacy and safety outcomes, too much reliance on statistical rather than clinical significance and biased use of terminology to make procedures sound more effective.

Conclusion: Procedural bias in design and interpretation of randomized trials has resulted in widespread loss of understanding of how to optimize outcomes in patients with carotid artery stenosis. Current guidelines reflect the cumulative impact of this bias and are an excellent starting point for efforts to improve prevention of stroke and other vascular disease complications; however, there is also need for clinicians, policy makers, health service funding bodies, educators and the general public to assist.

Hintergrund: Häufig werden in Leitlinien mit dem Hinweis auf Evidenz aus randomisierten Studien Interventionen an der A. carotis empfohlen, etwa Operationen oder Stenteinlagen, obwohl diese mit erheblichen Risiken und Kosten einhergehen. Und solche Empfehlungen gibt es auch ohne Evidenz dafür, dass Patienten, die rein internistisch optimal behandelt werden, von diesen Interventionen profitieren.

Ziel: Überprüft werden sollte ein mögliches Bias bei der Verwendung von Evidenz aus randomisierten Studien und sein Einfluss auf Leitlinienempfehlungen.

Material und methoden: Beispiele werden vorgestellt, an denen sich zeigen lässt, wie ein Bias die Empfehlung für Interventionen bei asymptomatischer bzw. symptomatischer Karotisstenose untermauert.

Ergebnisse: Viele Formen von prozeduralem Bias wurden identifiziert, sie bedingen den Bedarf für randomisierte Studien, Design und Interpretation. Grundlegende Probleme waren u. a.: Es wurde nicht zunächst das Outcome nach nichtinvasiver Therapie allein adäquat ausgewertet, bei der Festlegung der Notwendigkeit für randomisierte Studien und bei der Anwendbarkeit in der Routine wurden qualitativ hochwertige, nichtrandomisierte Studien zum Risiko nicht berücksichtigt, verwendet wurden mangelhafte Untersuchungsmethoden mit voreingenommenen Vergleichen, Zielkollektive wurden nicht richtig definiert, Outcomes zur Effektivität wurden mit denen zur Sicherheit verwechselt, zu viel wurde entschieden aufgrund der statistischen und zu wenig aufgrund der klinischen Bedeutung, und eine Bias-basierte Verwendung der Terminologie ließ Interventionen effektiver scheinen als sie waren.

Fazit: Ein prozedurales Bias beim Design und bei der Interpretation von randomisierten Studien hat zu einem weit verbreiteten Verlust geführt: Es wird nicht mehr verstanden, wie sich das Outcome bei Karotisstenose optimieren lässt. Der kumulative Einfluss dieses Bias spiegelt sich wider in aktuellen Leitlinien, sie stellen also einen optimalen Ausgangspunkt für Ansätze zur Verbesserung der Prävention von apoplektischen Insulten und anderen Komplikationen von Gefäßerkrankungen dar. Allerdings bedarf dieser Prozess auch der Unterstützung von Klinikern, politisch Verantwortlichen, Kostenträgern und Weiterbildungseinrichtungen in der Gesundheitsversorgung sowie von der Öffentlichkeit.

Keywords: Bias; Carotid stenosis; Evidence; Randomized trial; Stroke prevention.