Search

Zur Bewertung des Nutzens medizinischer Interventionen stellen randomisierte kontrollierte Studien den Goldstandard dar. Nur bei diesem Design kann ohne weitere Annahmen von einer Strukturgleichheit der zu vergleichenden Therapiegruppen ausgegangen werden. Seit einiger Zeit wird darüber diskutiert, [zum vollständigen Text gelangen Sie über die oben angegebene URL]

Background The SAVVY project aims to improve the analyses of adverse events (AEs), whether prespecified or emerging, in clinical trials through the use of survival techniques appropriately dealing with varying follow-up times and competing events (CEs). Although statistical methodologies have advanced, in AE analyses, often the incidence proportion, the incidence density, or a non-parametric Kaplan-Meier estimator are used, which ignore either censoring or CEs. In an empirical study including randomized clinical trials from several sponsor organizations, these potential sources of bias are investigated. The main purpose is to compare the estimators that are typically used to quantify AE risk within trial arms to the non-parametric Aalen-Johansen estimator as the gold-standard for estimating cumulative AE probabilities. A follow-up paper will consider consequences when comparing safety between treatment groups. Methods Estimators are compared with descriptive statistics, graphical displays, and a more formal assessment using a random effects meta-analysis. The influence of different factors on the size of deviations from the gold-standard is investigated in a meta-regression. Comparisons are conducted at the maximum follow-up time and at earlier evaluation times. CEs definition does not only include death before AE but also end of follow-up for AEs due to events related to the disease course or safety of the treatment. Results Ten sponsor organizations provided 17 clinical trials including 186 types of investigated AEs. The one minus Kaplan-Meier estimator was on average about 1.2-fold larger than the Aalen-Johansen estimator and the probability transform of the incidence density ignoring CEs was even 2-fold larger. The average bias using the incidence proportion was less than 5%. Assuming constant hazards using incidence densities was hardly an issue provided that CEs were accounted for. The meta-regression showed that the bias depended mainly on the amount of censoring and on the amount of CEs. Conclusions The choice of the estimator of the cumulative AE probability and the definition of CEs are crucial. We recommend using the Aalen-Johansen estimator with an appropriate definition of CEs whenever the risk for AEs is to be quantified and to change the guidelines accordingly.

Analyses of adverse events (AEs) are an important aspect of the evaluation of experimental therapies. The SAVVY (Survival analysis for AdVerse events with Varying follow-up times) project aims to improve the analyses of AE data in clinical trials through the use of survival techniques appropriately dealing with varying follow-up times, censoring, and competing events (CE). In an empirical study including seventeen randomized clinical trials the effect of varying follow-up times, censoring, and competing events on comparisons of two treatment arms with respect to AE risks is investigated. The comparisons of relative risks (RR) of standard probability-based estimators to the gold-standard Aalen-Johansen estimator or hazard-based estimators to an estimated hazard ratio (HR) from Cox regression are done descriptively, with graphical displays, and using a random effects meta-analysis on AE level. The influence of different factors on the size of the bias is investigated in a meta-regression. We find that for both, avoiding bias and categorization of evidence with respect to treatment effect on AE risk into categories, the choice of the estimator is key and more important than features of the underlying data such as percentage of censoring, CEs, amount of follow-up, or value of the gold-standard RR. There is an urgent need to improve the guidelines of reporting AEs so that incidence proportions are finally replaced by the Aalen-Johansen estimator - rather than by Kaplan-Meier - with appropriate definition of CEs. For RRs based on hazards, the HR based on Cox regression has better properties than the ratio of incidence densities.

Health Technology Assessment is one of the standard instruments in support of the decision-making to define the public health services both internationally and in the German health care system. Besides systematic reviews, benefit-harm-analyses, health economic evaluations, and, decision-analytic modelling, especially epidemiological and biometrical questions and methods play a key role. From this perspective discussions on increased European cooperation including calls for wider harmonization are attracting greater interests. The overall aim is, to present at the GMDS workshop relevant information on this emerging field of harmonization in Europe across similarities and differences in the HTA process. Current developments around the composition of the EU-HTA Network are provided. This network accepts the challenge to define and establish a “Joint Work” across Europe. Special emphasis was placed on the discussion on “Harmonization of HTA: is it a threat or does it mean support?”. Furthermore, methodological discussions and questions are being addressed: “Are Real World Data and Surrogates possible parameters for decision-making or HTA?”, Health Technology Assessment (Gesundheitstechnologiefolgenabschätzung) gehört international und im deutschen Gesundheitswesen zu den Standardinstrumenten der Entscheidungsunterstützung zur Definition des Leistungskatalogs. Neben systematischen Reviews, Nutzen-Schaden-Abwägungen, gesundheitsökonomischen Evaluationen und entscheidungsanalytischen Modellierungen spielen insbesondere epidemiologische und biometrische Fragen und Methoden eine Rolle. Vor diesem Hintergrund geraten die zunehmenden Diskussionen um europäische Zusammenarbeit in den Fokus bis hin zu Rufen nach umfangreicher Harmonisierung. Die GMDS-Arbeitsgruppe HTA möchte gemeinsam mit den AG/AK Methodik Systematischer Reviews, Gesundheitsökonomie und Medical Decision Making dieses Thema aufgreifen und aktuelle Entwicklungen darstellen. Dies beginnt mit einem europäischen Blick auf den Aufbau des EU-HTA-Netzwerks, das sich der Herausforderung stellt, „Joint Work“ europaweit zu definieren und zu etablieren. Hier rückt die Diskussion um „Harmonisierung von HTA“ in den Vordergrund: Ist dies als Bedrohung oder als Unterstützung zu werten? Im zweiten Teil des Artikels wird vor diesem Hintergrund eine weitere aktuelle methodische Frage aus verschiedenen Perspektiven erörtert: „Sind Real World Data und Surrogate mögliche Parameter im Decision Making oder in der Gesundheitstechnologiefolgenabschätzung?“., GMS Medizinische Informatik, Biometrie und Epidemiologie; 14(1):Doc02

Workshop of the GMDS Working Groups "Therapeutische Forschung" "Methodik systematischer Reviews" Abstract: The benefit assessment of drugs, in which the causal effects of medical interventions are evaluated regarding a clearly defined comparator, plays an important role,[for full text, please go to the a.m. URL], 62. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e.V. (GMDS)

Background: Progression-free survival (PFS) is often used instead of the patient-relevant endpoint overall survival (OS) in cancer clinical trials. In order for PFS to be accepted as a patient-relevant outcome within the benefit assessment of pharmaceuticals in accordance with the German Social Code, Book Five (SGB V), section 35a, it has to be validated as a surrogate endpoint for OS in the relevant indication. As part of a rapid report the Institute for Quality and Efficiency in Health Care (Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen – IQWiG) presented methods for surrogate endpoints validation and recommendations for correlation-based procedures. These methods include the evaluation of the certainty of conclusion of study results and the correlation between estimates of surrogate outcome and patient-relevant outcome on trial-level. The correlation is estimated by sample Pearson correlation coefficient r or coefficient of determination R² and respective confidence interval (CI). Requirements for surrogate validation are a high correlation and a high certainty of conclusion of the study results. In case of medium correlation IQWiG methods propose applying the concept of surrogate threshold effect (STE) to determine thresholds for the estimate of the surrogate endpoint. Methods: In simulation studies we investigate the requirements for a successful surrogate validation when applying a correlation-based approach. Simulation parameters are the estimates of the surrogate and the patient-relevant outcome, the correlation between them, the number of patients and the number of studies. We analyzed different scenarios in order to figure out parameters contributing to high correlation. Furthermore, we investigate requirements of the STE method, allowing conclusions on patient-relevant endpoints by means of surrogate endpoints. Finally, in consideration of IQWiG methods we analyze the challenges of surrogate validation in practical use. Results: Both, simulations of the surrogate validation using correlation-based procedure as well as an analytical derivation show low statistical power despite a medium-sized number of studies and a high true correlation. The power for n=5 studies and correlation ρ=0.9 is below 6%. A very high true correlation of ρ=0.95 in at least n=25 studies would be required in order to preserve a power of 80%, however this scenario is considered implausible in practice. Further simulations investigating the power of the method of STE showed that only one fifth of the considered scenarios have power above 80%. However, these scenarios included parameter constellations with impractical values regarding number of studies, number of patients and effect estimate of OS. The correlation parameter ρ as well as the parameter of the estimate of PFS barely have an impact on the power of the STE procedure. Conclusion: Our simulations show that in practical use it is quite unlikely to fulfill the condition of high correlation as defined in the rapid report of IQWiG, proposing the lower limit of confidence interval to be crucial. Despite setting the true correlation in the model to a high value, statistical power will be quite small as long as the number of studies remains low or medium which is a realistic assumption in validation of surrogate endpoints within the framework of early benefit assessment. Besides, recommendation to involve certainty of studies in the analysis remains problematic. On closer inspection of the density function of sample correlation coefficient and assuming a given true correlation we can conclude that sample correlation does not depend on the variance of the single estimates but only on sample size (representing the number of studies in the model). Therefore, patient number does not have an impact on the confidence interval of the correlation whether using weight vectors for studies or not. Application of the STE concept according to the requirements described in the rapid report appears to be rather complicated as well. We propose an alternative solution of comparing the value of STE with point estimate of the surrogate endpoint instead of its lower level of confidence interval showing low α-errors in realistic scenarios., Hintergrund: In onkologischen Studien wird oftmals statt des patientenrelevanten Endpunkts Gesamtüberleben (overall survival, OS) der Endpunkt progressionsfreies Überleben (progression-free survival, PFS) erfasst. Für eine Anerkennung von PFS als patientenrelevant im Verfahren der Nutzenbewertung nach § 35a SGB V gilt es, dieses als Surrogatendpunkt für OS in der betrachteten Indikation zu validieren. Das Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) hat im Rahmen eines Rapid Report Methoden zur Validierung von Surrogatendpunkten dargestellt und Empfehlungen zur Verwendung von korrelationsbasierten Verfahren ausgesprochen. In diesen Methoden werden die Einschätzung der Aussagesicherheit der Studienergebnisse und der Zusammenhang zwischen den Effektschätzern des Surrogats und des patientenrelevanten Endpunkts auf Studienebene einbezogen. Der Zusammenhang wird mit dem Korrelationskoeffizienten r bzw. dem Bestimmtheitsmaß R² und entsprechendem Konfidenzintervall (KI) gemessen. Für den Nachweis der Validität des Surrogats müssen eine hohe Korrelation sowie eine hohe Aussagesicherheit der Studienergebnisse vorliegen. Im Falle einer mittleren Korrelation kann das Konzept des Surrogate Threshold Effects (STE) zur Festlegung von Schwellenwerten für den Effektschätzer des Surrogatendpunkts angewandt werden. Methoden: In Simulationsstudien wird nun untersucht, welche Bedingungen für eine erfolgreiche Surrogatvalidierung mit korrelationsbasierten Verfahren erfüllt sein müssen. Variierende Parameter sind die Effektschätzer des Surrogats und des patientenrelevanten Endpunkts, die Korrelation zwischen den Effektschätzern, die Patientenanzahl sowie die Anzahl der Studien. Es wird analysiert, in welchen Szenarien der Nachweis einer hohen Korrelation gelingt und falls nicht, welche Voraussetzungen vorliegen müssen, dass anhand des Surrogats unter Einbeziehen des STE-Konzepts noch Schlüsse auf den patientenrelevanten Endpunkt gezogen werden können. Die Herausforderungen der vom IQWiG präferierten Methodik zur Surrogatvalidierung in der Praxis werden analysiert. Ergebnisse: Die Simulation der Surrogatvalidierung über das korrelationsbasierte Verfahren sowie die analytische Herleitung der Power zeigen, dass diese bei moderater Studienanzahl und starker zugrundeliegender wahrer Korrelation dennoch sehr gering ist. Die Power liegt für n=5 Studien und Korrelation ρ=0,9 unter 6%. Es wäre eine sehr hohe Korrelation von ρ=0,95 in mindestens n=25 Studien erforderlich, um eine Power von 80% zu erhalten. Dieses Szenario ist in der Realität allerdings als unplausibel anzusehen. In der Simulation zur Anwendung des STE-Konzepts lag die Power nur bei etwa ein Fünftel der betrachteten Szenarien über 80%. Dabei handelte es sich jedoch um Szenarien, in denen die Parameterkonstellationen aus hoher Studien- und Patientenanzahl und großem Effekt des OS eher unrealistisch sind. Der Parameter der Korrelation ρ zwischen den Effektschätzern der Studien wirkt sich ebenso wie verschiedene Effekte des PFS kaum auf die Power des STE-Verfahrens aus. Schlussfolgerung: Die durchgeführten Simulationen zeigen, dass die im Rapid Report beschriebene Methodik, wonach die untere Grenze des Konfidenzintervalls ausschlaggebend für eine hohe Korrelation bei der Surrogatvalidierung sein soll, eine in der Praxis kaum zu überwindende Hürde darstellt. Bei gering bis moderat angenommener Studienanzahl - wie es für eine Validierung von Surrogatendpunkten im Rahmen der frühen Nutzenbewertung realistisch erscheint - ist die Power selbst bei hoher, wahrer Korrelation äußerst gering. Problematisch erscheint weiterhin die Empfehlung, die Aussagekraft der Studien in die Analyse mit einzubeziehen, auch wenn dies prinzipiell gerechtfertigt erscheint. Bei Betrachtung der Definition des Korrelationskoeffizienten und dessen Dichtefunktion wird zudem klar, dass die empirische Korrelation unter Annahme einer festen wahren Korrelation gar nicht von der Varianz der Einzelschätzer, sondern nur von der Anzahl der Wertepaare abhängt. Die Patientenanzahl hat somit keine Auswirkung auf das Konfidenzintervall der Korrelation. Dies gilt ebenso, wenn Modelle mit Gewichtung der Studien verwendet werden. Die Anwendung des STE-Konzeptes gemäß der im Rapid Report beschriebenen Methodik erscheint ebenfalls schwierig. Ein Vergleich des STE mit dem Punktschätzer des Surrogatendpunkts wäre eine Alternative, die in realistischen Szenarien geringe α-Fehler zeigte., GMS Medizinische Informatik, Biometrie und Epidemiologie; 13(1):Doc01

Die Medizinische Biometrie beschäftigt sich mit der Entwicklung und Anwendung statistischer Verfahren in der Medizin. Insbesondere bei der Entwicklung und Bewertung von Arzneimitteln ist die adäquate Verwendung biometrischer Methoden von fundamentaler Bedeutung. Die Nutzenbewertung von Arzneimitteln,[zum vollständigen Text gelangen Sie über die oben angegebene URL], HEC 2016: Health – Exploring Complexity; Joint Conference of GMDS, DGEpi, IEA-EEF, EFMI

Einleitung: Mit der Einführung des Arzneimittelneuordnungsgesetzes (AMNOG) im Jahr 2011 sind pharmazeutische Unternehmen (pU) aufgefordert, den Zusatznutzen eines neuen Arzneimittels (AM) gegenüber einer vom Gemeinsamen Bundesausschuss (G-BA) festgelegten zweckmäßigen Vergleichstherapie[zum vollständigen Text gelangen Sie über die oben angegebene URL], GMDS 2015; 60. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e.V. (GMDS)

Einleitung: Die Beurteilung der klinischen Wirksamkeit der Behandlung in longitudinalen Beobachtungsstudien ist mit einigen analytischen Herausforderungen verbunden. Diese beinhalten die Notwendigkeit der adäquaten Berücksichtigung fehlender Daten, des Selektionsbias und möglicher Therapiewechsel.[zum vollständigen Text gelangen Sie über die oben angegebene URL], GMDS 2015; 60. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e.V. (GMDS)

Hintergrund und Fragestellung: Mit dem Arzneimittelneuordnungsgesetz (AMNOG) sind pharmazeutische Unternehmen (pU) aufgefordert, den Zusatznutzen eines neuen Arzneimittels (AM) gegenüber einer von gemeinsamen Bundesausschuss (GBA) festgelegten zweckmäßigen Vergleichstherapie (zVT) in [for full text, please go to the a.m. URL], EbM zwischen Best Practice und inflationärem Gebrauch; 16. Jahrestagung des Deutschen Netzwerks Evidenzbasierte Medizin

Die Nutzenbewertung von Arzneimitteln, d. h. die Evaluation medizinischer Interventionen hinsichtlich ihrer kausal begründeten positiven und negativen Effekte im Vergleich mit einer klar definierten anderen Therapie, spielt eine zunehmend größere Rolle, insbesondere seit das Arzneimittelmarktneuordnungsgesetz[for full text, please go to the a.m. URL], GMDS 2014; 59. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e.V. (GMDS)

Einleitung und Fragestellung: Fehlende Werte sind in klinischen Studien möglichst zu vermeiden. Insbesondere in Langzeitstudien ist dies häufig nicht möglich, was das Ersetzen fehlender Werte erforderlich macht. Die „points to consider“ der EMA fordern bei der Ersetzung [for full text, please go to the a.m. URL], GMDS 2013; 58. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e.V. (GMDS)

Der Umgang mit Unsicherheiten ist in der klinischen Forschung und evidenzbasierten Medizin keine Unbekannte. Große Streuungen, Verzerrungspotentiale von Studien und Heterogenitäten zwischen Studien sind nur einige Beispiele. Die Unsicherheiten in der Aussagesicherheit basieren auf dem zugrundeliegenden[for full text, please go to the a.m. URL], GMDS 2012; 57. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e.V. (GMDS)