Search

Introduction: Health apps offer an approach to improve the patients' management of their medication. Although the Digital Healthcare Act (DVG) has created a claim in the statutory health insurance (SHI), the large number of health apps available and their varying quality make it difficult for service providers and especially for medical laypersons to select an adequate high-quality medication app. Manufacturers need guidance for the development of high-quality apps right from the start. Various general evaluation concepts for health apps have been available to date. However, the requirements that should be met by healthcare depend largely on the field of application and the type of apps. This article aims to provide an overview of the international evidence on specific criteria for the evaluation of medication apps.Methods: Within the framework of a scoping review, a systematic search was conducted in PubMed and EMBASE on January 29, 2020. The search was limited to publications from 2007 onwards as well as to English and German articles. Additionally, a semi-systematic research of reference lists of the previously included articles as well as a structured search of websites of relevant stakeholders were conducted. Inclusion criteria were the following: the publication deals with health apps that can be used on smartphones and focus on supporting medication intake; the publication does not refer to evaluation criteria for a single app exclusively. The included publications were examined in a qualitative content analysis searching for evaluation criteria and categorizing them according to the framework criteria of the DVG and the Digital Health Applications Ordinance (DiGAV).Results: 2,542 articles were identified in the systematic search (999 in PubMed, 1,543 in EMBASE, 560 duplicates). A total of 16 studies met the inclusion criteria. The semi-systematic research and the structured search identified one further study. A catalog of criteria was developed based on the included 17 studies. This catalog covers the general topics "patient orientation" (data protection and security, consumer protection, user friendliness) and "quality/core functions of medication apps" (reminder, self-monitoring, (drug) information, motivation to change behavior, drug/patient safety, robustness) as well as "interoperability/cooperation". Due to its specific importance for medication apps, the subcategory "motivation for behavioral change" stands out beneath the general topic "quality/core functions of medication apps". This category aims to evaluate the design of individual functions with regard to their potential to actually change the behavior of app users.Discussion: The criteria for the evaluation of health apps mentioned in the DiGAV intersected with the criteria identified in the literature research. However, the area of positive health care effects was hardly covered by the included studies. In the development of the criteria catalog, it was not possible to weight the identified criteria. Therefore, the catalog should be understood as a supporting checklist for service providers, manufacturers, and/or users.Conclusions: A large variety of possible evaluation criteria for medication apps could be shown. Future research should focus on the possibilities of weighting these diverse evaluation criteria, using not only clinical studies but also methods to identify preferences. Einführung: Gesundheits-Apps bieten einen möglichen Lösungsansatz zur Verbesserung des Medikamentenmanagements durch Patienten. Zwar wurde mit dem Digitale-Versorgung-Gesetz (DVG) ein Anspruch in der Gesetzlichen Krankenversicherung (GKV) geschaffen, aber die Vielzahl angebotener Gesundheits-Apps mit schwankender Qualität machen es dem Leistungserbringer und vor allem dem medizinischen Laien schwer, eine bedarfsgerechte und qualitativ hochwertige Medikations-App auszuwählen. Auch Hersteller benötigen für die Entwicklung von qualitativ hochwertigen Apps von Anfang an Orientierungshilfen. Bislang liegen diverse allgemeine Bewertungskonzepte für Gesundheits-Apps vor. Welche Anforderungen Gesundheits-Apps erfüllen sollten, hängt jedoch maßgeblich von der Einsatzsituation beziehungsweise dem Typ der App ab. Daher ist die Zielsetzung des vorliegenden Beitrags, einen Überblick über die internationale Evidenzlage zu spezifischen Kriterien zur Bewertung von Medikations-Apps zu schaffen.Methoden: Im Rahmen eines Scoping Reviews wurde eine systematische Recherche am 29. Januar 2020 in PubMed und EMBASE durchgeführt. Die Suche wurde auf Publikationen ab dem Jahr 2007 und auf englische sowie deutsche Artikel beschränkt. Ergänzt wurde diese durch eine teilsystematische Recherche in den Referenzlisten der zuvor eingeschlossenen Artikel sowie auf Internetseiten von relevanten Stakeholdern. Einschlusskriterien waren: Die Publikation befasst sich mit Gesundheits-Apps, die auf dem Smartphone genutzt werden können und ihren Fokus auf die Unterstützung der Medikamenteneinnahme legen. Zudem durfte die Publikation nicht ausschließlich auf Bewertungskriterien für eine einzelne App bezogen sein. Die identifizierten Publikationen wurden in einer qualitativen Inhaltsanalyse nach Bewertungskriterien untersucht und diese in Anlehnung an die Rahmenkriterien des DVG bzw. der Digitale-Gesundheitsanwendungen-Verordnung (DiGAV) kategorisiert.Ergebnisse: Die systematische Recherche ergab 2.542 Treffer (999 in PubMed, 1.543 in EMBASE, 560 Dubletten). Insgesamt erfüllten 16 Studien die Einschlusskriterien. Die teilsystematische Recherche identifizierte eine weitere Studie. Der auf Basis der 17 Studien entwickelte Kriterienkatalog umfasst die Oberthemen "Patientenorientierung" (Datenschutz und -sicherheit, Verbraucherschutz, Nutzerfreundlichkeit) und "Qualität/Kernfunktionen von Medikations-Apps" (Erinnerung, Selbstüberwachung, (Arzneimittel-)Informationen, Motivation zur Verhaltensänderung, Arzneimittel-/Patientensicherheit, Robustheit) sowie den Bereich "Interoperabilität/Zusammenarbeit". Aufgrund ihrer spezifischen Bedeutung für Medikations-Apps sticht unter dem Oberthema "Qualität/Kernfunktionen der Medikations-Apps" die Unterkategorie "Motivation zur Verhaltensänderung" besonders hervor. Diese zielt auf die Bewertung der Ausgestaltung einzelner Funktionen hinsichtlich ihres Potenzials, das Verhalten der App-Nutzer tatsächlich zu verändern, ab.Diskussion: Die in der DiGAV genannten Kriterien zur Bewertung von Gesundheits-Apps wiesen eine große Schnittmenge mit den in der Literaturrecherche identifizierten Kriterien auf. Allerdings wurde der Bereich der positiven Versorgungseffekte mit den eingeschlossenen Studien kaum erfasst. Im Rahmen der Entwicklung des Kriterienkatalogs konnte keine Gewichtung der identifizierten Kriterien vorgenommen werden. Daher sollte der Katalog von Leistungserbringern, Herstellern und/oder Nutzern als eine unterstützende Checkliste verstanden werden.Fazit: Es konnte eine große Vielfalt möglicher Bewertungskriterien für Medikations-Apps gezeigt werden. Künftige Forschung sollte den Fokus auf Möglichkeiten der Gewichtung dieser vielfältigen Bewertungskriterien legen und dafür neben klinischen Studien auch Methoden der Präferenzerhebung einsetzen.

Objective: The goal of this review was to identify decision-analytic modeling studies in early health technology assessments (HTA) of high-risk medical devices, published over the last three years, and to provide a systematic overview of model purposes and characteristics. Additionally, the aim was to describe recent developments in modeling techniques.Methods: For this scoping review, we performed a systematic literature search in PubMed and Embase including studies published in English or German. The search code consisted of terms describing early health technology assessment and terms for decision-analytic models. In abstract and full-text screening, studies were excluded that were not modeling studies for a high-risk medical device or an in-vitro diagnostic test. The Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) flow diagram was used to report on the search and exclusion of studies. For all included studies, study purpose, framework and model characteristics were extracted and reported in systematic evidence tables and a narrative summary.Results: Out of 206 identified studies, 19 studies were included in the review. Studies were either conducted for hypothetical devices or for existing devices after they were already available on the market. No study extrapolated technical data from early development stages to estimate potential value of devices in development. All studies except one included cost as an outcome. Two studies were budget impact analyses. Most studies aimed at adoption and reimbursement decisions. The majority of studies were on in-vitro diagnostic tests for personalized and targeted medicine. A timed automata model, to our knowledge a model type new to HTA, was tested by one study. It describes the agents in a clinical pathway in separate models and, by allowing for interaction between the models, can reflect complex individual clinical pathways and dynamic system interactions. Not all sources of uncertainty for in-vitro tests were explicitly modeled. Elicitation of expert knowledge and judgement was used for substitution of missing empirical data. Analysis of uncertainty was the most valuable strength of decision-analytic models in early HTA, but no model applied sensitivity analysis to optimize the test positivity cutoff with regard to the benefit-harm balance or cost-effectiveness. Value-of-information analysis was rarely performed. No information was found on the use of causal inference methods for estimation of effect parameters from observational data.Conclusion: Our review provides an overview of the purposes and model characteristics of nineteen recent early evaluation studies on medical devices. The review shows the growing importance of personalized interventions and confirms previously published recommendations for careful modeling of uncertainties surrounding diagnostic devices and for increased use of value-of-information analysis. Timed automata may be a model type worth exploring further in HTA. In addition, we recommend to extend the application of sensitivity analysis to optimize positivity criteria for in-vitro tests with regard to benefit-harm or cost-effectiveness. We emphasize the importance of causal inference methods when estimating effect parameters from observational data. Zielsetzung: Unser Ziel war es, entscheidungsanalytische Studien zur frühen Technologiebewertung von Medizinprodukten aus den letzten drei Jahren zu identifizieren und einen systematischen Überblick über den Zweck der Modelle und die Modellcharakteristika sowie über aktuelle Entwicklungen in der Modellierungstechnik zu geben.Methoden: Für diesen Scoping Review wurde eine systematische Literatursuche in den Datenbanken PubMed und Embase nach Studien in englischer und deutscher Sprache durchgeführt. Der Suchcode setzte sich aus Begriffen für die frühe Technologiebewertung und Begriffen für ein entscheidungsanalytisches Modell zusammen. Im Screening von Zusammenfassung und Volltext wurden Studien ausgeschlossen, bei denen es sich nicht um ein Modell für Hochrisiko-Medizinprodukte oder diagnostische Tests handelte. Für alle eingeschlossenen Studien wurden Zweck und Rahmen der Studie sowie Modellcharakteristika extrahiert und zusammenfassend in sytematischen Evidenztabellen sowie in narrativer Form dargestellt.Ergebnisse: Aus 206 Studien wurden neunzehn Studien in den Review eingeschlossen. Die Studien betrafen entweder hypothetische Medizinprodukte oder existierende Produkte, nachdem sie bereits auf dem Markt erhältlich waren. Keine Studie nutzte die Extrapolation technischer Daten aus frühen Entwicklungsstufen, um den potentiellen Wert für die Gesellschaft zu evaluieren. Mit Ausnahme einer Studie schlossen alle Studien Kosten in die Evaluation ein. Zwei Studien waren Budget-Impakt-Analysen. Die meisten Studien zielten auf die Aufnahme in den Leistungskatalog und die Kostenerstattung der Medizinprodukte ab. Die Mehrheit der Studien betraf In-Vitro-Diagnostika für personalisierte und zielgerichtete Interventionen. Zeitgesteuerte Zustandsautomaten, ein Modelltyp, der bisher nicht im HTA genutzt wurde, wurden zur Beschreibung von komplexen, individuellen klinischen Pfaden und von Interaktionen dynamischer Systeme eingesetzt. Nicht alle Unsicherheitsquellen bei In-vitro-Tests wurden explizit modelliert. Das Einholen von Expertenwissen und Expertenbeurteilungen wurde als Ersatz für fehlende empirische Daten verwendet. Die Analyse der Unsicherheiten stellte den größten Vorteil der entscheidungsanalytischen Modellierung im frühen HTA dar, aber kein Modell wandte Sensitivitätsanalysen an, um den Schwellenwert für Testpositivität hinsichtlich der Nutzen-Schaden-Abwägung oder der Kosteneffektivität zu optimieren. Die Value-of-Information-Analyse wurde selten eingesetzt. Die Anwendung von Methoden der kausalen Inferenz zur Schätzung von Effektparametern aus Beobachtungsstudien wurde in keiner Studie erwähnt.Schlussfolgerung: Unser Review gibt einen Überblick über Ziele und Modelleigenschaften von neunzehn Studien zur frühen Bewertung von Medizinprodukten. Der Review zeigt die wachsende Bedeutung der personalisierten Medizin und bestätigt frühere Empfehlungen der sorgfältigen Modellierung der mit diagnostischen Tests verbundenen Unsicherheiten und eines vermehrten Einsatzes der Value-of-Information-Analyse. Zeitgesteuerte Zustandsautomaten könnten eine lohnenswerte Erweiterung der Modelltypen im Rahmen der Technologiebewertung sein. Zusätzlich empfehlen wir die Anwendung von Sensitivitätsanalysen zur Optimierung des Schwellenwerts für Testpositivität hinsichtlich der Nutzen-Schaden-Relation oder der Kosteneffektivität. Wir betonen die Wichtigkeit der Anwendung von Methoden der kausalen Inferenz für die Schätzung von Effektparametern aus Beobachtungsdaten.

Hintergrund und Stand (inter)nationaler Forschung: Die Psychotherapie-Richtlinie (PT-RL) gestaltet die Psychotherapie in der vertragsärztlichen Versorgung. Im Jahr 2017 wurde eine Strukturreform der PT-RL umgesetzt, mit dem Ziel, den Zugang zu ambulanter psychotherapeutischer Versorgung sowie den [zum vollständigen Text gelangen Sie über die oben angegebene URL]

Seit 2008 haben gesetzlich Versicherte ab dem 35. Lebensjahr alle zwei Jahre einen Anspruch auf ein Hautkrebsscreening (HKS). Bislang liegen kaum Untersuchungen zum ökonomischen Nutzen in Deutschland vor. Das vom Innovationsfonds geförderte Projekt zielt auf die „Evaluation des Hautkrebsscreenings [zum vollständigen Text gelangen Sie über die oben angegebene URL]

Hintergrund und Stand (inter)nationaler Forschung: Seit Ende 2020 sind die ersten digitalen Gesundheitsanwendungen (DiGA) zugelassen und damit in der Gesetzlichen Krankenversicherung (GKV) erstattungsfähig. Deutschland ist daher das erste Land in dem „Gesundheits-Apps“ Bestandteil [zum vollständigen Text gelangen Sie über die oben angegebene URL]

Hintergrund und Stand (inter)nationaler Forschung: Seit September 2020 sind Digitale Gesundheitsanwendungen (DiGA) fester Bestandteil des deutschen Gesundheitswesens und können von Leistungserbringern verschrieben und von gesetzlich versicherten Patienten nach gestellter Diagnose bei ihrer Krankenkasse [zum vollständigen Text gelangen Sie über die oben angegebene URL]

Hintergrund und Stand (inter)nationaler Forschung: Seit Ende 2020 sind die ersten digitalen Gesundheitsanwendungen (DiGA) in das DiGA-Verzeichnis nach § 139e SGB V aufgenommen und kollektivvertraglich in der Gesetzlichen Krankenversicherung (GKV) erstattungsfähig. Voraussetzung dafür [zum vollständigen Text gelangen Sie über die oben angegebene URL]

Hintergrund: Das Ziel war es, mit Hilfe von AOK-Versichertendaten eine Mortalitätsevaluation des Hautkrebsscreenings (HKS) in Deutschland vorzunehmen. Methoden: Unter den AOK-Versicherten wurden männliche und weiblich Versicherte im Alter von 35-99 Jahren identifiziert, die in [zum vollständigen Text gelangen Sie über die oben angegebene URL]