Research Question The objective of health technology assessment (HTA) is to support decision-making in the health sector by assessing health technologies systematically under medical, economic, social, and ethical aspects. The present study aims at identifying ways of enabling the impact of HTA on decision-making processes in the German health sector. The authors formulate three research questions: (1) Can methods be identified that allow a valid assessment of the impact of HTA reports on the decision-making processes? (2) Has been shown an impact of HTA reports on decision-making processes in the health sector? (3) Which are the factors responsible for a high or a low impact of HTA? Methods The authors include studies that present a methodology to assess the impact of HTA, that investigate the impact of HTA on decision-making processes, or study the factors that might enhance or hinder the impact of HTA. Medical and social science electronic databases, lists of publications and projects of the European, North American, Canadian, and Australian HTA agencies, as well as the bibliography of the identified articles and documents are looked through. The writers do a handsearch of the International Journal of Technology Assessment in Health Care and contact 64 HTA agencies by a letter, requesting information on investigations that might not have been published. Results Abstracts from about 5,000 articles are read. 57 articles are ordered as full-text, 43 are finally included and 14 excluded. (1) In eight studies interviews with decision-makers are used to elicit the information, in three studies document analysis is employed, and in six surveys the results rely only on the observations and interpretations of the authors. One study analyses service data and in nine examinations more than one of the methods listed above are employed. Only in two studies pre-defined indicators were used and only in one clinical trial a prospective design is chosen. (2) In nine studies the impact of a population of HTA reports is analysed: Among these, seven find that more than 70% of the reports have an impact on the decision-making process, in one study 50% of the reports have none or only a minimal impact. In one study on the impact of 50 short HTA reports, it is found that they contribute valuable information but do not influence decisions. However, because of methodological flaws the evidence base for these results is rather limited. Most of the conclusions presented in the publications are based on the appraisal of the authors who are often related to the program of which the impact has been "evaluated". (3) The writers divide the factors that are identified as modifying the degree of impact of the HTA reports in two groups: context factors and factors that are connected to the developing process, the subject, the format, the content, or the quality of the reports. However, the relevance of these factors has to be assessed with caution: none of the publications has the relevance for a primary research question and in none of the studies is the relevance of the factors investigated in a prospective and systematic manner. Conclusion There is little experience with study designs or methods that allow a valid assessment of the impact of HTA reports on the decision-making process in the health sector. However, some approaches, such as the use of pre-defined indicators, were identified that should be pursued and elaborated in further studies. Due to the lack of a developed methodology only limited conclusions related to the impact of HTA reports can be drawn. Among the studies that show a relevant impact, most are methodological. However, results from qualitative studies caution against assuming a causal relationship where a mere coincidence between the recommendations of an HTA report and health policy is identified. In order to produce evidence-based conclusions regarding the impact of HTA reports, validated indicators should be used. Study design should also aim at controlling for other influencing factors. None of the studies explicitly aim at examining the role of the factors that might be responsible for a low or high impact of the HTA reports. The non-systematic retrospective analyses do not allow reliable conclusions regarding the relevance of these factors. Therefore the factors identified here should only serve for hypothesis formation. On the basis of these studies it is not possible to give evidence-based recommendations on the way how to increase the impact of HTA on decision-making in Germany. Instead a concept for evaluation should be developed that combines quantitative and qualitative methods and considers the following questions: (1) What kind of impact should be measured? (2) Which are the target groups and at which level of the health system are they located? (3) Which are the outcome parameters and how can they be measured? (4) Which are the potential impact enhancing or limiting factors? Fragestellung HTA ist eine Methodik zur systematischen und zur transparenten Bewertung medizinischer Verfahren und Technologien unter medizinischen, ökonomischen, sozialen sowie ethischen Aspekten mit dem Ziel, die dazu gehörigen Entscheidungsprozesse zu unterstützen. Ziel dieser Untersuchung ist es, herauszufinden, wie der Einfluss von HTA-Berichten auf gesundheitspolitische Entscheidungsprozesse in Deutschland ermöglicht werden kann. Die Beantwortung dieser Frage wird in drei Felder unterteilt: (1) Gibt es Methoden, die es erlauben, den Einfluss von HTA-Berichten auf die Entscheidungsfindung valide zu bestimmen? (2) Lässt sich ein Einfluss von HTA-Berichten auf die gesundheitspolitische Entscheidungsfindung zeigen? (3) Welche Faktoren sind für einen hohen bzw. einen niedrigen Einfluss verantwortlich? Methodik Eingeschlossen werden Dokumente, die Methoden zur Untersuchung des Einflusses von HTA vorstellen sowie Studien, die den Einfluss von HTA auf Entscheidungsprozesse zum Gegenstand haben oder Faktoren untersuchen, die den Einfluss von HTA stärken oder schwächen. Für den Bericht werden medizinische und sozialwissenschaftliche Datenbanken, Publikations- und Projektlisten von internationalen HTA-Institutionen sowie die Referenzlisten der identifizierten Zeitschriftenaufsätze und Übersichtsarbeiten durchgesehen und durch eine Handsuche ergänzt. 64 HTA-Institutionen werden angeschrieben, um ggf. unveröffentlichte Untersuchungen zu erfassen. Ergebnisse Insgesamt werden die Zusammenfassungen von ca. 5.000 Artikeln durchgesehen. Von diesen werden 57 Artikel aufgrund ihrer Zusammenfassung bestellt. Davon werden 43 ein- und 14 ausgeschlossen. Zu (1) der Fragestellung: In acht Studien werden die Daten durch schriftliche oder mündliche Befragungen von Entscheidungsträgern erhoben, in drei Studien werden Dokumente ausgewertet und bei sechs Untersuchungen beruhen die Angaben ausschließlich auf den Beobachtungen und den Einschätzungen der jeweiligen Autoren. In einem Fall wird der Einfluss anhand von Versorgungsdaten bestimmt. Neun Studien setzen mehr als eine der zuvor genannten Methoden ein. Nur in zwei Studien werden prädefinierte Indikatoren für die Bestimmung des Einflusses verwendet. Lediglich eine Studie wendet ein prospektives Design an. Zu (2) der Fragestellung: In sieben Studien, in denen eine - innerhalb eines definierten Rahmens - vollständige Gruppe von HTA-Berichten hinsichtlich ihres Einflusses untersucht wird, wird konstatiert, dass die Berichte in etwa 70% der Fälle Einfluss auf die Entscheidungsprozesse ausüben. Bei einer weiteren Studie dieser Art hat die Hälfte der Berichte geringen oder keinen Einfluss auf die Entscheidungsprozesse. In einer anderen Untersuchung wird 50 Kurzberichten attestiert, dass sie zwar nützliche Informationen liefern, aber nicht in die Entscheidungen eingeflossen sind. Die diesen Ergebnissen zugrunde liegende Evidenz ist aufgrund methodischer Schwächen jedoch als wenig überzeugend einzuschätzen. Zu (3) der Fragestellung: Die den Einfluss der HTA-Berichte modifizierenden Faktoren werden in Kontextfaktoren und Faktoren, die den Entstehungsprozess, den Gegenstand, das Format, den Inhalt oder die Qualität der Berichte betreffen, unterschieden. Die Validität der identifizierten Faktoren ist jedoch dadurch eingeschränkt, dass ihre Bedeutung in keiner Studie systematisch und prospektiv untersucht wird. Schlussfolgerung Es gibt nur wenige Erfahrung mit Methoden oder Studiendesigns, die eine valide Bewertung des Einflusses von HTA-Berichten auf die gesundheitspolitische Entscheidungsfindung ermöglichen. Es finden sich jedoch einige Ansätze, wie z.B. der Einsatz von prädefinierten Indikatoren, die weiter verfolgt und entwickelt werden können. Aufgrund der unzureichenden Methodik der meisten Studien können nur vorsichtige Aussagen über den Einfluss von HTA-Berichten getroffen werden. Die beiden methodisch aufwendigeren quantitativen Untersuchungen weisen jedoch einen substantiellen Einfluss von HTA-Berichten auf die Entscheidungsfindung nach. Die Ergebnisse der qualitativen Studien warnen aber davor, von der inhaltlichen Übereinstimmung zwischen Empfehlungen aus HTA-Berichten und nachfolgenden Entscheidungen regelmäßig auf einen kausalen Zusammenhang zu schließen. Um evidenzbasierte Schlussfolgerungen über den Einfluss von HTA-Berichten ziehen zu können, wäre es notwendig, hinsichtlich ihrer Validität überprüfte Indikatoren einzusetzen und die Untersuchungen so zu gestalten, dass die Einflüsse anderer Faktoren kontrolliert werden können. Keine der Studien beschäftigt sich systematisch und explizit mit der Fragestellung nach den Faktoren, die für einen hohen bzw. niedrigen Einfluss verantwortlich sind. Die unsystematischen "Mit-Betrachtungen" dieser Frage in den Untersuchungen lassen keine validen Rückschlüsse zu. Die in den Berichten genannten Faktoren können somit lediglich zur Hypothesenbildung für weiterführende Untersuchungen dienen. Auf die Frage, wie man den Einfluss von HTA-Berichten in Deutschland ermöglichen kann, lassen sich auf der Grundlage der hier ausgewerteten Studien keine evidenzbasierten Antworten geben. Stattdessen soll ein Evaluationskonzept entwickelt werden, das quantitative und qualitative Methoden miteinander verbindet sowie folgenden Leitfragen nachgeht: (1) Welche Art von Einfluss soll ausgeübt und gemessen werden? (2) Welche sind die Zielgruppen und auf welcher Ebene des Gesundheitssystems befinden sie sich? (3) Welche sind die Zielparameter und wie lassen sie sich messen? (4) Welche den Einfluss modifizierenden Faktoren sind relevant?