Cost-Effectiveness of Mobile App-Guided Training in Extended Focused Assessment with Sonography for Trauma (eFAST): A Randomized Trial

Ultrasound training is associated with a long learning curve and use of substantial faculty resources. Self-directed ultrasound training may decrease the need for faculty-led teaching. Mobile apps seem promising for use in self-directed ultrasound training, but no studies have examined the cost-effectiveness of mobile app-guided training versus traditional formats such as textbook-guided training. This study evaluated the cost-effectiveness of mobile app-guided versus textbook-guided ultrasound training. First-year residents (n = 38) with no previous ultrasound experience were randomized into mobile app-guided versus textbook-guided self-directed ultrasound training groups. Participants completed a transfer test involving four patient cases and a theoretical test on diagnostic accuracy. Two ultrasound experts assessed the residents' performance using the Objective Structured Assessment of Ultrasound Skills (OSAUS) scale. The costs of developing mobile app and textbook material were calculated and used for the analysis of cost-effectiveness. 34 participants completed the transfer test. There was no statistically significant difference in test performance or diagnostic accuracy between the mobile app-guided (mean-OSAUS 42.3 % [95 %CI38.5 - 46.0 %]) and textbook-guided groups (mean-OSAUS 45.3 % [95 %CI39.3 - 51.3 %]) (d.f. [1.33] = 0.45, p = 0.41). However, development costs differed greatly for each instructional format. Textbook-guided training was significantly more cost-effective than mobile app-guided training (Incremental Cost Effectiveness Ratio -861 967 [95 %CI-1071.7 to-3.2] USD/pct. point change in OSAUS score). Mobile app-guided ultrasound training is less cost-effective than textbook-guided self-directed training. This study underlines the need for careful evaluation of cost-effectiveness when introducing technological innovations for clinical skills training.ZIEL: Das Erlernen der Sonografie ist in der Regel ein langwieriger, mit erheblichen institutionellen Kosten verbundener Prozess. Individuelles Selbststudium vermag das Bedürfnis nach institutionellem Unterricht möglichweise verringern. Apps sind in diesem Zusammenhang eine vielversprechende Alternative, jedoch wurde bisher in keiner Studie die Kosteneffizienz von Apps, mit der Kosteneffizienz traditioneller Medien, sowie beispielsweise der von Lehrbüchern, untersucht. Das Ziel dieser Studie war die Auswertung, sowie das Vergleichen der Kosteneffizienz von App-basiertem und lehrbuchbasiertem Erlernen der Sonografie. Ärzte im Praktikum (n = 38) ohne vorherige sonografische Erfahrung wurden durch Randomisierung in eine App- und eine Lehrbuchgruppe eingeteilt. Die Teilnehmer absolvierten jeweils eine praktische und eine theoretische Prüfung. Der praktische Teil bestand aus vier patientenbasierten Fällen, während durch den theoretischen Teil die diagnostische Genauigkeit der Teilnehmer bewertet wurde. Zwei Sonografie-Experten beurteilten die Leistung der Teilnehmer durch Anwendung der "Objective Structured Assessment of Ultrasound Skills" (OASUS) Messskala. Kosten für die Entwicklung der App, sowie der Ausarbeitung des Lehrbuches wurden berechnet und die beiden Lernmedien wurden jeweils auf ihre Kosteneffizienz untersucht. 34 Teilnehmer absolvierten den Test. In Hinblick auf die diagnostische Genauigkeit, konnte kein statistisch signifikanter Unterschied zwischen der App-Gruppe (durchschnittliche OSAUS-Bewertung 42.3 % [95 %CI38.5 – 46.0 %]) und der Lehrbuch-Gruppe (durchschnittliche OSAUS-Bewertung 45.3 % [95 %CI39.3 – 51.3 %]) ausgemacht werden (d.f. [1, 33] = 0.45, p = 0.41). Bei den Entwicklungskosten der beiden Lernmedien wurden jedoch erhebliche Abweichungen aufgedeckt. Somit erwies sich das lehrbuchbasierte Erlernen der sonografischen Diagnostik, im Vergleich zum App-basierten Erlernen, als wesentlich kosteneffizienter. Die Anwendung der Sonografie lässt sich kosteneffizienter durch lehrbuchbasiertes, als durch App-basiertes Selbststudium erlernen. Bevor neue technologische Innovationen für das Erlernen praktischer Fähigkeiten implementiert werden, sollten diese sorgfältig auf ihre jeweilige Kosteneffizienz untersucht werden, welches durch die Ergebnisse dieser Studie verdeutlicht wird.