Search

Hovedbudskap Maskinlæring (ML) er et satsingsområde for klynge for vurdering av tiltak, Område for helsetjenester, FHI. Høsten 2021 overtok ML 2.0 arbeidet etter ML 1.0. Denne rapporten beskriver ML 2.0 teamet sitt arbeid, resultater og erfaringer. ML team 2.0s nøkkelprestasjoner inkluderer: • gjennomføring av en intens maskinlæringsuke med mål om kompetanseheving i hele klyngen, • oppstart av en studie som vil anslå ressursbesparelsene ved bruk av ML i kunnskapsoppsummeringer, • formidling av vårt ML-arbeid i internasjonale fora, som har tydeliggjort det unike arbeidet ML laget har bidratt med inn i kunnskapsoppsummeringsarbeidet i klyngen, • støtte innovative bruksområder for ML innen metodevurderinger og oppdateringer, • utarbeidelse av to finansieringssøknader, • bidrag inn i andre nasjonale og europeiske finansieringssøknader. ML-teamet har bidratt til en gradvis tilpassing av klyngens metoder til mer effektive arbeidsflytprosesser, noe som nå merkes i ressursbesparelser i klyngens prosjekter. Ressursbesparelsene gjorde at vi kunne levere flere rapporter enn mulig ved bruk av kun tradisjonelle metoder eller bruke mer tid på andre deler av prosessen. ML 2.0 fremstår fortsatt som et unikt og innovativt team som leder og tilrettelegger for implementering av ML innenfor kunnskapsoppsummering. Nye ML-aktiviteter knyttet til utforskning og evaluering av nye funksjoner, verktøy eller emner vil gi et mer åpent og flytende ML-miljø der enhver ansatt kan føle mestring og eierskap over ML-funksjoner eller -verktøy. Disse faktorene er avgjørende for Folkehelseinstituttets evne til å tilpasse seg og fortsette å utmerke seg i kunnskapsoppsummeringsfeltet.

Additional file 2. ROBINS-I.

Since the covid-19 pandemic began, the Cluster for Reviews and Health Technology Assessments at the Norwegian Institute of Public Health has been increasingly using supervised and unsupervised machine learning to produce reviews faster, without sacrificing quality. These include health technology assessments (HTAs), reviews with meta-analyses, qualitative evidence syntheses, scoping/mapping reviews, and evidence and gap maps, commissioned by national health and welfare directorates, centres of expertise, and the NIPH department of infectious diseases. This page shares a selection of our standard operation procedures, such as an example train-the-trainer material, our syllabus for new team members, and an evaluation protocol. To read or download published articles, protocols, reviews, and presentations (either in Norwegian or English), please see our researchgate page (link below)

Syllabus and introduction for new core members – IQWiG IRM conference 2022

Learning objectives: Gain a plain-language overview of available machine learning (ML) techniques in different steps of systematic reviews. Learn how two organizations approached ML, trust-building, and review digitalization differently, and using different strategies and resources. Brainstorm [for full text, please go to the a.m. URL]

Background Machine learning and automation are increasingly used to make the evidence synthesis process faster and more responsive to policymakers’ needs. In systematic reviews of randomized controlled trials (RCTs), risk of bias assessment is a resource-intensive task that typically requires two trained reviewers. One function of RobotReviewer, an off-the-shelf machine learning system, is an automated risk of bias assessment. Methods We assessed the feasibility of adopting RobotReviewer within a national public health institute using a randomized, real-time, user-centered study. The study included 26 RCTs and six reviewers from two projects examining health and social interventions. We randomized these studies to one of two RobotReviewer platforms. We operationalized feasibility as accuracy, time use, and reviewer acceptability. We measured accuracy by the number of corrections made by human reviewers (either to automated assessments or another human reviewer’s assessments). We explored acceptability through group discussions and individual email responses after presenting the quantitative results. Results Reviewers were equally likely to accept judgment by RobotReviewer as each other’s judgement during the consensus process when measured dichotomously; risk ratio 1.02 (95% CI 0.92 to 1.13; p = 0.33). We were not able to compare time use. The acceptability of the program by researchers was mixed. Less experienced reviewers were generally more positive, and they saw more benefits and were able to use the tool more flexibly. Reviewers positioned human input and human-to-human interaction as superior to even a semi-automation of this process. Conclusion Despite being presented with evidence of RobotReviewer’s equal performance to humans, participating reviewers were not interested in modifying standard procedures to include automation. If further studies confirm equal accuracy and reduced time compared to manual practices, we suggest that the benefits of RobotReviewer may support its future implementation as one of two assessors, despite reviewer ambivalence. Future research should study barriers to adopting automated tools and how highly educated and experienced researchers can adapt to a job market that is increasingly challenged by new technologies.

Additional file 1: Appendix 1. Interview guide.

Hovedbudskap Helsedirektoratet ønsker å vurdere muligheten for å etablere et nasjonalt overdosevarslingssystem (OVS) for å kunne varsle brukere om økt overdosefare. OVS som system forstås her som et sett med sammenhengende elementer som fungerer som en helhet, der hensikten er tidlig oppdagelse av økt overdoserisiko og rask varsling til de som står i fare for overdoser. Vi utførte en forenklet metodevurdering over forskning om varslingssystemer for økt overdosefare. Mål 1 var å kartlegge eksisterende forskning om effekten av et OVS (antall brukere nådd, antall overdoser, varslingshurtighet). Mål 2 var å kartlegge eksisterende forskning som kunne belyse brukeres erfaringer med slike systemer. Et omfattende litteratursøk identifiserte 4493 referanser. Til slutt inkluderte vi 11 studier som oppfylte inklusjonskriteriene. Hovedfunnene: • OVS’ene beskrevet i studiene var heterogene. Ingen ble omtalt eksplisitt som et OVS. Systemene kombi-nerte eksisterende eller nye overvåkingssystemer med eksisterende skadereduksjonstjenester, eller tilføyde en kommunikasjonsdel til eksisterende overvåkingssystemer. Kommunikasjonen var først og fremst rettet mot skadereduksjonsgrupper, ikke direkte til brukere. • Effekt av OVS kunne i stor grad ikke estimeres på tvers av studier, fordi det var umulig å skille effekt av OVS fra effekt av eksisterende overdoseforebyg-gende tiltak. • Brukerne uttrykte preferanser mht. språkbruk og innhold (fakta og tall), hvor varslinger burde kom-me fra (brukere og skadereduksjonsgrupper) og prinsippene bak dem (medfølelse og aksept). Key messages The Norwegian Directorate of Health is currently considering the possibility of establishing a national warning system for overdoses. Such a system would connect data collection and risk analysis with planned methods to communicate warnings of particularly potent or dangerous drugs to users. We conducted a single health technology assessment. Our first aim was to map the research assessing effectiveness of overdose warning systems. Our second aim was to map qualitative research on users’ experiences and perspectives on such systems. The systematic literature search identified 4493 references, and eleven studies met the inclusion criteria. The main findings were: • Studies reported heterogenous systems that met our definition, although none called these “overdose warning systems”. These systems added monitoring functions to existing harm reduction services, or added communication to existing monitoring systems. Communication was primarily to harm reduction groups, not users themselves. • It was not possible to measure the effect of these systems, largely because the systems explored were embedded in other harm reduction programs and were responding to overdose spikes. • Regarding user experiences and preferences of warnings, users reported preferring numbers and facts, receiving warnings from other users or from harm reduction groups, and compassionate and nonjudgemental messaging.

Key messages In 2021, the Norwegian Institute of Public Health published an evidence and gap map (EGM) on interventions to reduce sick leave among employees. The Norwegian Labour and Welfare Administration requested an updated EGM, now with broader inclusion criteria, to gain a greater overview of available research in the field. We identified 12,131 references through our systematic literature searches, screened them against the inclusion criteria, and coded the included publications. 531 publications concerned an intervention to reduce sick leave among employees on sick leave. Of these publications, we included 346 studies in this map and placed 185 in appendices. • The most common primary diagnosis among the people on sick leave was musculoskeletal (34% of 346 studies) • 22% of the studies were from Norway • Half of the studies involved interventions categorized as multidisciplinary (46% of 346 studies) • With regard to non-multidisciplinary interventions, the most common intervention was psychological follow-up (11% of 346 studies) • The most common category with regard to providers was multiple providers (30% of 346 studies), followed by intervention creator (23 % av 346 studier). There is a considerable number of studies on measures to reduce sick leave for employed people, including many studies from Norway. This evidence and gap map, including the appendices, can be used to develop commissions for future systematic reviews as well as to plan new primary studies. Hovedbudskap I 2021 publiserte Folkehelseinstituttet et forskningskart om tiltak for å redusere sykefravær i arbeidslivet. NAV ønsker nå et forskningskart med bredere inklusjonskriterier for å få et større overblikk over forskningen på feltet. Vi identifiserte 12 131 referanser via systematiske litteratursøk, vurderte hver og én opp mot inklusjonskriteriene, og kodet de inkluderte publikasjonene. Vi fant 531 publikasjoner som omhandlet tiltak, virkemidler eller tilnærminger for å redusere sykefravær hos personer i et aktivt arbeidsforhold, som er sykmeldte. Av disse inkluderte vi 346 publikasjoner i forskningskartet og 185 publikasjoner plasserte vi i vedlegg. • Den hyppigiste diagnosen hos sykmeldte var muskel- og skjelettplager (34 % av 346 studier) • 22 % av studiene var fra Norge • Halvparten av tiltakene ble kategorisert som tiltakskjede eller tverrfaglig tiltak (46 % av 346 studier) • Av tiltakene med kun én komponent var psykologisk oppfølging det mest brukte (11 % av 346 studier) • Den hyppigst rapporterte aktøren var ‘minst to profesjoner/ tverrfaglig tiltak’ (30 % av 346 studier), etterfulgt av ‘tiltaksleverandør’ (23 % av 346 studier). Vi fant at det fins mye forskning om tiltak for å redusere sykefravær hos personer i et aktivt arbeidsforhold, inkludert mange studier fra Norge. Kartleggingen, inkludert vedleggene, kan brukes som et grunnlag for å planlegge og utarbeide systematiske oversikter om mer avgrensede problemstillinger, samt igangsetting av nye primærstudier.

Hovedbudskap Gravide/fødende kan oppleve avstanden mellom hjemmet og fødeinstitusjon som en utrygg situasjon. Hensikten med denne systematiske oversikten er å svare på: Hva er betydningen av avstand til fødeinstitusjon for uønskede hendelser, risiko for komplikasjoner og sykelighet hos gravide/fødende og foster eller nyfødte? Og: Hva er effekten/betydningen av følgetjeneste sammenliknet med ingen følgetjeneste på uønskede hendelser, risiko for komplikasjoner og sykelighet hos gravide/fødende som bor mer enn 90 minutter fra fødeinstitusjon og deres foster eller nyfødte? Vi søkte i internasjonale litteraturdatabaser etter studier publisert i perioden fra 2010 til 2020. Vi inkluderte fem studier, hvorav to norske. Fra disse hentet vi ut og analyserte data, vi vurderte risiko for skjevheter, samt vurderte vår tillit til resultatene med dertil egnet verktøy. En avstand over 60 minutter fra fødeinstitusjon gir sannsynligvis en stor økning i oddsen for ikke-planlagt fødsel utenfor fødeinstitusjon, kanskje en liten økning i risikoen for eklampsi/HELLP og kanskje en stor økning i risikoen for igangsetting av fødsel av logistiske grunner. For øvrige utfall kan vi ikke si noe sikkert om betydningen av avstand på utfall for gravide/fødende og fostre eller nyfødte på grunnlag av de inkluderte studiene. Det er behov for mer forskning og da med mer standardiserte målemetoder. Det mangler også forskning om effekter av følgetjenester for fødende med lang reisevei til fødeinstitusjon, for alle relevante utfall. Vi kan vi ikke si noe sikkert om betydningen av avstand på andre utfall for gravide/fødende og fostre eller nyfødte på grunnlag av de inkluderte studiene.