Use of machine learning in mammographic screening - challenges and consequences

Use of machine learning in mammographic screening - challenges and consequencesI prosjektet undersøker vi bruk av kunstig intelligens (KI) til tyding av screening mammogrammmer. Vi har kartlagt norske brystradiologers tydearbeid som grunnlag for vurdering av KI systemenes resultater, og sammenlignet resultater fra to KI systemer på data fra Østfold. I tillegg har vi undersøkt holdninger blant radiologer i målgruppen.Kvinner mellom 50 og 69 år inviteres til mammografiundersøkelse hvert andre år i Mammografiprogrammet, som er organisert gjennom Kreftregisteret. Hensikten er å oppdage brystkreft i et tidlig stadium for å redusere sykdomsbyrde og dødelighet. Mammografibildene tydes av to radiologer uavhengig. Dersom minst en radiolog angir abnormalt mammogram diskuteres undersøkelsen ved konsensus, der det avgjøres om kvinnen skal kalles tilbake til tilleggsundersøkelse eller ikke. Data om blant annet invitasjon, oppmøte, radiologers tydearbeid og patologiske prøvesvar blir lagret i Kreftregisterts databaser. Vi har analysert radiologenes tydearbeid sammenholdt histopatologiske funn. 487 118 kvinner var inkludert i studien. Hovedfunnene var at 23% av screeningoppdaget kreft bare ble oppdaget av den ene av de to radiologene. Vi fant 2,4 ganger økt risiko for å få diagnostisert brystkreft før neste screeningrunde dersom undersøkelsen var diskutert ved konsensus, men vurdert til liten risiko for kreft, og ikke kalt tilbake til tilleggsundersøkelse. Studien danner et viktig grunnlag for å kunne undersøke resultater av tyding utført ved hjelp av KI systemer, både retrospektive og prospektive studier. Studien ble publisert i 2022 i tidsskriftet European Radiology. Bruk av KI til tyding av mammografibilder har vist lovende resultater i retrospektive studier. Virkeligheten er derimot mer kompleks enn det som fremkommer ved gransking av bilder retrospektivt. Det er fortsatt mange ubesvarte spørsmål og radiologenes brukerperspektiv er viktige aspekter. For å få bedre kunnskap om dette har vi utført en spørreundersøkelse blant radiologer i Mammografiprogrammet. Resultatene blant 60 brystradiologer indikerte at radiologene var positive til å ta i bruk kunstig intelligens. De mente teknologien kunne bidra til tidlig diagnostikk av brystkreft og forventet at arbeidsmengden knyttet til tyding av screeningmammogrammer vil reduseres. De anså tillit til systemene og etiske og juridiske aspekter ved uenighet mellom KI systemer og radiologer som potensielle utfordringer. Studien ble publisert i 2023 i tidsskriftet European Journal of Radiology. I et samarbeidsprosjekt mellom Norsk Regnesentral og Kreftregisteret utvikles et KI system som er trent opp på data fra Mammografiprogrammet. Vi har testet dette systemet på retrospektive data fra Østfold og sammenlignet med et kommersielt tilgjengelig KI system. Begge systemene angav en risikoskår for kreft på mammogrammene og markerte de mest suspekte områdene. Vi undersøkte KI systemenes evne til å velge ut undersøkelser med brystkreft ved ulike terskelnivåer for risiko blant ca. 130 000 mammografiundersøkelser. Vi utførte også to regranskingsstudier der radiologene gikk gjennom ca. 350 mammografiundersøkelser uten og med markeringer fra KI systemene. I den første regranskingen angav radiologene samsvar mellom KI systemenes markeringer og lokalisasjon av tumor. I den andre regranskingen angav radiologene mammografiske egenskaper ved KI systemenes markeringer der det var angitt høy risikoscore uten at det ble påvist kreft, og der det var angitt høy risikoscore 2 og 4 år før det ble oppdaget kreft. I studien som sammenlignet evnen til å velge ut kreft ved ulike risikoterskler og inneholdt den første regranskingen fant vi helt sammenlignbare resultater mellom de to KI systemene. Studien er sendt i 2024 til tidsskriftet Radiology: Artificial Intelligence, men ikke akseptert. Den andre regranskingen er under arbeid.

Bruk av maskinlæring i mammografiscreening- utfordringer og konsekvenserI prosjektet skal bruk av kunstig intelligens (KI) til tyding av mammogrammmer i det norske screening programmet for brystkreft undersøkes. Vi har kartlagt resultater fra radiologenes tydearbeid for å bedre kunne vurdere resultatene fra KI systemer. I tillegg undersøker vi holdninger blant radiologer og kvinner i målgruppen.Kvinner mellom 50 og 69 år inviteres til mammografiundersøkelse hvert andre år i Mammografiprogrammet som er organisert gjennom Kreftregisteret. Hensikten er å oppdage brystkreft i et tidlig stadium for å redusere sykdomsbyrde og dødelighet. Mammografibildene tydes av to radiologer uavhengig. Dersom minst en radiolog angir abnormalt mammogram diskuteres undersøkelsen ved konsensus, der det avgjøres om kvinnen skal kalles tilbake til tilleggsundersøkelse eller ikke. Data om blant annet invitasjon, oppmøte, radiologers tydearbeid og patologiske prøvesvar blir lagret i Kreftregisterts databaser. Vi har analysert radiologenes tydearbeid sammenholdt histopatologiske funn. 487 118 kvinner var inkludert i studien. Hovedfunnene var at 23% av screeningoppdaget kreft bare ble oppdaget av den ene av de to radiologene. Vi fant 2,4 ganger økt risiko for å få diagnostisert brystkreft før neste screeningrunde dersom undersøkelsen var diskutert ved konsensus, men vurdert til liten risiko for kreft, og ikke kalt tilbake til tilleggsundersøkelse. Studien danner et viktig grunnlag for å kunne undersøke resultater av tyding utført ved hjelp av KI systemer, både retrospektive og prospektive studier. Studien ble publisert i 2022 i tidsskriftet European Radiology. Bruk av KI til tyding av mammografibilder har vist lovende resultater i retrospektive studier. Virkeligheten er derimot mer kompleks enn det som fremkommer ved gransking av bilder retrospektivt. Det er fortsatt mange ubesvarte spørsmål. Radiologenes brukerperspektiv og kvinnene hvis mammogrammer skal tydes av KI sin mening er viktige aspekter. For å få bedre kunnskap om dette har vi utført en spørreundersøkelse blant radiologer i Mammografiprogrammet og blant kvinner som ble invitert til mammografiscreening høsten 2022. Resultatene viser at radiologene er positive til å ta i bruk kunstig intelligens. De mener teknologien kan bidra til tidlig diagnostikk av brystkreft og forventer at arbeidsmengden knyttet til tyding av screeningmammogrammer vil reduseres. De anser tillit til systemene og etiske og juridiske aspekter ved uenighet mellom KI systemer og radiologer som potensielle utfordringer. Artikkelen er under arbeid. Data fra kvinnenes perspektiver er under analyse. Videre er en studie hvor vi skal sammenligne et kommersielt tilgjengelig KI-system med et system utviklet i et samarbeidsprosjekt mellom Norsk Regnesentral og Kreftregisteret under planlegging.

Bruk av Maskinlæring i mammografiscreening, utfordringer og konsekvenserI prosjektet skal bruk av kunstig intelligens (KI) for tyding av mammografiundersøkelser i det norske screening programmet for brystkreft undersøkes. For å bedre kunne sammenligne tydingen fra KI med radiologene har vi kartlagt resultater fra radiologenes tydearbeid som presenteres i en artikkel.Bruk av kunstig intelligens til tyding av mammografi undersøkelser har vist lovende resultater, men evidensbyrden er svak grunnet relativt små populasjoner og mangel på kliniske prospektive studier. Før implementering i Mammografiprogrammet er både retrospektive og prospektive studier nødvendig. I dette prosjektet kartlegger vi radiologenes tyderesultat etter uavhengig dobbeltyding, som er standard prosedyre (Studie 1) i Mammografiprogrammet. Vi vil bruke resultatene for sammenligning med resultatene fra to ulike KI-systemer. Vi skal også diskutere etiske, juridiske og sosiale implikasjoner for implementering av KI i Mammografiprogrammet, inkludert kartlegging av holdninger og forventninger til KI for tyding av mammografiundersøkelser hos kvinner som deltar i Mammografiprogrammet og hos radiologene. I Studie 1 brukte vi registerdata fra Kreftregisterets databaser for analyser av radiologenes tydearbeid. Resultater fra disse analysene viste at 23% av screening oppdaget brystkreft ble oppdaget kun av den ene av de to radiologene. Radiologene bruker et scoring system fra 1-5, der 1 er normal undersøkelse og 5 er en undersøkelse sterkt suspekt på brystkreft. Dersom undersøkelsen tydes til 2 eller høyere av minst en av radiologene diskuteres undersøkelsen ved konsensus med to radiologer, hvor det avgjøres om kvinnen skal kalles tilbake for tilleggsundersøkelser eller ikke. Resultater fra studien viste at kvinner hvis undersøkelser ble diskutert ved konsensus hadde økt risiko for brystkreft, enten som kreft mellom to screeningundersøkelser (intervall kreft) eller ved neste screeningrunde. Dette gjaldt både kvinnene som ble kalt tilbake for etterundersøkelse og de som ikke ble det. Screeningoppdaget kreft viste mindre aggressive egenskaper der den ene radiologen hadde tydet undersøkelsen som normal sammenlignet med kreft der begge radiologene tydet undersøkelsene som unormale. Studien er sent til tidsskriftet European Radiology, men ikke godkjent for publisering foreløpig. I den andre studien i prosjektet vil vi utføre en spørreundersøkelse blant radiologer og kvinner som deltar i Mammografiprogrammet. Vi vil kartlegge deres forventninger og holdninger til å bruke KI-systemer i tydingen av screeningmammogrammer. Spørreskjema er under utarbeiding og er pilottestet for kvinnene, mens det gjenstår noe arbeid for skjema som skal til radiologene. Som en del av dette prossjektet har vi gjennomført en ikke-systematuisk review av litteraturen innen KI og mammografi. Dokumentet vil gjøres tilgjengelig for alle som arbeider i Mammografirogrammet. I dette arbeidet ønsker vi å samarbeide med Kristina Lång siden de også har sendt ut spørreskjema på samme tema til svenske radiologer. I det tredje og fjerde prosjektet vil vi analysere sensitiviteten til ulike systemer som bruker maskinlæring på data fra Kalnes. Resultatene vil bli sammenlignet med data fra uavhengig dobbelttyding.