Kronikker gir uttrykk for skribentens meninger. Dette innlegget ble først publisert i Dagens Næringsliv og gjengis her med DNs tillatelse.
Selvkjørende biler er noe Tesla har testet i flere år, og i en nylig publisert studie har NTNU fått være med bak kulissene.
Tesla har sluppet flere versjoner av en selvkjørende KI som blir bedre og bedre. Denne KI-en trenes opp av brukerne selv. Altså førere som har tatt i bruk selvkjørefunksjonen.
Blant disse har det åpenbart vært risikovillige teknologioptimister.
Sovnet bak rattet – og døde
For noen av sjåførene har stolt på selvkjørefunksjonen i den grad at de sovnet bak rattet. Dette førte til ulykker, hvorav to fikk dødelig utfall, siden førerne sov fra seg muligheten til å overstyre selvkjøringen.
I ett tilfelle kjørte bilen inn i en brannbil som stod parkert i veibanen.
Forskningen NTNU deltok i viser at disse sjåførene, altså de som stoler mest på Teslas KI, faktisk stikker kjepper i hjulene for bilprodusenten.
For når Tesla-eiere med lavere risikotoleranse leser om de nevnte ulykkene i nyhetssaker, mister de tilliten til selskapets KI og skrur av selvkjørefunksjonen. Dermed går modellen glipp av masse viktig læring.
Gå til de forsiktige først
Som forskere tror vi en rekke andre virksomheter med KI-ambisjoner har noe viktig å lære av funnene i denne studien. Deriblant helsevesenet.
Den aller viktigste lærdommen for alle virksomheter som skal utvikle eller ta i bruk KI-verktøy, er at rollen som pilotbrukere bør tilbys de forsiktige og lite risikovillige brukerne.
Dette er stikk i strid med det som har vært vanlig ved uttesting av nye digitale løsninger.
For når pilotbrukere (personer, avdelinger) skal rekrutteres til slik utprøving, enten det handler om KI eller ikke, kommer hendene alltid i været hos dem som er mest positive og optimistiske på vegne av teknologien.
Vanligvis er disse også villige til å ta sjanser under utprøvingen. Nettopp derfor blir de også foretrukket som pilotbrukere.
Samme mønster hos legene også
Ved SINTEF og NTNU studerer vi nå både leger og ingeniører som tar i bruk maskinlæringsmodeller. Her ser vi de samme tendensene som Tesla fikk kjenne på.
Brukere med lav risikovillighet avviser KI-en når de får eksempler på at den gjør feil. De får bekreftet skepsisen sin og lar seg vanskelig motivere til videre bruk.
En viktig grunn til at det er så lett å “hekte av” skeptikerne, er trolig at vi mennesker har en sterk aversjon mot ting vi ikke forstår eller kan forklare.
Svarte bokser gjør oss utrygge
Problemet med såkalt subsymbolsk KI – algoritmer som gjenkjenner alt fra former til komplekse mønstre ved hjelp av klassifisering – er at den utgjør en såkalt “black-box”.
Forskningen på feltet Forklarbar KI (arbeidsområdet til blant andre Inga Strümke) handler om dette. Den viser at når det skjer noe uforutsett i et KI-verktøy, så trenger folk en forklaring på hvorfor det skjedde.
Vi godtar at mennesker, eksempelvis en lege, gjør feil. For da kan vi forstå hva som skjedde. Derimot vet vi ikke hvordan en KI kom fram til klassifiseringen sin. Det gjør oss utrygge og usikre.
KI kan gi helsevesenet viktig hjelp
Trolig er dette en viktig årsak til at når “de risikovillige” gjør fatale feil basert på for dårlig funderte KI-baserte råd, så kan andres møysommelig opparbeidete tillit til KI rives ned på minutter.
Dette bør samfunnet ta tak i. For som Ishita Barua, lege med doktorgrad i kunstig intelligens, argumenterer i sin ferske bok Kunstig intelligens redder liv: Helsevesenet må tørre å ta i bruk maskinlæringsmodeller fordi de har så stort potensial.
Så hva kan helsevesenet gjøre for å unngå å havne i “Tesla-fella?”
De forsiktige leverer viktige data
Etter vår mening: gå til de mindre risikovillige legene med KI-modeller. Be deretter disse brukerne eksperimentere med verktøyet, se, lære og spre erfaringene – uten at de i første omgang bruker de KI-baserte rådene på pasientene.
Dette kan gi modellene bedre og mer pålitelige treningsdata. Tesla-studien viser hvorfor. For når KI-en i bilen gjorde noe rart, tok de “forsiktige” brukerne rattet og korrigerte. Dette ga maskinlæringsmodellen verdifull trening som rettet på kjørestilen til KI-en.
I senere versjoner av selvkjørefunksjonen klarte KI-en seg mye bedre i situasjoner som liknet på tilfellene der den hadde fått korreksjoner.
Slike gevinster vil samfunnet altså gå glipp av om “de forsiktige” skremmes bort av “de risikovilliges” feil.
