DNB svarer om KI-kuttet

I en børsmelding tirsdag morgen fikk vi vite at DNB skal kutte «om lag 400 årsverk». De var pålagt å melde kuttet til børsen, fordi det kan påvirke aksjekursen. Men det var ingen som påla DNB å nevne KI i samme melding. Da må vi anta at DNB har tenkt en del på forsvarlig KI-bruk. Derfor spurte vi DNB:

• Hva gjør KI hos dere?
• Bestemmer et menneske fortsatt?
• Hvordan dokumenteres det maskinen gjør?
• Er Finanstilsynet orientert?

Mens vi ventet på svar, la vi til:

• Har DNB en skriftlig policy som sier hvilke beslutninger mennesker tar og hvilke KI tar?
• Er den offentlig, og kan dere sende den?

DNB svarte

Torsdag kom svar, fra pressevakt Ina Helen Østby, i en e-post til Teknokratiet. Det mest betryggende først:

«Mennesker vil fremdeles fatte beslutningene i hver enkelt sak.»

Flott. Men hvordan? Svarene ga en fornemmelse av at KI-bruk ble bagatellisert. At dette var en hverdagslig sak: «I DNB forholder vi oss til krav om internkontroll (...) også ved bruk av agenter.»

At KI er et verktøy som andre verktøy, det mener jeg også. Likevel forventer jeg kanskje litt mer fra et selskap som akkurat har fyrt avgårde en børsmelding som inneholder både kutt av 400 årsverk og KI samtidig.

Alle spørsmål og svar står ordrett nederst i saken.

Så, hva gjør KI hos DNB?

«KI-agentene utfører (...) primært innhenting, sammenstilling og analyse av data.»

Innhenting og sammenstilling av data er forholdsvis rett fram. Det interessante er: Analyse. Her er det noen gråsoner. En maskin som, for eksempel, har analysert og legger resultatet foran en saksbehandler, har ikke nødvendigvis tatt en beslutning. Men maskinen har sagt det første ordet. Og det betyr faktisk ganske mye.

Klarer du å si nei til et forslag?

Psykologen Daniel Kahneman, som fikk nobelprisen i økonomi, viste sammen med Amos Tversky at det første tallet vi ser styrer vurderingen vår, selv når det åpenbart ikke har noe med saken å gjøre. Effekten kalles forankring, på engelsk anchoring. Senere lot forskere erfarne dommere kaste terning før de utmålte straff. Viste terningen høyt, ble straffen strengere. Dommerne visste at tallet var tilfeldig. Det hjalp ikke. Det er verdt å ha i bakhodet når maskinen alltid har et forslag klart.

Det er kanskje derfor EUs KI-forordning faktisk krever at de som overvåker et høyrisikosystem skal være klar over «tendensen til automatisk å stole på eller overdrevent stole på resultatet» (vår oversettelse).

Uavhengig av om det er høyrisiko eller lavrisiko DNB jobber med, hadde det vært betryggende om de hadde fortalt mer konkret hvordan de jobber strukturert for å hindre slike fallgruver. Og dette er bare et eksempel på en fallgruve. Det finnes flere.

Det er vanskelig å ikke følge maskinen

Å motstå et forslag er en ferdighet. Den må trenes, og selv trente folk feiler. Derfor trengs det strukturer i tillegg. Saksbehandleren kan for eksempel se saken før hun ser maskinens vurdering. Vi kan måle hvor ofte menneskene overprøver maskinen, og slå alarm hvis tallet går mot null. Og vi kan lære folk hva maskinen er dårlig på. Dette er noen eksempler. Det er ikke rakettforskning. Men det er arbeid som krever strukturert opplæring, design av arbeidsprosesser og mennesker som har tid.

Vi skrev i september at KI bare gjør oss så raske som kontrollen. KI lager raskt forslag. Men et menneske med kompetanse må vurdere det som kommer ut, og derfor er nettopp det kompetente mennesket flaskehalsen. Det gjelder i en redaksjon, og det gjelder i en bank.

DNB vet hva det koster når kontrollen ikke får ressurser. I 2021 fikk banken 400 millioner kroner i gebyr fra Finanstilsynet for brudd på hvitvaskingsloven. Tilsynet skrev at banken hadde spart penger på kontrollen, blant annet ved at «ansatte ikke har blitt satt i stand til å identifisere og rapportere mistenkelige forhold internt grunnet manglende opplæring».

Hva krever Finanstilsynet?

Knut Haugan, direktør for risikoovervåking og makrotilsyn, svarer om KI-bruk i en e-post til Teknokratiet: «Det må dokumenteres hvordan systemene fungerer, og resultatene må være etterprøvbare og kunne forklares.»

Vis kortene

Jeg hyller alle som klarer å ta i bruk nye verktøy på kloke måter. Men en ting. DNB. Om dere er så langt fremme i skoene som det kan virke som, når dere velger å ha agentisk KI i samme børsmelding som kutt av 400 årsverk: Ta samfunnsansvar. Fortell oss hvordan dere jobber for å minimere de negative effektene, slik at vi andre kan lære av dere.

Svar gjerne på dette, for eksempel:

• Hvor ofte overprøver menneskene i DNB maskinen?
• Ser saksbehandleren saken før eller etter maskinens forslag?
• Og hva gjør dere, konkret, for å hindre at det første forslaget blir det siste ordet?

Vennlig hilsen Julian.

Hva svarte DNB og Finanstilsynet om KI-agentene? Alle spørsmål og svar, ordrett

Til DNB, tirsdag 6. oktober kl. 10:45. Svar torsdag 8. oktober kl. 12:05 fra pressevakt Ina Helen Østby.

1. Hvilke oppgaver i KYC- og antihvitvaskingsarbeidet utfører KI-agentene i dag? Gjelder det innhenting og sammenstilling av data, risikoklassifisering av kunder eller vurderinger som munner ut i en beslutning?

«KI-agentene utfører oppgaver som støtter mennesker i anti-hvitvaskingsarbeidet vårt, primært innhenting, sammenstilling og analyse av data. Mennesker vil fremdeles fatte beslutningene i hver enkelt sak.»

2. Er det fortsatt et menneske som fatter beslutningen når en kunde vurderes, for eksempel om kundeforholdet skal etableres eller om en transaksjon skal meldes til Økokrim?

«Ja, det er det. (Se også svar på spørsmål 1.)»

3. Hvor mange av de 400 årsverkene som berøres, jobber i dag med KYC og antihvitvasking?

«Det kan vi ikke si noe om på nåværende tidspunkt. Det jeg kan si er at dette er medarbeidere som har bidratt sterkt til DNB gjennom mange år og vi er opptatt av å gjennomføre prosessen på en ansvarlig, ryddig og respektfull måte, i tett dialog med tillitsvalgte og i tråd med gjeldende regelverk.»

4. DNB fikk i 2021 et overtredelsesgebyr fra Finanstilsynet for mangler i etterlevelsen av hvitvaskingsloven. Hvordan kvalitetssikrer og dokumenterer dere vurderingene agentene gjør, slik at de kan etterprøves?

«DNB har over tid arbeidet med å forbedre etterlevelsen og heve kvaliteten i anti-hvitvaskingsarbeidet. I DNB forholder vi oss til krav om internkontroll for all virksomheten vi driver, også ved bruk av agenter.»

5. Har dere orientert Finanstilsynet om bruken av KI-agenter i dette arbeidet?

«Vi har løpende dialog med Finanstilsynet om vesentlige forhold ved bankens virksomhet, og dette er ikke noe unntak.»

6. (Onsdag 7. oktober) Har DNB en skriftlig policy som sier hvilke beslutninger mennesker tar og hvilke KI tar? Er den offentlig, og kan dere sende den?

Ikke besvart. Etter publisering skrev DNB at de «ikke har noe å legge til i denne saken ut over det dere allerede har gjengitt».

Til Finanstilsynet, tirsdag 6. oktober kl. 10:56. Svar samme kveld kl. 19:32, sitat fra direktør for risikoovervåking og makrotilsyn Knut Haugan.

Vi spurte:

1. Har DNB orientert Finanstilsynet om at de bruker KI-agenter i KYC-prosessen? Og har dere tatt stilling til denne bruken?
2. Hvilke krav setter hvitvaskingsloven til hvem som fatter beslutningene i kundekontrollen? Kan en bank overlate vurderinger eller beslutninger til et KI-system, eller må et menneske stå bak hver av dem?
3. Hvem har ansvaret hvis et KI-system godkjenner en kunde eller lar en transaksjon passere som burde vært stanset?
4. Hvilke krav stiller dere til at bankene dokumenterer og kan etterprøve vurderinger gjort med KI? Veilederen til hvitvaskingsloven (rundskriv 4/2022) er fra før agentbasert KI ble tatt i bruk. Arbeider dere med ny veiledning på dette området, for eksempel i sammenheng med EUs KI-forordning?
5. Ser dere en risiko i at banker reduserer bemanningen samtidig som de tar i bruk KI i kundekontrollen?

Finanstilsynet svarte ikke spørsmål for spørsmål, men med én samlet uttalelse:

«Norsk finansnæring ligger langt fremme i utviklingen og bruk av digitale løsninger og produkter. Det bidrar til effektiv drift og gode produkter, til nytte for både foretakene selv, kundene og samfunnet.

Bruken av ny teknologi som kunstig intelligens kan gi ytterligere effektivisering, økt produktivitet og økt konkurransekraft for norske foretak. Samtidig innebærer teknologien også nye trusler og sårbarheter som foretakene må håndtere.

Foretakets bruk av IKT-løsninger må til enhver tid oppfylle krav i gjeldende lover. Uavhengig av teknologi må foretakene ha forsvarlig styring og kontroll med bruken av IKT-løsninger, kjenne til utfordringer og risiko og ha gode beredskapsløsninger for å kunne håndtere hendelser som kan inntreffe. Det må dokumenteres hvordan systemene fungerer, og resultatene må være etterprøvbare og kunne forklares. Kravene gjelder både for egenutviklede løsninger og for systemer levert av tredjeparter.

Foretakenes bruk av kunstig intelligens må også være innenfor de kravene som følger av KI-loven når denne trer i kraft.

Det er bankene som sitter med ansvaret for at kravene i regelverk overholdes, også når de tar i bruk nye teknologiske løsninger.

Finanstilsynet tar sikte på å revidere sin veiledning om hvitvaskingsregelverket når EUs nye antihvitvaskingspakke trer i kraft i Norge. Et forslag til norsk gjennomføring av dette regelverket har vært på høring, og er til behandling hos Finansdepartementet.»