Što je i čemu služi sustav upravljanja umjetnom inteligencijom (AI Governance) i zašto sve više postaje nužnost za organizacije diljem svijeta?

Riječ je o skupu politika, standarda i procesa koji definiraju kako organizacija koristi umjetnu inteligenciju: od nabave i prodaje, preko financija, do pravnog odjela, kadrovske službe i IT-a. Europski AI Act naglašava važnost jačanja pismenosti o umjetnoj inteligenciji, ne samo kod zaposlenika, nego kod svih dionika koji dolaze u doticaj s uslugama tvrtke.

Zašto je to važno? Rizici mogu dovesti do ozbiljnih reputacijskih i financijskih problema.

Jedna međunarodna banka koristila je AI model za otkrivanje prijevara u platnom prometu. No, algoritam je postupno gubio usklađenost s promjenjivim obrascima ponašanja klijenata poput povećane online kupovine i drugačijih obrazaca potrošnje nakon pandemije.

Primjer bankarskog drifta modela

Zbog tog odstupanja (“drift modela”) tisuće legitimnih transakcija označene su kao sumnjive. Posljedice su bile blokirane kartice, nezadovoljni klijenti, gubitak povjerenja klijenata u pouzdanost bankovnog sustava i visoki troškovi ponovnog treniranja modela.

Dio sustava za upravljanje umjetnom inteligencijom u ovom slučaju sadržavat će politike, standarde, upute, okvire za djelovanje kako bi se kontinuirano pratila performansa modela i uspostavili mehanizmi za rano otkrivanje odstupanja (statističke kontrole i alarmi). Uz to, važno je postaviti planove za brzo ponavljanje treniranja i biti spreman na promptnu prilagodbu modela novim obrascima ponašanja. I na kraju, ne manje važno, ljudski je nadzor ključan te uključuje stručnjake za prijevare i analitičare u validaciju označenih transakcija na razini svih organizacijskih jedinica.

Sustav upravljanja umjetnom inteligencijom ne smije biti skup izoliranih rješenja, već centralizirani okvir koji povezuje sve AI sustave s poslovnim ciljevima i procjenom rizika

Praćenje AI incidenata

Sličan primjer stiže iz fintech sektora. Švedska Klarna je 2024. godine zamijenila gotovo 1.200 zaposlenika AI chatbotovima, uključujući 700 u korisničkoj podršci. Cilj je bio smanjiti troškove, no rezultirao je padom kvalitete usluge i gubitkom radnih mjesta. Tvrtka je naknadno priznala pogrešku i vratila dio zaposlenika.

OECD je ovaj slučaj registrirao kao AI incident, upozoravajući na društvenu štetu zbog prekomjerne automatizacije. OECD ima sustav praćenja AI incidenata i ugroza (AI Incidents and Hazards Monitor) koji koristi autonomni AI sustav.

Suradnja različitih odjela

Sustav upravljanja umjetnom inteligencijom ne smije biti skup izoliranih rješenja, već centralizirani okvir koji povezuje sve AI sustave s poslovnim ciljevima i procjenom rizika. Bez toga, organizacija nalikuje brodu koji plovi između stijena i pitanje je trenutka kada će se nasukati.

Osim toga, nije dovoljno da umjetna inteligencija bude pod nadzorom jednog odjela. Financije, pravni sektor, prodaja, IT i marketing posjeduju različite perspektive. Samo kombinacija svih tih perspektiva može otkriti moguće rizike. Stoga, ako nema dovoljno interne ekspertize, potrebno je potražiti pomoć vanjskih stručnjaka.

Za one s iskustvom u upravljanju podacima prema GDPR-u ili ISO standardima, postoje brojni alati i smjernice za izradu AI Governancea: od EU AI Acta, ISO 42000 i NIST-ova AI Risk Management Frameworka do certifikacijskih programa poput IAPP AI Governance Professional.

Kontinuirane revizije – nova nužnost

I za kraj, kako bi učinkovito upravljale umjetnom inteligencijom, organizacije moraju definirati jasne ciljeve, osigurati kvalitetu podataka, izgraditi stručne timove i poticati inovativnu, etičku kulturu. Uloga interne revizije posebno je važna. Ona mora pružiti neovisno jamstvo da su AI sustavi usklađeni s etičkim, pravnim i poslovnim standardima.

To znači prelazak s povremenih na kontinuirane revizije, što je ujedno i izazov, ali i nužnost u vremenu kontinuiranog razvoja i prilagodbe modela. Upravljanje umjetnom inteligencijom više nije luksuz već obveza. Ono znači stvaranje sustava koji štiti klijente, čuva reputaciju i gradi povjerenje.

Kolumna Umjetna inteligencija u financijama #3. Autori teksta su Ivana Živković Abraham, osnivačica i direktorica CFO Management d.o.o., i William Bello, stručnjak za upravljanje AI sustavima 

VEZANI ČLANCIVIŠE OD AUTORA