AI blir inte bättre än de data den tränas på. Det innebär att snedvridna urval och människors fördomar kan fortplanta sig in i AI:n och gör att de resultat som kommer ut också blir snedvridna.
I USA hytter myndigheterna nu med lagboken och hotar att använda den om någon diskrimineras på grund av att man använt sig av AI som är färgad av fördomar.
Bland annat undersöker USA:s motsvarighet till Konsumentverket, Consumer Financial Protection Bureau, bostadsdiskriminering som beror på fördomar i algoritmer för utlåning eller bostadsvärdering, myndighetschefen Rohit Chopra, rapporterar CNBC.
– Det finns inget undantag i vår nations lagar om medborgerliga rättigheter för ny teknik och artificiell intelligens som ägnar sig åt olaglig diskriminering, säger han.
Medvetna om problemet
Och många cio:er och andra högre chefer är medvetna om problemet enligt en undersökning som mjukvaruleverantören Progress låtit göra bland företag med över 500 anställda och där över 640 kommersiellt ansvariga och it-ansvariga, varav 50 i Sverige, tillfrågats.
I undersökningen uppger 56 procent av de svenska cheferna att de tror att det definitivt eller sannolikt finns färgade data i deras verksamhet idag. 62 procent är också övertygade eller anser det troligt att färgade data kommer att bli ett större problem för deras verksamhet när artificiell intelligens och maskininlärning börjar användas mer.
Elisabeth Stjernstoft, cio på Ellevio, håller med om att det finns en risk att man använder färgad data som inte är representativ för den kundgrupp eller population som man tittar på.
– Det kan självklart påverka AI:s förmåga att ge korrekta förutsägelser, säger hon.
– Vi måste titta på de data som modellen tränas på men också på hur algoritmerna designas och hur urvalet av funktioner. Summa summarum är att ja, risken finns – vi måste övervaka modellerna och korrigera dem om det behövs.
Inte oroad för egen del
Med det sagt så är hon inte oroad över de AI-lösningar som Ellevio använder i dag.
– Vi använder AI i första hand för att skriva kod snabbare och bättre så där är jag inte oroad. Efter att koden utvecklats så granskas den också. Maskininlärning används främst för sådant som är av teknisk karaktär – för att kunna göra prediktiva analyser.
Däremot har hon stött på problem när det gäller att få fram releventa träningsdata för att förutspå energilast när kylan är som strängast.
– Det är en utmaning eftersom tillfällena med sådan kyla är så sällsynta att det inte finns mycket att träna på helt enkelt.
Fundera på konsekvenserna
Göran Kördel, cio på Boliden, tycker att det är viktigt att vara medveten om de risker som finns med färgad AI.
– Det här nog något som alla cio:er tänker på nu. Och jag tror att det är viktigt att vi börjar fundera på det – även om vi inte vet hur AI ser ut om några år eller hur det används då så måste vi fundera på konsekvenserna av det, säger han.
Göran Kördel, cio på Boliden.
För Bolidens del ser han inga större risker på kort sikt.
– Vi använder mest bildanalys där vi gjort en del piloter med kameror som tittar på saker och ting. Jag oroar mig mer för biased data när det gäller sådant som har med människor och generativ AI att göra. Kring AI som producerar konsumentinriktad information och använder konsumentdata.
Göran Kördel ser också en risk att AI kan dämpa vår kreativa förmåga.
– Att det hämmar tänket där man går lite utanför boxen helt enkelt.
Utvärdera behov och risk
Skandias cio Johan Clausén pekar på vikten av att det görs en utvärdering av behov och risk när nya lösningar tas in. Men just nu ser inte heller han några risker med AI-användandet i sitt företag.
– Vi nyttjar AI väldigt begränsat varför jag inte ser färgad data som en utmaning i nuläget. De externa datakällor som vi har är pålitliga.
Skandias cio Johan Clausén.
Vad behöver man göra för att försäkra sig om att data är så lite färgade som möjligt?
– Man bör nog fundera på var man vill ha säker data och var det kan vara okej med färgad data till att börja med och sätta upp styrning utefter det, säger Johan Clausén.
Ingen av de tre ser att kompetensbristen som finns inom AI skulle påverka risken.
– Det går att köpa sig till kompetensen. Det här är ju mattenördarnas återkomst – deras primetime, säger Elisabeth Stjernstoft.
Och Göran Kördel påpekar att det alltid är kompetensbrist när det kommer ny teknik och att det är ett generellt hinder för alla företag. Samtidigt tror han att företagen har längre tid på sig än många kanske tror.
– Med all respekt för att tekniken utvecklas fort så är frågan hur snabbt vi kommer att tillämpa den. Jag tror att det tar längre tid än vi tror att tillämpa den i stor skala, säger han.
Läs även: Vad är generativ AI? Så fungerar tekniken bakom Chat GPT