Då många företag fortsätter att testa och använda verktyg för generativ artificiell intelligens riskerar flera av dem att drabbas av AI-fel, skadliga attacker och problem med tillsynsmyndigheter – för att inte tala om den potentiella exponeringen av känsliga uppgifter.
I april, efter att Samsungs halvledardivision tillåtit utvecklare att använda Chat GPT, läckte till exempel anställda som använde plattformen företagshemligheter vid minst tre tillfällen, enligt medieuppgifter. En anställd klistrade in konfidentiell källkod i chatten för att kontrollera om det fanns fel, medan en annan anställd delade kod med Chat GPT och ”begärde kodoptimering”.
Chat GPT drivs av OpenAI, som uppmanar användarna att inte dela känslig information eftersom den inte kan raderas.
– Det är nästan som att använda Google i det läget, säger Matthew Jackson, global cto på systemintegrationsleverantören Insight Enterprises.
– Dina data sparas av OpenAI. De har rätt att använda vad du än lägger in i chattfönstret. Du kan fortfarande använda Chat GPT för att skriva generiskt innehåll, men du bör inte klistra in konfidentiell information i det fönstret.
Slutsatsen är att stora språkmodeller (LLM) och andra tillämpningar av generativ AI ”inte är helt färdiga”, enligt Avivah Litan, analytiker på Gartner.
– De har fortfarande problem med noggrannhet, ansvar och integritet, säkerhetsproblem och kan spåra ur i oförutsägbara eller oönskade riktningar, men de är helt användbara och ger ett enormt uppsving för produktivitet och innovation.
En färsk Harris-undersökning visar att företagsledarnas två främsta skäl till att införa generativa AI-verktyg är att öka intäkterna och driva på innovation. Nästan hälften (49 procent) uppgav att en av de största utmaningarna i år är att hålla jämna steg med konkurrenterna när det gäller teknisk innovation. (Harris Poll genomförde undersökningen bland 1 000 medarbetare som var anställda som chefer eller högre mellan april och maj 2023).
De tillfrågade angav medarbetarnas produktivitet (72 procent) som den största fördelen med AI, med kundengagemang (via chattbottar) och forskning och utveckling på andra respektive tredje plats.
Användningen av AI exploderar
Inom de närmaste tre åren förväntar sig de flesta företagsledare att använda generativ AI för att göra medarbetarna mer produktiva och förbättra kundservicen, enligt två olika undersökningar från konsultföretaget Ernst & Young (EY) och undersökningsföretaget The Harris Poll. Och en majoritet av vd:arna integrerar redan AI i produkter/tjänster, eller planerar att göra det inom 12 månader.
”Ingen företagsledare kan ignorera AI år 2023”, skriver EY i sin rapport. ”Åttiotvå procent av dagens ledare anser att organisationer måste investera i initiativ för digital transformation, som generativ AI, för att inte hamna på efterkälken.”
Ungefär hälften av de tillfrågade i undersökningen från Harris Poll, som beställdes av systemintegratören Insight Enterprises, uppgav att de använder AI för att säkerställa produktkvalitet och för att hantera säkerhetsrisker.
42 procent av de amerikanska vd:ar som tillfrågats av EY säger att de redan helt har integrerat AI-drivna produkt- eller tjänsteförändringar i sina kapitalallokeringsprocesser och aktivt investerar i AI-driven innovation, medan 38 procent säger att de planerar att göra stora kapitalinvesteringar i tekniken under de kommande 12 månaderna.
Drygt hälften (53 procent) av de tillfrågade förväntar sig att använda generativ AI för att bistå med forskning och utveckling, och 50 procent planerar att använda det för utveckling/testning av programvara, enligt Harris Polls undersökning.
Även om företagsledarna inser vikten av generativ AI är de fortfarande försiktiga. 63 procent av vd:arna i EY:s undersökning säger att det är en god kraft som kan driva på effektiviteten i verksamheten, men 64 procent anser att det inte görs tillräckligt för att hantera eventuella oavsiktliga konsekvenser av generativ AI-användningen på företag och samhälle.
Mot bakgrund av de oavsiktliga konsekvenserna av AI har åtta av tio organisationer antingen infört policyer och strategier för AI eller överväger att göra det, enligt de båda undersökningarna.
Problem och lösningar
Generativ AI var den näst vanligaste risken i Gartners enkät för andra kvartalet och hamnade för första gången bland de tio största riskerna, enligt Ran Xu, forskningsdirektör på Gartners Risk & Audit Practice.
– Detta återspeglar både den snabba tillväxten av allmänhetens medvetenhet om och användning av generativa AI-verktyg, liksom bredden av potentiella användningsområden, och därmed potentiella risker, som dessa verktyg medför, säger Xu i ett uttalande.
Hallucinationer, där generativ AI-appar presenterar fakta och data som ser korrekta och sakliga ut men inte är det, är en central risk. Det är också känt att AI-produkter oavsiktligt gör intrång i andras immateriella rättigheter. Användningen av generativ AI-verktyg kan ge upphov till integritetsfrågor, eftersom de kan dela användarinformation med tredje part, till exempel försäljare eller tjänsteleverantörer, utan förvarning. Och hackare använder en metod som kallas ”prompt injection attacks” för att manipulera hur en stor språkmodell svarar på frågor.
– Det är en potentiell risk eftersom människor kan ställa en fråga och anta att uppgifterna är korrekta och sedan fatta ett viktigt affärsbeslut med felaktiga uppgifter, säger Matthew Jackson.
– Det var den största farhågan, att använda dåliga data. Nummer två i vår undersökning var säkerhet.
Avivah Litan på Gartner förklarar att de problem som organisationer ställs inför när de använder genAI kan delas in i tre huvudkategorier:
Input och output, vilket omfattar oacceptabel användning som äventyrar företagets beslutsfattande och sekretess, läckage av känsliga uppgifter och felaktiga utdata ( däribland hallucinationer). Integritet och dataskydd, vilket inbegriper dataläckage via en LLM-leverantörs system, ofullständiga policyer för dataintegritet eller dataskydd samt underlåtenhet att uppfylla lagstadgade regler. Cybersäkerhetsrisker, till exempel hackare som får tillgång till LLM:er och deras parametrar för att påverka AI-utdata.
För att motverka den här typen av hot krävs en strategi för säkerhet och riskhantering som bygger på flera lager, säger Litan. Det finns flera olika sätt för organisationer att minska risken för oönskade eller illegitima inmatningar eller utmatningar.
Först bör organisationer definiera policyer för acceptabel användning och upprätta system och processer för att registrera förfrågningar om att använda generativ AI-applikationer, vilket inkluderar den avsedda användningen och de data som efterfrågas. Användning av AI-applikationer bör också kräva godkännande av högre instans.
Organisationer kan också använda innehållsfilter för information som skickas till hostade LLM-miljöer. Detta hjälper till att screena indata mot företagets policyer för acceptabel användning.
Integritets- och dataskyddsrisker kan minskas genom att välja bort datalagring och genom att se till att en leverantör inte använder företagsdata för att träna sina modeller. Dessutom bör företag gå igenom hostingleverantörens licensavtal, som definierar reglerna och leverantörens ansvar för dataskydd i LLM-miljön.
Slutligen måste organisationer vara medvetna om prompt injection-attacker, som är en skadlig inmatning som är utformad för att lura en LLM att ändra sitt önskade beteende. Det kan leda till stulna data eller att kunder luras av de generativa AI-systemen.
Organisationer behöver stark säkerhet kring den lokala LLM-miljön för företag, inklusive åtkomsthantering, dataskydd samt nätverks- och slutpunktssäkerhet, enligt Gartner.
Avivah Litan rekommenderar att generativ AI-användare använder Security Service Edge-programvara som kombinerar nätverk och säkerhet i en molnbaserad programvarustack som skyddar en organisations gränser, webbplatser och applikationer.
Dessutom bör företagen hålla sina LLM- eller generativ AI-tjänsteleverantörer ansvariga för hur de förhindrar indirekta prompt injection-attacker på sina LLM, som en kundorganisation inte har någon kontroll över eller insyn i.
AI:s fördelar kan uppväga dess risker
Ett misstag som företag gör är att bestämma att det inte är värt risken att använda AI, så ”den första policy som de flesta företag kommer fram till är ’använd det inte’”, säger Insights Matthew Jackson.
– Det var också vår första policy. Men vi satte snabbt upp en privat klient med Microsofts OpenAI för Azure-teknik. Så vi skapade en säker miljö där vi kunde ansluta till en del av våra privata företagsdata. På så sätt kunde vi tillåta människor att använda det.
En Insight-anställd beskrev den generativa AI-tekniken som att den är som Excel.
– Man frågar inte folk hur de ska använda Excel innan man ger det till dem; man ger det bara till dem och de kommer på alla dessa kreativa sätt att använda det på, säger Jackson.
Insight har pratat med många kunder om användningsområden för generativ AI just med utgångspunkt i företagets egna erfarenheter av tekniken.
– En av de saker som vi insåg med några av våra piloter var att AI egentligen bara är ett generellt produktivitetsverktyg. Det kan hantera så många användningsområden. Det vi bestämde oss för var att i stället för att gå igenom en lång, utdragen process för att anpassa det alltför mycket, skulle vi bara ge det till några avdelningar med några allmänna ramar och gränser kring vad de kunde och inte kunde göra – och sedan se vad de kom på.
En av de första uppgifterna som Insight Enterprises använde Chat GPT för var i sitt distributionscenter, där kunderna köper teknik och företaget skickar ut den ill kunderna; processen är fylld av vardagliga uppgifter, som att uppdatera produktstatusar och försörjningssystem.
– Så en av medarbetarna på ett av våra lager insåg att man kan be generativ AI att skriva ett skript för att automatisera vissa av dessa systemuppdateringar, säger Jackson.
Detta var ett praktiskt användningsfall som uppstod genom Insights crowd-sourcing av den egna privata företagsinstansen av Chat GPT, kallad Insight GPT, i hela organisationen.
Det generativa AI-programmet skrev ett kort Python-skript för Insights lagerverksamhet som automatiserade ett stort antal uppgifter och möjliggjorde systemuppdateringar som kunde köras mot SAP:s lagersystem; det automatiserade i princip en uppgift som tog personalen fem minuter varje gång de behövde göra en uppdatering.
– Så det skedde en enorm produktivitetsförbättring inom vårt lager. När vi rullade ut det till resten av de anställda på centret sparades hundratals timmar i veckan, säger Jackson.
Nu fokuserar Insight på att prioritera kritiska användningsområden som kan kräva mer anpassning. Det kan handla om att använda prompt engineering för att utbilda LLM på ett annat sätt eller att koppla in mer varierande eller komplicerade backend-datakällor.
Matthew Jackson beskriver LLM som en förtränad ”svart låda”, vars data den är tränad på vanligtvis är ett par år gamla och exkluderar företagsdata. Användare kan dock instruera API:er att komma åt företagsdata som en avancerad sökmotor.
– På så sätt får man tillgång till mer relevant och aktuellt innehåll, säger han.
Insight arbetar för närvarande med Chat GPT i ett projekt för att automatisera hur avtal skrivs. Med utgångspunkt i standardmodellen Chat GPT 4.0 anslöt företaget modellen till sitt befintliga avtalsbibliotek, som omfattar tiotusentals avtal.
Företag kan använda LLM-tillägg som Lang Chain eller Microsofts Azure Cognitive Search för att upptäcka företagsdata som är relaterade till en uppgift som det generativa AI-verktyget ska lösa.
I Insights fall kommer generativ AI att användas för att upptäcka vilka kontrakt företaget vunnit, prioritera dessa och sedan korsreferera dem mot CRM-data för att automatisera skrivandet av framtida kontrakt för kunder.
Vissa datakällor, som vanliga SQL-databaser eller filbibliotek, är lätta att ansluta till, medan andra, som AWS-moln eller anpassade lagringsmiljöer, är svårare att komma åt på ett säkert sätt.
– Många tror att man måste träna om modellen för att få in sina egna data i den, men så är det absolut inte. Det kan faktiskt vara riskabelt, beroende på var modellen finns och hur den körs. Du kan enkelt skapa en av dessa OpenAI-modeller på Azure och sedan ansluta dina data till den privata instansen, säger Matthew Jackson och tillägger:
– Historien visar att om man ger människor rätt verktyg så blir de mer produktiva och upptäcker nya sätt att arbeta på som gynnar dem. Att anamma den här tekniken ger anställda en unik möjlighet att utveckla och höja hur de arbetar och, för vissa, till och med upptäcka nya karriärvägar.