En ny studie från Purdue University i Indiana, USA, visar på att Open AI:s Chat GPT svarar fler gällande mjukvarufrågor i 52 procent av fallen. The Register var först med att uppmärksamma studien.
Forskarna ska analyserat svaren som Chat GPT gav gällande 517 frågor inhämtade från Stack Overflow, en webbsajt där programmerare kan be varandra om råd. Tolv olika deltagare i studien fick därefter reagera på dessa svar.
Även om mer än vartannat svar var fel visar studien samtidigt på att i 39,34 procent av fallen är svaren fortfarande attraktiva på grund av att de är lättförståeliga och använder sig av en välartikulerad språkstil.
”I vår studie lade vi märke till att bara när felet i Chat GPT:s svar var uppenbart så kunde användare identifiera det”, skriver forskarna och fortsätter.
”När felet inte går att verifiera direkt, eller kräver en extern integrerad programutvecklingsmiljö eller dokumentation, så misslyckas ofta användare att identifiera felaktigheten eller underskatta hur stort felet är.”
Open AI skriver själva på sin webbsida att Chat GPT kan producera felaktig information gällande personer, platser eller fakta. Företaget har inte kommenterat forskarnas studie.
Läs också: Githubs Copilot Chat-funktion är nu tillgänglig i beta