En grupp forskare ledda av Talal Rahwan och Yasir Zaki vid New York University Abu Dhabi har publicerat en ny rapport via Scientific reports som visar att Chat GPT presterar bättre än en genomsnittlig student i datorvetenskap, även känt som ”computer science”. Något som The Register var först med att uppmärksamma.
Open AI:s textgenererande chattbott ska även överträffa den genomsnittliga studenten inom statsvetenskap, teknik och psykologi. Chat GPT presterar däremot sämre än snittet när det kommer till matematik och ekonomi. Människor ska också kunnat hantera kuggfrågor bättre än Chat GPT.
Forskarnas metod för studien var att låta fakultetsmedlemmar på New York University Abu Dhabi välja ut tio frågor från en kurs de lärt ut och sedan låta tre slumpmässiga studenter svara på frågorna samtidigt som Chat GPT fick generera tre svar för varje fråga. Svaren utvärderades därefter anonymt.
Forskarna ska allt om allt tittat på 32 olika kurser varav Chat GPT presterade lika bra eller bättre än vanliga studenter i nio av dessa. Enligt forskarna ska moderna identifieringsalgoritmer inte heller lyckats avgöra vilka svar som kom från en människa och vilka som kom från Chat GPT.
Läs också: Chat GPT svarar fel på mer än varannan fråga om kod