En grupp forskare vid Googles Deepmind har publicerat en ny rapport som presenterar en ny metod, Opro, för att optimera stora språkmodeller med hjälp av stora språkmodeller. Något som först uppmärksammades av Venture Beat.
Opro fungerar genom att en stor språkmodell stegvis genererar fram nya instruktioner för att optimera utförandet av en uppgift samtidigt som en annan stor språkmodell poängsätter instruktionerna varpå de bästa väljs ut. Detta gör det också möjligt att optimera en stor språkmodell genom naturliga språkinstruktioner istället för formella specifikationer.
Tillvägagångssättet ska testats på de kända optimeringsproblemen multipel linjär regression och handelsresandeproblemet och givit lovande resultat.
I sin studie kunde forskarna se att för småskaliga optimeringsproblem kan stora språkmodeller generera fram effektiva lösningar genom naturliga språkinstruktioner som gav lika bra eller bättre resultatet än de som togs fram av en heuristisk algoritm designad av experter.
Opro-metoden skulle exempelvis kunna användas i framtiden för att förbättra instruktioner till stora språkmodeller som Open AI:s Chat GPT och Googles Palm för att ta fram de optimala instruktionerna för att utgöra en viss uppgift.
Läs också: Startups ska få träna sina AI-modeller på EU:s superdatorer – men bara om de gör det ansvarsfullt