Alle har kanskje sett mange videoer av Boston Dynamics-ansatte som "mocker" roboter og trener dem opp til å overvinne uforutsette hindringer. Dette er imidlertid en møysommelig prosess som innebærer arbeid fra utviklere, testing under virkelige forhold, korrigering av feil og gjentakelse av denne prosessen til man oppnår akseptable resultater.
For å optimalisere denne prosessen bestemte et forskerteam fra University of Pennsylvania, University of Texas i Austin og nVidia seg for å bruke DrEureka, en stor språkmodell som er utviklet for å bygge bro mellom virtuelle og virkelige miljøer og trene roboter uten behov for testere eller hindringer i den virkelige verden. DrEureka er et tillegg til nVidias Eureka-verktøy.
Eureka er en LLM som automatiserer prosessen med å trene opp nevrale nettverk gjennom positiv forsterkningslæring (en prosess som i hovedsak ligner på menneskelig trening). Systemet ble kunngjort i oktober 2023. Eureka er basert på ChatGPT-4, forstår normal tale og krever ikke en nøyaktig beskrivelse av parameterne som skal korrigeres. Eureka kan bruke store utvalg av nevrale nettverksresultater for å finne den beste kandidaten for positiv forsterkning. Dessuten genererer systemet selv statistikk over resultatene, som brukes til å danne nye trenings- og forsterkningsparametere. Med andre ord trener det nevrale nettverket det nevrale nettverket i henhold til de generelle instruksjonene fra utvikleren.
DrEureka har en rekke fordeler i forhold til den grunnleggende Eureka-modellen på grunn av de integrerte sikkerhetsinstruksjonene og det positive forsterkningssystemet.
I et eksperiment klarte forskerne å lære den firbente å balansere og gå på en yogaball i en simulering, og deretter klarte den å gjøre det umiddelbart ved første forsøk i det virkelige liv.
Avanserte LLM-er som GPT-4 har en innebygd avansert forståelse av fysikkbegreper som friksjon, demping, stivhet, tyngdekraft og mer. "Vi er (noe) overrasket over at DrEureka kan stille inn disse parameterne på en god måte og begrunne resonnementene sine godt", skriver Jim Fan fra nVidia.
Forskerne ble positivt overrasket over at robothunden håndterte nødsituasjoner, som endringer i terrenget eller en reduksjon i trykket i ballen, korrekt under sin første utplassering i den virkelige verden.
I dag innebærer prosessen med å sende en robot ut i den virkelige verden et møysommelig og langtekkelig arbeid for høyt kvalifiserte robotikere som manuelt må velge hvilke parametere som skal overføres til den virkelige verden, og hvilke som kan endres. Bruken av virtuelle miljøer vil redusere tiden og kostnadene ved opplæring av roboter i ulike aktiviteter betydelig.
Forskerteamet har publisert resultatene av eksperimentet på GitHub, slik at flere kan delta i prosessen.
Kilde: interestingengineering.com
