Forse tutti hanno visto i numerosi video dei dipendenti della Boston Dynamics che "prendono in giro" i robot, addestrandoli a superare ostacoli imprevisti. Si tratta però di un processo minuzioso che prevede il lavoro degli sviluppatori, i test in condizioni reali, la correzione degli errori e la ripetizione del processo fino a ottenere risultati accettabili.
Per ottimizzare questo processo, un team di ricerca dell'Università della Pennsylvania, dell'Università del Texas ad Austin e di nVidia ha deciso di utilizzare DrEureka, un Large Language Model progettato per colmare il divario tra ambienti virtuali e reali e addestrare i robot senza bisogno di tester o ostacoli reali. DrEureka è un componente aggiuntivo dello strumento nVidia Eureka.
Eureka è un LLM che automatizza il processo di addestramento delle reti neurali attraverso l'apprendimento con rinforzo positivo (un processo essenzialmente simile all'addestramento umano). Il sistema è stato annunciato nell'ottobre 2023. Eureka si basa su ChatGPT-4, comprende il parlato normale e non richiede una descrizione precisa dei parametri da correggere. Eureka è in grado di utilizzare grandi campioni di risultati della rete neurale per determinare il miglior candidato per il rinforzo positivo. Inoltre, il sistema stesso genera statistiche sui risultati, che vengono utilizzate per formare nuovi parametri di allenamento e rinforzo. In altre parole, la rete neurale addestra la rete neurale secondo le istruzioni generali dello sviluppatore.
DrEureka presenta una serie di vantaggi rispetto al modello Eureka di base, grazie alle istruzioni di sicurezza integrate e al sistema di rinforzo positivo.
In un esperimento, i ricercatori sono riusciti a insegnare al quadrupede a stare in equilibrio e a camminare su una palla da yoga in una simulazione, per poi riuscire a farlo immediatamente al primo tentativo nella vita reale.
Gli LLM avanzati come il GPT-4 sono dotati di una comprensione avanzata di concetti fisici come attrito, smorzamento, rigidità, gravità e altro. "Siamo (un po') sorpresi di scoprire che DrEureka è in grado di sintonizzare bene questi parametri e di giustificare bene il suo ragionamento", ha scritto Jim Fan di nVidia.
Gli scienziati sono rimasti piacevolmente sorpresi dal fatto che il cane robot abbia gestito correttamente le situazioni di emergenza, come i cambiamenti del terreno o la diminuzione della pressione nella palla, durante il suo primo lancio nel mondo reale.
Oggi, il processo di lancio di un robot nel mondo reale comporta il lavoro minuzioso e noioso di robotici altamente qualificati che devono selezionare manualmente i parametri che saranno trasferiti nel mondo reale e quelli che potrebbero cambiare. L'uso di ambienti virtuali ridurrà in modo significativo i tempi e i costi di addestramento dei robot in varie attività.
Il team di ricerca ha pubblicato i risultati dell'esperimento su GitHub in modo che più persone possano partecipare al processo.
Fonte: interestingengineering.com
