Vielleicht hat jeder schon einmal die zahlreichen Videos von Boston Dynamics-Mitarbeitern gesehen, die Robotern das Überwinden unvorhergesehener Hindernisse beibringen. Dies ist jedoch ein mühsamer Prozess, der die Arbeit von Entwicklern, das Testen unter realen Bedingungen, das Korrigieren von Fehlern und das Wiederholen dieses Prozesses erfordert, bis akzeptable Ergebnisse erzielt werden.
Um diesen Prozess zu optimieren, entschied sich ein Forschungsteam der University of Pennsylvania, der University of Texas at Austin und nVidia für DrEureka, ein Large Language Model, das die Kluft zwischen virtuellen und realen Umgebungen überbrücken und Roboter trainieren soll, ohne dass Tester oder reale Hindernisse benötigt werden. DrEureka ist ein Add-on zum nVidia Eureka-Tool.
Eureka ist ein LLM, das den Prozess des Trainings neuronaler Netze durch positives Verstärkungslernen automatisiert (ein Prozess, der im Wesentlichen dem menschlichen Training ähnelt). Das System wurde im Oktober 2023 angekündigt. Eureka basiert auf ChatGPT-4, versteht normale Sprache und erfordert keine genaue Beschreibung der zu korrigierenden Parameter. Eureka ist in der Lage, große Stichproben der Ergebnisse des neuronalen Netzes zu verwenden, um den besten Kandidaten für eine positive Verstärkung zu ermitteln. Außerdem erstellt das System selbst Statistiken über die Ergebnisse, die zur Bildung neuer Trainings- und Verstärkungsparameter verwendet werden. Mit anderen Worten: Das neuronale Netz trainiert das neuronale Netz nach den allgemeinen Anweisungen des Entwicklers.
DrEureka hat aufgrund seiner integrierten Sicherheitsanweisungen und seines positiven Verstärkungssystems eine Reihe von Vorteilen gegenüber dem Basismodell Eureka.
In einem Experiment konnten die Forscher dem Vierbeiner in einer Simulation beibringen, auf einem Yogaball zu balancieren und zu gehen, und er war dann in der Lage, dies sofort bei seinem ersten Versuch im wirklichen Leben zu tun.
Fortgeschrittene LLMs wie das GPT-4 verfügen über ein eingebautes fortgeschrittenes Verständnis physikalischer Konzepte wie Reibung, Dämpfung, Steifigkeit, Schwerkraft und mehr. "Wir sind (etwas) überrascht, dass DrEureka diese Parameter gut einstellen und seine Überlegungen gut begründen kann", schrieb Jim Fan von nVidia.
Die Wissenschaftler waren angenehm überrascht, dass der Roboterhund bei seinem ersten Einsatz in der realen Welt mit Notsituationen wie Geländeveränderungen oder einem Druckabfall im Ball richtig umging.
Heutzutage ist der Start eines Roboters in der realen Welt mit der mühsamen und langwierigen Arbeit von hochqualifizierten Robotikern verbunden, die manuell die Parameter auswählen müssen, die in die reale Welt übertragen werden sollen, und diejenigen, die sich möglicherweise ändern. Der Einsatz virtueller Umgebungen wird den Zeit- und Kostenaufwand für die Ausbildung von Robotern für verschiedene Tätigkeiten erheblich verringern.
Das Forschungsteam hat die Ergebnisse des Experiments auf GitHub veröffentlicht, damit sich mehr Menschen an dem Prozess beteiligen können.
Quelle: interestingengineering.com
