Les calculs des scientifiques montrent qu'il serait impossible de contrôler une IA hyperintelligente

L'idée de renverser ou d'asservir l'humanité grâce à l'intelligence artificielle est évoquée depuis des décennies. En janvier 2021, les scientifiques ont rendu leur verdict sur la possibilité de contrôler une superintelligence informatique de haut niveau. La réponse : presque certainement pas.

Le problème est que pour contrôler une superintelligence dépassant de loin la compréhension humaine, il faudrait une simulation de cette superintelligence que nous pourrions analyser. Mais si nous sommes incapables de la comprendre, il serait impossible de créer une telle simulation.

Des règles telles que "ne pas nuire aux humains" ne peuvent être établies si nous ne comprenons pas les scénarios que l'IA peut imaginer, affirment les auteurs du document de 2021. Lorsqu'un système informatique fonctionne à un niveau dépassant les capacités de nos programmeurs, nous ne pouvons plus fixer de limites.

"La superintelligence présente un défi fondamentalement différent de ceux qui sont habituellement étudiés sous la bannière de l'"éthique des robots"", écrivent les chercheurs. "Cela s'explique par le fait que la superintelligence est multiforme et a donc le potentiel de mobiliser une variété de ressources pour atteindre des objectifs potentiellement incompréhensibles pour les humains, et encore moins contrôlables."

Si nous voulons faire progresser l'intelligence artificielle, nous ne saurons peut-être même pas quand émergera une superintelligence qui échappe à notre contrôle, tant elle est incompréhensible. Cela signifie que nous devons commencer à poser des questions sérieuses sur la direction que nous prenons.

Source : sciencealert, jair

Illustration : Yuyeung Lau