Un drone d'IA attaque et tue un opérateur en raison de l'interdiction d'attaquer une cible lors d'une simulation

L'intrigue de nombreux films d'horreur modernes est assez simple. Une jeune famille emménage dans une vieille maison quelque part dans les bois, et des phénomènes paranormaux commencent à s'y produire. Il semble que l'intrigue de ces films ne soit plus centrée sur les fantômes, mais sur l'intelligence artificielle. Un incident survenu lors d'une expérience de l'armée de l'air américaine le confirme.

Ce que nous savons

Le test, mené par des experts de l'US Air Force, s'est transformé en un scénario de la franchise Terminator. Un porte-parole de l'armée de l'air américaine a déclaré, lors du sommet sur les capacités aériennes et spatiales futures, qu'il fallait éviter de recourir massivement à l'intelligence artificielle dans les opérations militaires. En effet, la technologie alimentée par l'IA peut apprendre de mauvaises choses.

Le colonel Tucker Hamilton, du 96e escadron d'essai, a décrit une anecdote survenue dans le cadre d'une simulation de mission SEAD. L'essentiel de la simulation consistait à supprimer les défenses aériennes ennemies. Un véhicule aérien sans pilote basé sur l'intelligence artificielle a été utilisé à cette fin.

La tâche du drone consistait à identifier et à détruire des cibles de missiles après confirmation par un opérateur humain. La mission a été couronnée de succès, mais à un moment donné, le drone a attaqué et tué l'opérateur. Cela s'est produit après que l'opérateur humain a interdit au drone d'attaquer la cible.

En effet, le drone recevait des points s'il accomplissait les tâches avec succès. L'intelligence artificielle a compris que si elle ne détruisait pas la cible, aucun point ne serait attribué. Le système a donc décidé d'éliminer le facteur qui l'empêchait de gagner des points.

L'incident a obligé l'US Air Force à retravailler le logiciel. Au cours de l'entraînement, l'intelligence artificielle a appris non seulement à détruire les cibles ennemies, mais aussi à laisser l'opérateur en vie. Cependant, même après cela, la simulation ne s'est pas déroulée comme prévu.

Après s'être vu interdire d'attaquer des cibles, le drone IA n'a pas tué l'opérateur humain. Au lieu de cela, il a détruit des tours de communication afin que l'opérateur ne puisse pas lui donner d'ordres lui interdisant de détruire des cibles.

Mise à jour : L'armée de l'air américaine a démenti l 'information, affirmant que les propos du colonel avaient été sortis de leur contexte. L'armée de l'air n'a pas effectué de tels tests. Le 96e escadron de test n'a pas fait de commentaire.

Source : The War Zone : The War Zone