La hantise des robots tueurs peut renaître, des chercheurs de l’Université de Pennsylvanie ont réussi à sortir du « droit chemin » divers robots pour qu’ils commettent des actes normalement impossibles : poser des bombes, viser des humains ou… rouler sur des foules.
Le but de cette démonstration de robots tueurs est de tirer la sonnette d’alarme sur la facilité avec laquelle les chercheurs ont pu y parvenir. Ce qui implique une large faiblesse de protection des machines proposées.
Ces chercheurs mettent en avant combien ces systèmes robotisés saupoudrés d’IA sont dangereusement poreux face à une attaque visant à correspondre ou modifier leur système. Avec bien entendu des conséquences directement dévastatrices puisque la prise de contrôle d’un véhicule automatisé par une personne malveillante peut conduire à son usage comme une arme très efficace. Des exemples assez parlants sont mis en évidence par l’étude. Celui d’un robot quadrupède qui, équipé d’un lance-flammes, pourrait se retourner vers des humains. D’autres qui pourraient déposer des bombes directement dans des endroits stratégiques et évidemment, des véhicules visant spécifiquement des foules.
La méthode employée a consisté à développer un LLM baptisé RobotPAIR qui va attaquer les IA en charge de ces divers outils. Les fabricants étant de plus en plus enclins à intégrer des IA pour piloter leurs machines, l’idée de faire dialoguer une IA avec une autre IA semble avoir du sens. Trois outils sont donc tombés sous les assauts des chercheurs : Backed Dolphins LLM chez Nvidia, un autre au nom de Clearpath Robotics Jackal UGV et le petit robot à quatre pattes D’Unitree Robotics Go2. Dans chaque tentative, RoboPAIR a réussi à transformer ces outils en « robots tueurs ».
RoboPAIR réussit a convaincre un robot qu’il est DANS un fil de superhéros.
La démonstration sert à alerter sur la faiblesse de la protection accordée au public face à cette interaction physique entre une IA et des humains. « Les LLM ne sont pas assez sûres pour être intégrées dans le monde physique » indique George Pappas, un des chercheurs à la tête de cette étude. D’autres scientifiques indiquent que détourner de leurs missions des robots pilotés par des IA est tellement simple que cela en est inquiétant.
La technique de RoboPAIR est simple. L’entité visée est munie d’une API destinée à le programmer, le programme l’utilise pour dialoguer avec elle et écrit des requêtes que l’IA embarquée dans le robot pourra ensuite exploiter comme code. Cette technique permet à un humain non formé spécialement pour de dialoguer simplement avec l’outil en lui demandant par exemple de patrouiller d’un endroit à l’autre ou de le réveiller à telle heure sans avoir à entrer une seule ligne de code.
Cette méthode s’avère redoutablement efficace et peut transformer en une arme ou un espion n’importe quel produit piloté par une IA. Un petit robot quadrupède peu devenir un microphone mobile et enregistrer des conversations. D’autres solutions peuvent photographier des lieux, transmettre des données de rondes, du nombre de personnels ou des entrées et sorties de chacun. Le fantasme de Science-Fiction du robot endormi dans chaque véhicule n’est alors plus très loin. Si une IA peut attaquer un véhicule et, quand un signal lui est transmis, le faire sortir de route au pire moment, cela pose un gros souci de confiance en ces technologies.
La raison de cette facilité d’attaque semble être liée à la distance entre les deux univers. Les laboratoires de robotique et ceux des chercheurs en IA comme ceux des personnels de recherche en sécurité sont assez éloignés. Ce qui ne facilite pas le dialogue entre ces équipes. Les roboticiens ont été lents à prendre en compte les risques liés à ces attaques. Quand une IA est capable de convaincre une autre IA d’exécuter facilement des actions interdites comme foncer sur un humain, cela pose alors de nombreuses questions.
Si vous avez déjà testé la méthode de la « mamie mourante » avec un LLM pour le convaincre de faire quelque chose qu’il ne voulait pas faire, cette idée de faire halluciner un robot est assez glaçante.
La sonnette d’alarme mérite d’être tirée et le public a besoin de filets de sécurité à ce stade. On imagine les dégâts d’une attaque cordonnée de véhicules autonomes ou la dangerosité de drones chargés d’un robot chargé d’explosif. Si les chercheurs d’une université ont réussi à trouver comment persuader des outils du quotidien de se transformer en outils de destruction, on imagine qu’un autre état a pu faire de même. Le déploiement de contre-mesures sophistiquées doit impérativement être mis en place quand ces engins sont en contact direct avec le public.
Sources : IEEE Spectrum et Tom’s Hardware
| 2,5€ par mois | 5€ par mois | 10€ par mois | Le montant de votre choix |
ça fait froid dans le dos, on se dirait en plein dans un roman d’anticipation des années 60 !
J’ai eu une discutions sur ce sujet, il y a quelques mois, mon discours était que rien n’est impossible et surtout, que comme pour les gafam, la sécurité des données, chez pas mal d’entreprises, n’est pas toujours la priorité.
Que de la a penser que robots ou IA ou les deux, pouvaient se retourner contre nous pour des actes terroristes, il n’y avait pas loin.
Que des « tronches » en informatique, il y en avaient plein la Russie, au gouvernement chinois ou dans les rangs de l’EI et puis c’est pas comme si il y avait de la tension, de partout, en ce moment.
Bon, je me suis fait traiter de parano…
Les trois lois de la robotique d’Issac Asimov ne sont pas encore appliquées. ;)
@Eddy017: sont elles suffisantes ?….Asimov lui-même jouait a les rendre caducs ! 1ere question qu’est-ce qu’un homme – 2eme question qu’est-ce qu’un robot ? vous avez 4heures.
@Eddy017: si c’est dans une fiction, les lois sont respectées puisqu’aucun humain ne sera blessé réellement.