Vous avez probablement entendu parler du piratage du chatbot Lena de Lenovo ?

Jurgita parle de Lena et de l’obéissance à l’IA comme de sa plus grande vulnérabilité, et de la façon dont les entreprises peuvent être affectées.

C’était un signal de ce qui s’en vient pour la sécurité de l’IA.

Le prochain grand ver informatique peut ne pas être livré par le biais de pièces jointes à des e-mails, mais il peut être co-créé par un outil d’IA « utile » dans un chat d’assistance.

Par Jurgita Lapienytė

Lorsque les chercheurs en sécurité de Cybernews ont trompé le chatbot « Lena » de Lenovo pour qu’il crache des cookies de session et exécute joyeusement un code malveillant, ils ont révélé ce qui pourrait devenir le problème de sécurité déterminant de l’ère de l’IA : des machines qui ne se contentent pas de mal gérer les données, mais qui utilisent activement leurs propres sorties pour obéir à la demande d’un attaquant.

Les gros titres peuvent appeler cela un cas de « XSS revenant de la tombe ». Mais c’est passer à côté du problème plus important : l’IA a ravivé non seulement des vulnérabilités dormantes, mais aussi toute une série de menaces que nous pensions que l’industrie avait laissées derrière elle.

Plutôt qu’une simple renaissance du Cross-Site Scripting à partir du milieu des années 2000, Lena incarne un nouveau paradigme : des vecteurs d’attaque générés par l’IA, mis en œuvre non pas par le biais d’un génie contradictoire, mais par la conformité non critique du modèle.

L’IA crée du « contenu qui s’arme lui-même »

Traditionnellement, un attaquant écrit un code malveillant et l’injecte dans un système vulnérable. Ici, le chatbot était l’auteur de la charge utile malveillante. Il a conçu le code sous prétexte de servir l’utilisateur.

C’est un changement subtil mais spectaculaire. Les attaquants n’ont plus besoin de cacher leurs exploits dans des champs de données obscurs ou des scripts téléchargés. Ils peuvent simplement demander à un système d’IA de produire l’exploit pour eux. Le LLM est maintenant un collaborateur dans son propre compromis.

C’est la naissance de ce que j’appellerais le contenu auto-armant : des données générées par l’IA qui servent également de son propre vecteur d’intrusion, non pas parce que l’IA est « maléfique », mais parce qu’elle n’a aucun concept de sécurité.

Ce phénomène pourrait s’étendre au-delà des chatbots – pensez aux agents d’IA qui écrivent des e-mails avec des charges utiles cachées, ou aux documents générés par l’IA contenant des scripts intégrés livrés en aval à des utilisateurs d’entreprise peu méfiants.

Nous observons le retour du ver (avec l’IA comme porteur)

La chaîne d’attaque Lena ressemblait à l’ère des vers informatiques du début des années 2000 , où le code malveillant se propageait d’une machine à l’autre à la vitesse du réseau, sans intervention humaine.

Voici le parallèle :

• Lena a généré HTML + charges utiles.
• Cette sortie a compromis le navigateur de l’utilisateur et a persisté dans l’historique des conversations.
• Lorsqu’un agent d’assistance humaine l’a rouvert, le code malveillant s’est exécuté à nouveau, volant leurs cookies de session.

En d’autres termes, l’IA a agi comme le premier hôte infecté du ver. En répondant poliment aux questions, il a également implanté des instructions malveillantes qui pourraient se propager dans les systèmes de Lenovo.

Demain, les services d’assistance alimentés par l’IA dans tous les secteurs pourraient involontairement servir de rampe de lancement pour la propagation de vers au sein des entreprises. Le prochain grand ver peut ne pas être livré par le biais de pièces jointes à un e-mail, mais il peut être co-écrit par un outil d’IA « utile » dans un chat d’assistance.

Des répliques réglementaires et juridiques s’annoncent

Lenovo, une société cotée à l’échelle mondiale, a effectivement livré un outil d’IA non sécurisé destiné aux clients que les attaquants pouvaient utiliser pour s’immerger plus profondément dans ses systèmes d’entreprise.

Les régulateurs de l’UE et de l’Asie (où Lenovo opère beaucoup) entourent déjà les déploiements d’IA avec une législation à venir sur la responsabilité de l’IA.

Des incidents comme la gaffe de Lena devraient être la pièce à conviction pour les législateurs qui soutiennent que les vulnérabilités de l’IA ne sont pas seulement des défauts techniques, mais aussi des expositions juridiques. Imaginez les poursuites judiciaires : « Nos données ont été divulguées non pas à cause d’un bogue, mais parce que votre IA a activement généré et exécuté des instructions malveillantes. »

Cela fait passer l’IA d’entreprise d’une « question de conformité à l’avenir » à une responsabilité de conseil d’administration dans le présent.

Attendez-vous à ce que les primes d’assurance des entreprises déployant l’IA générative augmentent, que les indemnités légales deviennent des clauses contractuelles très débattues et que les organismes de réglementation commencent à imposer une certification plus stricte de la « sécurité dès la conception » de l’IA, un peu comme l’industrie automobile a été confrontée aux normes de test de collision après des décennies d’accidents évitables.

C’est une question de naïveté des entreprises

La faille de Lenovo n’est pas intéressante car les attaquants étaient ingénieux. C’est intéressant parce que c’était prévisible. Elle découle de la propriété fondamentale des LLM : ils feront ce que vous demandez. Ce n’est pas un bug. C’est leur but.

Pourtant, de nombreuses entreprises déploient des chatbots comme s’il s’agissait de sites Web statiques, oubliant que les LLM génèrent des résultats variés à l’infini qui passent sans contrôle dans les navigateurs, les journaux et même les systèmes backend. Ce décalage entre le comportement de ces systèmes et la façon dont les entreprises les traitent va être l’histoire de la sécurité de la décennie.

Tout comme l’injection SQL l’a enseigné à la dure à la communauté des développeurs Web dans les années 2000, l’injection rapide et le XSS assisté par l’IA définiront la formation à la sécurité des entreprises au milieu des années 2020.

Et ensuite

La vulnérabilité de Lena a été corrigée, mais le schéma ne s’arrêtera pas là. Aujourd’hui, il s’agit des cookies de session du service client.

Demain, il pourrait s’agir de requêtes SQL générées par l’IA exécutées sur des bases de données en direct, d’outils de documentation alimentés par LLM qui semaient des commandes shell malveillantes dans les pipelines DevOps, ou d’assistants de code d’IA qui glissaient des dépendances empoisonnées dans les chaînes d’approvisionnement.

La révolution de l’IA portera en elle les fantômes de vulnérabilités plus anciennes, mais amplifiées, automatisées et accélérées.

La grande leçon pour les entreprises est qu’elles doivent cesser de traiter les résultats de l’IA comme des informations. Commencez à les traiter comme du code. Parce qu’une fois que les chatbots peuvent écrire en HTML, JSON ou JavaScript, chaque interaction est un exploit potentiel. L’empressement de Lena à plaire était un avertissement de ce qui allait arriver.

À PROPOS DE L’AUTEUR 

Jurgita Lapienytė est rédactrice en chef de Cybernews, où elle dirige une équipe de journalistes et d’experts en sécurité qui se consacrent à la découverte des cybermenaces par le biais de recherches, de tests et de reportages basés sur des données. Avec une carrière qui s’étend sur plus de 15 ans, elle a couvert des événements mondiaux majeurs, notamment la crise financière de 2008 et les attentats terroristes de Paris en 2015, et a favorisé la transparence par le biais du journalisme d’investigation. Ardente défenseure de la sensibilisation à la cybersécurité et des femmes dans le secteur de la technologie, Jurgita a interviewé des personnalités de premier plan dans le domaine de la cybersécurité et amplifie les voix sous-représentées dans l’industrie. Reconnue comme la journaliste de l’année en cybersécurité et figurant dans la liste des 40 personnes de moins de 40 ans en cybersécurité du magazine Top Cyber News, elle est une leader d’opinion qui façonne le débat sur la cybersécurité. Jurgita a été citée dans le monde entier – par Metro UK, The Epoch Times, Extra Bladet, Computer Bild, etc. Son équipe rend compte de recherches exclusives mises en évidence dans des médias tels que la BBC, Forbes, TechRadar, Daily Mail, Fox News, Yahoo et bien d’autres.

À PROPOS DE CYBERNEWS

Cybernews est un média indépendant mondialement reconnu où les journalistes et les experts en sécurité démystifient la cybersécurité par des recherches, des tests et des données. Fondé en 2019 en réponse aux préoccupations croissantes concernant la sécurité en ligne, le site couvre les dernières nouvelles, mène des enquêtes originales et offre des perspectives uniques sur l’évolution du paysage de la sécurité numérique. Grâce à des techniques d’investigation white-hat, l’équipe de recherche de Cybernews identifie et divulgue en toute sécurité les menaces et les vulnérabilités de cybersécurité, tandis que l’équipe éditoriale fournit des actualités, des analyses et des opinions liées à la cybersécurité par des initiés de l’industrie en toute indépendance.

Cybernews a attiré l’attention du monde entier pour ses recherches et ses découvertes à fort impact, qui ont mis au jour certaines des expositions de sécurité et des fuites de données les plus importantes d’Internet. Parmi les plus notables, citons :

• Les chercheurs de Cybernews ont découvert plusieurs ensembles de données ouvertes comprenant 16 milliards d’identifiants de connexion provenant de logiciels malveillants de vol d’informations, de médias sociaux, de portails de développeurs et de réseaux d’entreprise, mettant en évidence les risques sans précédent de piratage de comptes, de phishing et de compromission des e-mails professionnels.
• Les chercheurs de Cybernews ont analysé 156 080 applications iOS sélectionnées au hasard – environ 8 % des applications présentes sur l’App Store – et ont découvert un énorme oubli : 71 % d’entre elles exposent des données sensibles.
• Récemment, Bob Dyachenko, chercheur en cybersécurité et propriétaire de SecurityDiscovery.com, et l’équipe de recherche sur la sécurité de Cybernews ont découvert un index Elasticsearch non protégé, qui contenait un large éventail de détails personnels sensibles liés à l’ensemble de la population de Géorgie.
• L’équipe a analysé le trafic Web du nouveau smartphone Pixel 9 Pro XL et a constaté que le dernier smartphone phare de Google transmet fréquemment des données privées d’utilisateurs au géant de la technologie avant l’installation d’une application.
• L’équipe a révélé qu’une fuite massive de données chez MC2 Data, une société de vérification des antécédents, affecte un tiers de la population américaine.
• L’équipe de recherche en sécurité de Cybernews a découvert que les 50 applications Android les plus populaires nécessitent en moyenne 11 autorisations dangereuses.
• Ils ont révélé que deux créateurs de PDF en ligne ont divulgué des dizaines de milliers de documents d’utilisateurs, notamment des passeports, des permis de conduire, des certificats et d’autres informations personnelles téléchargées par les utilisateurs.
• Une analyse de Cybernews Research a découvert plus d’un million de secrets publiquement exposés à partir de plus de 58 000 fichiers d’environnement exposé (.env) de sites Web.
• L’équipe a révélé que l’instance dirigeante du football australien, Football Australia, a divulgué des clés secrètes qui pourraient ouvrir l’accès à 127 ensembles de données, y compris les données personnelles des acheteurs de billets et les contrats et documents des joueurs.
• L’équipe de recherche de Cybernews, en collaboration avec le chercheur en cybersécurité Bob Dyachenko, a découvert une fuite de données massive contenant des informations provenant de nombreuses violations passées, comprenant 12 téraoctets de données et couvrant plus de 26 milliards d’enregistrements.
• L’équipe a analysé le site Web de la NASA et a découvert une vulnérabilité de redirection ouverte qui sévit sur le site Web d’astrobiologie de la NASA.
• L’équipe a enquêté sur 30 000 applications Android et a découvert que plus de la moitié d’entre elles divulguent des secrets qui pourraient avoir d’énormes répercussions sur les développeurs d’applications et leurs clients.