Avez-vous entendu dire que des chercheurs ont testé le navigateur d’IA Comet de Perplexity et l’ont trouvé vulnérable aux escroqueries ?

Il effectuait de manière autonome des achats sur de faux sites Web, cliquait sur des liens de phishing et exécutait des commandes malveillantes cachées sans surveillance de l’utilisateur. 

En effet, les agents d’IA peuvent présenter de graves failles de sécurité qui ne doivent pas être négligées par les entreprises.

Dans cet esprit, j’aimerais partager un éditorial qui aborde un angle mort croissant dans la course à l’adoption de l’IA : l’adoption imprudente d’agents d’IA sans comprendre pleinement les risques de sécurité, d’éthique et d’entreprise qu’ils introduisent.

Il a été écrit par Jurgita Lapienyte, rédactrice en chef de Cybernews, qui affirme que les entreprises sautent à bord du train de la hype des agents d’IA sans savoir où il va. Jurgita a été citée dans le monde entier – par la BBC, Metro UK, The Epoch Times, Extra Bladet, Computer Bild, etc.

La ruée vers les agents d’IA

Les entreprises laissent l’IA fonctionner sans supervision, comme donner à un stagiaire de grandes décisions au lieu de tâches simples – bien qu’elles ne soient pas encore assez intelligentes.

maginez que vous passez devant un train bondé quelque part au Bangladesh ou en Inde aux heures de pointe. Vous ne savez peut-être pas où il va, mais comme il y a tant de gens à bord, vous supposez qu’ils doivent se diriger vers un endroit qui en vaut la peine – alors vous sautez à bord aussi.

Cela a-t-il du sens ? Pas vraiment. Pourtant, ce n’est pas moins illogique que les entreprises locales qui se précipitent pour mettre en œuvre un agent d’IA simplement parce que d’autres entreprises le font. Mais savent-ils réellement ce que fait un agent d’IA, ou comment décider si les avantages l’emportent sur les risques ?

La définition d’un agent d’IA elle-même peut vous donner des frissons. Selon IBM, un agent d’IA est un système capable d’effectuer des tâches de manière autonome. Les agents d’IA apportent des réponses personnalisées et complètes, et apprennent à s’adapter à leurs utilisateurs au fil du temps. Mais pour ce faire, ils doivent connaître les tenants et aboutissants de votre organisation – et c’est là que tout le problème commence.

La technologie de l’IA est encore très naissante et nous ne connaissons pas très bien son fonctionnement. En tant qu’utilisateurs, nous nous en méfions, et la réaction contre l’IA s’intensifie car elle viole les lois sur le droit d’auteur, met les gens au chômage et exagère les préjugés sociétaux existants.

Pour les entreprises, elle ouvre grand la porte à de nouveaux risques.

Voici un exemple curieux. Une nouvelle étude menée par des chercheurs de l’Université de Princeton et de Sentient, une entreprise d’IA, a révélé que les agents d’IA sont vulnérables aux attaques par injection de mémoire qui peuvent ensuite manipuler leur comportement. En un mot, cela signifie qu’un attaquant peut implanter un faux souvenir dans un agent d’IA, qu’il utilise ensuite pour prendre des décisions futures. 

Le document exhorte à s’attaquer à la menace, car une telle attaque pourrait entraîner des violations de sécurité persistantes et multiplateformes. Ces violations s’accompagnent d’une perte de confiance des utilisateurs, de l’intégrité du système et de la sécurité opérationnelle.

Les pirates informatiques malveillants saisissent toutes les occasions d’exploiter notre dépendance croissante à l’égard de l’IA. Par exemple, dans un cas bien documenté, Gemini de Google s’est avéré vulnérable à la corruption de la mémoire à long terme.

Les pirates informatiques travaillent d’arrache-pied pour jouer avec les agents de l’IA. Étant donné que vous avez probablement fait confiance à un agent d’IA pour vos données et processus internes, cela peut devenir le talon d’Achille de votre organisation. Ce problème est constamment abordé, les chercheurs en sécurité travaillant sans relâche pour corriger diverses vulnérabilités.

Mais il y a quelque chose de beaucoup plus difficile à corriger : ce sont nos préjugés. Selon cet article de Forbes de 2021, les biais de l’IA ont fait que 80 % des demandeurs de prêts hypothécaires noirs ont été refusés. Les années passent, mais le problème de l’industrie persiste : l’année dernière, des chercheurs de l’Université Lehigh ont découvert que les données de formation LLM reflètent probablement des préjugés sociétaux persistants.

Beaucoup d’entre nous croient à tort que l’IA est objective et impartiale parce qu’il ne s’agit que de mathématiques, de logiciels ou d’une machine. Nous ne pourrions pas nous tromper davantage. Tout d’abord, tous les LLM sont enseignés à l’aide de bases de données défectueuses, collectées et organisées par des humains au fil des siècles. Par conséquent, les algorithmes en savent plus sur les hommes blancs que sur les personnes de couleur, les femmes ou d’autres groupes historiquement sous-représentés dans divers domaines et archives.

Seriez-vous à l’aise de confier à un agent d’IA la tâche d’accorder ou de refuser des prêts ? Qu’en est-il de qui est promu ? Feriez-vous confiance à un agent d’IA pour sélectionner les candidats ou décider qui obtient un entretien ? Utiliseriez-vous des agents de l’IA pour recommander des décisions de mise en liberté sous caution ou de détermination de la peine ? Et si vous le feriez, seriez-vous 100 % transparent sur la façon dont vous utilisez l’IA ?

Lorsque votre stagiaire en robotique échoue, serez-vous en mesure d’expliquer l’erreur et le raisonnement qui la sous-tend ? J’ai adoré la façon dont la Harvard Business Review l’a dit : les cauchemars éthiques se multiplient avec les progrès de l’IA.

Ne vous méprenez pas. Je suis tout à fait d’accord pour déléguer des tâches et laisser les tâches les plus banales et chronophages à un morceau de code. Mais avec autant d’organisations qui mettent en œuvre l’IA à une vitesse vertigineuse, je crains qu’il n’y ait pas assez de discussions sur les problèmes les plus urgents.

(Pour digresser un peu, les employés se plaignent en fait que leurs employeurs sont trop lents à approuver certains outils d’IA. En conséquence, ils utilisent certains algorithmes en secret, ce qui est encore pire.)

En plus des problèmes éthiques et de sécurité croissants, l’utilisation de l’IA agentique gonfle les coûts tout en apportant une valeur discutable aux entreprises.

Gartner, un cabinet de recherche et de conseil américain, prévoit que d’ici la fin de 2027, plus de 40 % des projets d’IA agentique seront annulés. Pourquoi? En raison de coûts énormes, d’une valeur incertaine et de contrôles des risques inadéquats. Les experts estiment que la plupart des projets d’IA agentique sont motivés par le battage médiatique et souvent mal appliqués. Ils conseillent de ne poursuivre l’IA agentique que lorsqu’elle offre une valeur claire ou un solide retour sur investissement.

Soyez plus intelligent que ceux qui sautent dans le train en marche par simple peur de manquer quelque chose. Nous, les introvertis, aimons plaisanter sur la peur d’être inclus. Votre entreprise fredonne peut-être le mantra « échouer rapidement », mais comme l’IA traite des données privées, un tel échec ne sera pas indolore.

Vous pourriez échouer rapidement, mais vous échouerez probablement aussi gros. Alors, prenez votre temps, réfléchissez de manière critique et privilégiez la sécurité à la vitesse. Avant de vous lancer, considérez ces étapes pratiques :

• Effectuer des évaluations approfondies des risques pour identifier les vulnérabilités et les impacts potentiels.
• Commencez par de petits projets pilotes pour tester les agents d’IA dans des environnements contrôlés avant de passer à l’échelle.
• Mettez en œuvre des politiques de gouvernance des données solides pour protéger les informations sensibles et garantir la conformité.
• Assurez la transparence de la prise de décision de l’IA en documentant la façon dont les décisions sont prises et en rendant les processus vérifiables.
• Investissez dans une surveillance et un audit continus pour détecter les problèmes à un stade précoce et améliorer continuellement vos systèmes.
• De nombreuses entreprises finissent par faire appel à des experts humains pour nettoyer après des dégâts d’IA, ce qui coûte généralement plus cher que de simplement embaucher un expert dès le départ. Épargnez-vous des maux de tête (et des factures supplémentaires) en demandant à une personne réelle de vérifier le travail de votre IA.

N’oubliez pas qu’une grande partie de l’agitation autour des agents d’IA n’est rien de plus qu’un écran de fumée pour dissimuler le fait que nous avons affaire à une bête dont nous ne savons pas grand-chose. Alors peut-être que nous ne devrions pas le laisser décider tout seul pour l’instant.

À PROPOS DE L’AUTEUR.

Jurgita Lapienytė est rédactrice en chef de Cybernews, où elle dirige une équipe de journalistes et d’experts en sécurité qui découvrent les cybermenaces par le biais de recherches, de tests et de reportages basés sur des données. Avec une carrière qui s’étend sur plus de 15 ans, elle a couvert des événements mondiaux majeurs, notamment la crise financière de 2008 et les attentats terroristes de Paris en 2015, et a favorisé la transparence par le biais du journalisme d’investigation. Ardente défenseure de la sensibilisation à la cybersécurité et des femmes dans le secteur de la technologie, Jurgita a interviewé des personnalités de premier plan dans le domaine de la cybersécurité et amplifie les voix sous-représentées dans l’industrie. Elle est reconnue comme la journaliste de l’année en cybersécurité et figure dans la liste des 40 personnes de moins de 40 ans en cybersécurité du magazine Top Cyber News. Jurgita a été citée dans le monde entier – par la BBC, Metro UK, The Epoch Times, Extra Bladet, Computer Bild, etc.

À PROPOS DE CYBERNEWS.

Cybernews est un média indépendant mondialement reconnu où les journalistes et les experts en sécurité démystifient la cybersécurité par des recherches, des tests et des données. Fondé en 2019 en réponse aux préoccupations croissantes concernant la sécurité en ligne, le site couvre les dernières nouvelles, mène des enquêtes originales et offre des perspectives uniques sur l’évolution du paysage de la sécurité numérique. Grâce à des techniques d’investigation white-hat, l’équipe de recherche de Cybernews identifie et divulgue en toute sécurité les menaces et les vulnérabilités de cybersécurité, tandis que l’équipe éditoriale fournit des actualités, des analyses et des opinions liées à la cybersécurité par des initiés de l’industrie en toute indépendance.

Cybernews a attiré l’attention du monde entier pour ses recherches et ses découvertes à fort impact, qui ont mis au jour certaines des expositions de sécurité et des fuites de données les plus importantes d’Internet. Parmi les plus notables, citons :

• Les chercheurs de Cybernews ont découvert plusieurs ensembles de données ouvertes comprenant 16 milliards d’identifiants de connexion provenant de logiciels malveillants de vol d’informations, de médias sociaux, de portails de développeurs et de réseaux d’entreprise, mettant en évidence les risques sans précédent de piratage de comptes, de phishing et de compromission des e-mails professionnels.
• Les chercheurs de Cybernews ont analysé 156 080 applications iOS sélectionnées au hasard – environ 8 % des applications présentes sur l’App Store – et ont découvert un énorme oubli : 71 % d’entre elles exposent des données sensibles.
• Récemment, Bob Dyachenko, chercheur en cybersécurité et propriétaire de SecurityDiscovery.com, et l’équipe de recherche sur la sécurité de Cybernews ont découvert un index Elasticsearch non protégé, qui contenait un large éventail de détails personnels sensibles liés à l’ensemble de la population de Géorgie.
• L’équipe a analysé le trafic Web du nouveau smartphone Pixel 9 Pro XL et a constaté que le dernier smartphone phare de Google transmet fréquemment des données privées d’utilisateurs au géant de la technologie avant l’installation d’une application.
• L’équipe a révélé qu’une fuite massive de données chez MC2 Data, une société de vérification des antécédents, affecte un tiers de la population américaine.
• L’équipe de recherche en sécurité de Cybernews a découvert que les 50 applications Android les plus populaires nécessitent en moyenne 11 autorisations dangereuses.
• Ils ont révélé que deux créateurs de PDF en ligne ont divulgué des dizaines de milliers de documents d’utilisateurs, notamment des passeports, des permis de conduire, des certificats et d’autres informations personnelles téléchargées par les utilisateurs.
• Une analyse de Cybernews Research a découvert plus d’un million de secrets publiquement exposés à partir de plus de 58 000 fichiers d’environnement exposé (.env) de sites Web.
• L’équipe a révélé que l’instance dirigeante du football australien, Football Australia, a divulgué des clés secrètes qui pourraient ouvrir l’accès à 127 ensembles de données, y compris les données personnelles des acheteurs de billets et les contrats et documents des joueurs.
• L’équipe de recherche de Cybernews, en collaboration avec le chercheur en cybersécurité Bob Dyachenko, a découvert une fuite de données massive contenant des informations provenant de nombreuses violations passées, comprenant 12 téraoctets de données et couvrant plus de 26 milliards d’enregistrements.
• L’équipe a analysé le site Web de la NASA et a découvert une vulnérabilité de redirection ouverte qui sévit sur le site Web d’astrobiologie de la NASA.
• L’équipe a enquêté sur 30 000 applications Android et a découvert que plus de la moitié d’entre elles divulguent des secrets qui pourraient avoir d’énormes répercussions sur les développeurs d’applications et leurs clients.