Il aurait été surprenant que le hacking et la malveillance en générale se tiennent à l’écart d’un outil aux possibilités aussi prometteuses.Mais comment concilier le besoin d’un modèle le plus ouvert possible, voire complètement « open source » comme le demandent certains opérateurs, et la sécurisation de l’environnement de l’IA ? Une sécurité multiforme, depuis l’usage qu’on en fait, et surtout qui, jusqu’à la qualité des résultats qu’elle propose, et les conséquences. La seule certitude à ce jour c’est que la cybersécurité a de beaux jours devant elle.
Les loups et l’IAgneau
Il y a les belliqueux frontaux…
En janvier dernier, le Google Threat Intelligence Group (GTIG) révélait dans un rapport que plus de 57 groupes de menaces étatiques, liés notamment à la Chine, l’Iran, la Corée du Nord et la Russie, exploitaient l’IA, et en particulier celle de Google : Gemini. Les modèles offraient à ces groupes dits APT (Advanced Persistent Threat) de nouvelles capacités pour leurs funestes cyber-opérations.
Le groupe APT42 (Iran) a ainsi été identifié comme l’un des plus gros utilisateurs de Gemini, pour des campagnes de phishing et de cyber-espionnage ciblant des ONG, des médias et des organisations de défense. De leur côté, les APT chinois exploitent l’IA pour perfectionner leurs intrusions et extraire des données sensibles, et les hackers russes se concentrent sur le chiffrement des logiciels malveillants et la conversion de code… Un vrai succès dont se passerait bien Google.
… les plus sournois…
Les effets sont plus subtils, mais les conséquences potentiellement lourdes. Les attaques MINJA (Memory INJection Attack) s’en prennent aux IA dotées de mémoire, comme celle des chatbos, en injectant dans leur mémoire des informations erronées, par le biais on ne peut plus simple d’une conversation client. Les tâches et le traitement des informations du chatbot sont donc sous une influence qui peut s’avérer délétère pour le client et l’activité de l’entreprise… Avec des conséquences allant de l’affichage du mauvais produit sur une page Internet marchande, au conseil médical potentiellement dangereux, sensiblement plus préoccupant.
… et les petits filous.
Moins agressifs envers leur prochain, certains hackers pratiquent le « LLM-Hijacking » dans le but non pas de nuire, mais d’entraîner des IA, avec des ressources cloud qui ne leur appartiennent pas ! À la clef, des factures qui s’envolent pour les utilisateurs légitimes et une exposition de leurs données. Un abonné AWS au tarif de 2$ par mois a ainsi vu le montant bondir à 700$, et le phénomène touche aussi des comptes bien plus conséquents.
Les fournisseurs de cloud réagissent, et Microsoft a porté plainte contre des pirates ayant exploité Azure OpenAI. Également dans son collimateur, Deepseek qui est soupçonné de vol de données et de laxisme en ce qui concerne la cybersécurité. Une explication de leur efficacité low-cost ? Sans sinophobie primaire, ce n’est pas sans rappeler certaines pratiques industrielles…
La course à la cybersécurité est lancée à une vitesse qui est le reflet des performances de l’IA. Au vu de la croissance continue du hacking ces dernières années, il est permis de s’inquiéter, et surtout conseillé de se protéger.
Mais il ne suffira pas de construire des barrières « cybersécurisées », car outre ces attaques directes, il existe un autre moyen de nuire aux IA et à la qualité de leur rendu, c’est en s’attaquant aux corpus qui les entraîne.
Protéger les IA contre elles-mêmes
Une IA croit tout ce qu’on lui « dit »
Une image simpliste mais néanmoins juste ? Le Petit Chaperon rouge.
Projetez-vous une IA et sa déambulation dans l’infinie forêt d’Internet, à la recherche des informations pour compiler sa réponse à un prompt. Et elle croise sur son chemin une constellation de sites d’information qui édite plus de 1500 articles par jour : c’est la galaxie russe Pravda, qui malgré son audience très réduite (31 000 vues quotidiennes), prend une place telle qu’elle pèse dans le travail statistique de l’IA. Résultat : l’IA ressert dans sa réponse des éléments de propagande russe, pure désinformation.
L’organisation non gouvernementale American Sunlight Project estime que Pravda pourrait avoir fait évoluer son fonctionnement « spécifiquement pour inonder les grands modèles de langage de contenus prorusses ». Les articles sont eux-mêmes générés par IA, recopiés et traduits dans 40 langues pour assurer un volume qui inonde la toile, 10 000 pages web par jour pour Pravda et ses homologues.
Le caractère autonome du LLM qui se promène dans l’Internet accentue sa vulnérabilité, et un travail sur sa « candeur » s’avère déjà indispensable pour garantir un minimum de qualité de ses résultats. Cela pose la question de comment définir le corpus, que proscrire, et qui est-on pour proscrire telle ou telle chose par rapport aux utilisateurs ?
La « vérité » tente de réagir
La presse et l’information audiovisuelle font l’objet d’une régulation depuis qu’elles existent. Les réseaux sociaux et leurs algorithmes aussi par le biais du Digital Services Act, dans la mesure du possible…
Un collectif européen soutien le projet d’un espace souverain d’information fiable : l’objectif est de créé une base de données auquel nous pourrions nous référer, et dont les IA pourraient se nourrir. Les financements manquent pour le moment. C’est d’autant plus malheureux quand on observe Meta supprimer le fact-checking, et plus largement le constat que la désinformation n’est pas seulement une dérive, mais une stratégie, et pas seulement russe.
Le pot de terre contre pot de fer ?
Au-delà de la désinformation, le « Slop »
Le Slop, c’est du contenu (texte, image ou autres), généré par IA et auquel on peut reprocher fadeur, standardisation, incohérence… Quoiqu’il en soit une piètre qualité, que l’IA déverse en un flot massif saturant le Web, effaçant la frontière entre information et pollution numérique. Pire, ces productions biaisent l’apprentissage des IA elles-mêmes, menant au Model Collapse : tout comme la désinformation, quid de la qualité du travail de l’IA s’il est nourri de Slop ? Ce sera du Slop à la puissance 2, puis du Slop puissance 4…
Une croissance exponentielle qu’il serait bon d’endiguer au plus vite.
Le chiffre : 99 %
Des chercheurs de l’université de Keele, en Angleterre, ont développé un outil innovant pour détecter la désinformation avec une précision de 99 %.
La sécurité est une décision
Le sommet de Paris au début du mois de février a été heureusement l’occasion de mettre en lumière ces problèmes et dérives, et d’opposer à l’optimisme galopant quant aux progrès de la technologie, un scepticisme fondé sur les erreurs des systèmes d’IA, et les risques idoines.
Que penser en effet d’une IA qui analysant un cadran d’horloge ne saura donner l’heure que dans 24% des réponses ? Cela fait sourire, mais ça n’a rien de drôle.
Imprécision, failles, incertitudes… Les spécialistes s’inquiètent
Critiquant aussi la quête d’une “intelligence artificielle générale”, Michael Jordan, professeur à Berkeley, a dénoncé l’instabilité des modèles qui peuvent présenter des taux d’erreur élevés, jusqu’à 80 % dans certaines applications médicales. Lui plaide pour une IA complémentaire du travail humain, plus que de remplacement par imitation.
De Google Deepmind à IBM en passant par l’université de Stanford, ses pairs ont mis en exergue ces travers, insistant sur la nécessité de mesures statistiques rigoureuses sur le taux d’erreur, le besoin de modèles d’IA explicables, et alertant sur l’excès de confiance accordée.
D’autres ont exposé leur vécu : Ece Kamar (Microsoft Research) a raconté comment un agent IA a pris l’initiative de modifier son propre mot de passe, alimentant la multi-décennale inquiétude de la machine qui prend le pas sur l’homme. De « 2001, l’Odyssée de l’espace » au Skynet de « Terminator », elle a alimenté le cinéma. Tâchons de la cantonner aux écrans.
Compter sur les pouvoirs publics ?
Malgré ces alertes lancées de l’intérieur, il ne faut sans doute pas compter sur les fournisseurs d’IA pour porter le flambeau de la sécurité globale, même si chacun fournit des efforts pour ses propres gains de fiabilité.
C’est en tout cas le choix de la France qui se dote d’un institut d’évaluation et de sécurité des IA, qui disposera d’un budget de 60 M€, financé par le plan France 2030. L’Inesia est appuyé sur différentes administrations (dont l’Inria, l’Anssi, le LNE et le Peren), qui scrutent le sujet depuis plusieurs années déjà. Il fournira des analyses indépendantes dans le cadre de l’application progressive de l’AI Act européen. L’une de ses missions sera d’évaluer notamment les modèles dits « boîte noire » au fonctionnement interne opaque.
Encore un travers typiquement français de vouloir réguler au risque d’étouffer la créativité ?
Non, d’autres pays, comme le Royaume-Uni, ont déjà mis en place des institutions similaires, et les USA eux-mêmes gardent un œil sur la sécurité de l’IA au travers de différentes agences
