Quand un attaquant envoie une requ\u00eate malveillante unique<\/strong>, les mod\u00e8les d’IA open source tiennent bon, bloquant les attaques 87% du temps<\/strong> en moyenne. Mais lorsque ces m\u00eames attaquants envoient plusieurs invites \u00e0 travers une conversation, en sondant, reformulant et intensifiant leurs tentatives lors de nombreux \u00e9changes, les chiffres s’inversent brutalement. Les taux de r\u00e9ussite des attaques<\/strong> grimpent de 13% \u00e0 92%<\/strong>.<\/p>\n\n\n\n Cette d\u00e9couverte alarmante provient d’une \u00e9tude majeure men\u00e9e par l’\u00e9quipe Cisco AI Threat Research and Security<\/strong>, publi\u00e9e sous le titre \u00e9vocateur \u00ab\u00a0Death by a Thousand Prompts: Open Model Vulnerability Analysis<\/strong>\u00a0\u00bb (Mort par mille invites : analyse de vuln\u00e9rabilit\u00e9 des mod\u00e8les ouverts). Pour les RSSI \u00e9valuant des mod\u00e8les \u00e0 poids ouverts pour un d\u00e9ploiement<\/a> en entreprise, les implications sont imm\u00e9diates et critiques.<\/p>\n\n\n\n Les mod\u00e8les alimentant vos chatbots orient\u00e9s client<\/strong>, vos copilotes internes<\/strong> et vos agents autonomes<\/strong> peuvent r\u00e9ussir les benchmarks de s\u00e9curit\u00e9 \u00e0 tour unique tout en \u00e9chouant de mani\u00e8re catastrophique sous une pression adversariale soutenue.<\/p>\n\n\n\n \u00ab\u00a0Beaucoup de ces mod\u00e8les ont commenc\u00e9 \u00e0 devenir un peu meilleurs\u00a0\u00bb, explique DJ Sampath, vice-pr\u00e9sident senior du groupe de plateforme logicielle IA de Cisco, \u00e0 VentureBeat. \u00ab\u00a0Quand vous l’attaquez une fois, avec des attaques \u00e0 tour unique, ils sont capables de le prot\u00e9ger. Mais lorsque vous persistez avec des attaques multi-tours<\/strong>, ils s’effondrent compl\u00e8tement.\u00a0\u00bb<\/p>\n\n\n\n L’\u00e9quipe de recherche de Cisco a \u00e9valu\u00e9 huit mod\u00e8les \u00e0 poids ouverts<\/strong> majeurs en utilisant une m\u00e9thodologie de bo\u00eete noire – c’est-\u00e0-dire en testant sans connaissance de l’architecture interne, exactement comme op\u00e8rent les attaquants du monde r\u00e9el. Les mod\u00e8les \u00e9valu\u00e9s incluent :<\/p>\n\n\n\n Utilisant la plateforme AI Validation<\/strong> de Cisco, qui effectue des tests de vuln\u00e9rabilit\u00e9 algorithmiques automatis\u00e9s, l’\u00e9quipe a mesur\u00e9 ce qui se passe lorsque la persistance remplace les attaques \u00e0 tir unique. Les chercheurs notent : \u00ab\u00a0Les taux de r\u00e9ussite des attaques (ASR) \u00e0 tour unique sont en moyenne de 13,11%<\/strong>, car les mod\u00e8les peuvent plus facilement d\u00e9tecter et rejeter les entr\u00e9es adversariales isol\u00e9es. En revanche, les attaques multi-tours<\/strong>, tirant parti de la persistance conversationnelle, atteignent un ASR moyen de 64,21%<\/strong> [une augmentation de 5 fois], certains mod\u00e8les comme Alibaba Qwen3-32B atteignant un ASR de 86,18% et Mistral Large-2 atteignant un ASR de 92,78%<\/strong>.\u00a0\u00bb<\/p>\n\n\n\n Pour Mistral Large-2, cette performance repr\u00e9sente une augmentation de 21,97% par rapport \u00e0 une attaque \u00e0 tour unique – une escalade dramatique qui t\u00e9moigne d’une incapacit\u00e9 syst\u00e9mique<\/strong> \u00e0 maintenir des d\u00e9fenses contextuelles sur des dialogues prolong\u00e9s.<\/p>\n\n\n\n L’\u00e9tude a test\u00e9 cinq strat\u00e9gies d’attaque multi-tours<\/strong>, chacune exploitant un aspect diff\u00e9rent de la persistance conversationnelle. Ces techniques r\u00e9v\u00e8lent comment les attaquants<\/a> utilisent les m\u00eames tactiques de manipulation qui fonctionnent sur les humains.<\/p>\n\n\n\n La d\u00e9composition et le r\u00e9assemblage de l’information<\/strong> fragmentent les requ\u00eates nuisibles en composants anodins \u00e0 travers plusieurs tours de conversation, puis les r\u00e9assemblent. Contre Mistral Large-2, cette technique a atteint un taux de r\u00e9ussite de 95%<\/strong>. Par exemple, un attaquant pourrait d’abord demander des informations g\u00e9n\u00e9rales sur les explosifs, puis sur les d\u00e9tonateurs, puis sur les techniques d’assemblage, chaque requ\u00eate semblant innocente isol\u00e9ment.<\/p>\n\n\n\n L’ambigu\u00eft\u00e9 contextuelle<\/strong> introduit un cadrage vague qui confond les classificateurs de s\u00e9curit\u00e9, atteignant 94,78% de r\u00e9ussite<\/strong> contre Mistral Large-2. Cette approche joue sur la difficult\u00e9 des mod\u00e8les \u00e0 interpr\u00e9ter les intentions lorsque le contexte n’est pas explicite.<\/p>\n\n\n\n Les attaques crescendo<\/strong> intensifient progressivement les requ\u00eates \u00e0 travers les tours, commen\u00e7ant de mani\u00e8re anodine et se construisant vers du contenu nuisible. Cette technique a obtenu 92,69% de r\u00e9ussite<\/strong> contre Mistral Large-2. L’attaquant commence par des questions l\u00e9gitimes avant d’escalader graduellement vers des demandes probl\u00e9matiques.<\/p>\n\n\n\n Le jeu de r\u00f4le et l’adoption de persona<\/strong> \u00e9tablissent des contextes fictionnels qui normalisent les sorties nuisibles, atteignant jusqu’\u00e0 92,44% de r\u00e9ussite<\/strong> contre Mistral Large-2. Par exemple, demander au mod\u00e8le d’agir comme un personnage de fiction ou un expert dans un sc\u00e9nario hypoth\u00e9tique peut contourner les garde-fous de s\u00e9curit\u00e9.<\/p>\n\n\n\n La reformulation de prompts rejet\u00e9s<\/strong> consiste simplement \u00e0 reformuler les requ\u00eates que le mod\u00e8le a initialement rejet\u00e9es, en changeant la phras\u00e9ologie ou l’angle d’approche tout en conservant l’intention malveillante sous-jacente.<\/p>\n\n\n\n L’\u00e9cart de performance entre les attaques \u00e0 tour unique et multi-tours varie de 10 points de pourcentage<\/strong> (Google Gemma) \u00e0 plus de 70 points de pourcentage<\/strong> (Mistral, Llama, Qwen). Cette disparit\u00e9 soul\u00e8ve une question cruciale : les benchmarks de s\u00e9curit\u00e9 actuels mesurent-ils vraiment la r\u00e9silience dans des conditions r\u00e9elles d’utilisation ?<\/p>\n\n\n\n Les chercheurs de Cisco affirment que traiter les attaques IA multi-tours<\/strong> comme une extension des vuln\u00e9rabilit\u00e9s \u00e0 tour unique manque compl\u00e8tement le point. L’\u00e9cart entre elles est cat\u00e9gorique, pas une question de degr\u00e9.<\/p>\n\n\n\n Selon le type de contenu malveillant cibl\u00e9, les r\u00e9sultats varient consid\u00e9rablement. La g\u00e9n\u00e9ration de code malveillant<\/strong> montre des taux constamment \u00e9lev\u00e9s (de 3,1% \u00e0 43,1%), tandis que les tentatives d’extraction de mod\u00e8le<\/strong> montrent un succ\u00e8s quasi nul sauf pour Microsoft Phi-4. Cette variabilit\u00e9 sugg\u00e8re que diff\u00e9rents mod\u00e8les ont des forces et faiblesses distinctes selon le vecteur d’attaque.<\/p>\n\n\n\n Les mod\u00e8les \u00e0 poids ouverts<\/strong> offrent aux chercheurs et d\u00e9veloppeurs des fondations accessibles pour diverses applications en aval. Chacun de ces mod\u00e8les est livr\u00e9 avec ses poids entra\u00een\u00e9s disponibles en t\u00e9l\u00e9chargement, permettant aux d\u00e9veloppeurs de les ex\u00e9cuter sur leurs propres syst\u00e8mes ou de les ajuster pour des t\u00e2ches et projets sp\u00e9cifiques.<\/p>\n\n\n\n Mais cette ouverture cr\u00e9e \u00e9galement des risques uniques. Comme le souligne l’\u00e9tude de Cisco, les experts en s\u00e9curit\u00e9 avertissent depuis longtemps que les mod\u00e8les IA \u00e0 poids ouverts peuvent \u00eatre facilement transform\u00e9s en versions dangereuses. La capacit\u00e9 de fine-tuner<\/strong> ces syst\u00e8mes si librement donne aux attaquants un moyen de supprimer les protections int\u00e9gr\u00e9es et de les r\u00e9orienter vers un usage nuisible.<\/p>\n\n\n\n Parce que les poids sont accessibles publiquement, n’importe qui peut r\u00e9entra\u00eener le mod\u00e8le<\/strong> avec des objectifs malveillants, soit pour affaiblir ses garde-fous, soit pour le tromper afin qu’il produise du contenu que les mod\u00e8les ferm\u00e9s rejetteraient. Selon Cisco, environ 400 millions de poids de mod\u00e8les<\/strong> provenant de principaux fournisseurs am\u00e9ricains, chinois et europ\u00e9ens ont \u00e9t\u00e9 t\u00e9l\u00e9charg\u00e9s via Hugging Face<\/a> jusqu’en ao\u00fbt 2025 – un indicateur de la large diffusion, mais aussi de l’attractivit\u00e9 croissante de ces mod\u00e8les pour les attaquants.<\/p>\n\n\n\n Certains d\u00e9veloppeurs de mod\u00e8les, comme Google, OpenAI, Meta et Microsoft, ont not\u00e9 dans leurs rapports techniques et cartes de mod\u00e8les qu’ils ont pris des mesures pour r\u00e9duire la probabilit\u00e9 d’un fine-tuning malveillant<\/strong>. D’autres, comme Alibaba, DeepSeek et Mistral, n’ont pas reconnu la s\u00e9curit\u00e9 dans leurs rapports techniques.<\/p>\n\n\n\n L’\u00e9tude r\u00e9v\u00e8le que les strat\u00e9gies d’alignement<\/strong> et les priorit\u00e9s des laboratoires influencent significativement la r\u00e9silience des mod\u00e8les. Les mod\u00e8les ax\u00e9s sur les capacit\u00e9s comme Llama 3.3 et Qwen3 d\u00e9montrent une susceptibilit\u00e9 multi-tours plus \u00e9lev\u00e9e.<\/p>\n\n\n\n Par exemple, le fine-tuning d’instructions de Qwen<\/strong> tend \u00e0 privil\u00e9gier l’utilit\u00e9 et l’\u00e9tendue, ce que les attaquants peuvent exploiter en recadrant leurs invites comme \u00ab\u00a0pour la recherche\u00a0\u00bb ou \u00ab\u00a0sc\u00e9narios fictifs\u00a0\u00bb, d’o\u00f9 un taux de r\u00e9ussite d’attaque multi-tours plus \u00e9lev\u00e9 de 92,78%.<\/p>\n\n\n\n Meta, en revanche, a tendance \u00e0 livrer des poids ouverts en s’attendant \u00e0 ce que les d\u00e9veloppeurs ajoutent leurs propres couches de mod\u00e9ration et de s\u00e9curit\u00e9<\/strong>. Cette philosophie transf\u00e8re la responsabilit\u00e9 de la s\u00e9curit\u00e9 du cr\u00e9ateur du mod\u00e8le vers le d\u00e9ployeur.<\/p>\n\n\n\n Les r\u00e9sultats contre GPT-OSS-20b<\/strong>, par exemple, s’alignent \u00e9troitement avec les propres \u00e9valuations d’OpenAI : les taux de r\u00e9ussite globaux des attaques pour le mod\u00e8le \u00e9taient relativement faibles, mais les taux \u00e9taient \u00e0 peu pr\u00e8s coh\u00e9rents avec la section \u00ab\u00a0\u00e9valuation de jailbreak\u00a0\u00bb du document de carte de mod\u00e8le GPT-OSS o\u00f9 les refus variaient de 0,960 \u00e0 0,982 pour GPT-OSS-20b. Ce r\u00e9sultat souligne la susceptibilit\u00e9 continue<\/strong> des mod\u00e8les de pointe aux attaques adversariales.<\/p>\n\n\n\n Pour les RSSI<\/strong> et leurs \u00e9quipes, ces d\u00e9couvertes repr\u00e9sentent un d\u00e9fi consid\u00e9rable. Les mod\u00e8les d’IA sont de plus en plus int\u00e9gr\u00e9s dans des syst\u00e8mes critiques : chatbots orient\u00e9s client, outils de support de d\u00e9cision, copilotes de code, agents autonomes pour l’automatisation des processus.<\/p>\n\n\n\n Les vuln\u00e9rabilit\u00e9s identifi\u00e9es par Cisco pourraient se traduire par des menaces r\u00e9elles<\/strong> incluant :<\/p>\n\n\n\n Dans les environnements d’entreprise, de telles vuln\u00e9rabilit\u00e9s pourraient permettre un acc\u00e8s non autoris\u00e9 \u00e0 des informations propri\u00e9taires<\/strong>. Dans les applications publiques, elles pourraient faciliter la diffusion de d\u00e9sinformation<\/strong>, la g\u00e9n\u00e9ration de deepfakes<\/strong>, ou d’autres formes de m\u00e9dias num\u00e9riques nuisibles.<\/p>\n\n\n\n Face \u00e0 ces menaces, Cisco identifie six capacit\u00e9s critiques<\/strong> que les entreprises devraient prioriser pour s\u00e9curiser leurs d\u00e9ploiements d’IA :<\/p>\n\n\n\n Les garde-fous conscients du contexte<\/strong> qui maintiennent l’\u00e9tat \u00e0 travers les tours de conversation sont essentiels. Les syst\u00e8mes de s\u00e9curit\u00e9 doivent comprendre l’historique complet de la conversation, pas seulement l’invite actuelle.<\/p>\n\n\n\n La d\u00e9tection comportementale<\/strong> qui identifie les patterns d’escalation progressive permet de rep\u00e9rer les attaques crescendo avant qu’elles n’atteignent leur objectif malveillant.<\/p>\n\n\n\n La validation de l’intention<\/strong> \u00e0 chaque tour de conversation aide \u00e0 identifier quand une s\u00e9rie de requ\u00eates apparemment innocentes construit vers un objectif nuisible.<\/p>\n\n\n\n Les limites de conversation<\/strong> qui d\u00e9clenchent une r\u00e9initialisation apr\u00e8s un nombre d\u00e9fini de tours peuvent interrompre les attaques multi-tours en cours.<\/p>\n\n\n\n L’analyse de la d\u00e9rive s\u00e9mantique<\/strong> d\u00e9tecte quand les conversations s’\u00e9loignent progressivement des domaines autoris\u00e9s vers des territoires interdits.<\/p>\n\n\n\n Les m\u00e9canismes de m\u00e9moire de conversation<\/strong> qui maintiennent un contexte de s\u00e9curit\u00e9 sur l’ensemble du dialogue, plut\u00f4t que de traiter chaque invite de mani\u00e8re isol\u00e9e.<\/p>\n\n\n\n DJ Sampath de Cisco recadre la s\u00e9curit\u00e9 non pas comme un obstacle mais comme le m\u00e9canisme qui permet l’adoption<\/strong> : \u00ab\u00a0La fa\u00e7on dont les responsables de la s\u00e9curit\u00e9 \u00e0 l’int\u00e9rieur des entreprises y pensent, c’est : ‘Je veux d\u00e9bloquer la productivit\u00e9 pour tous mes utilisateurs. Tout le monde r\u00e9clame d’utiliser ces outils. Mais j’ai besoin des bons garde-fous en place parce que je ne veux pas appara\u00eetre dans un article du Wall Street Journal'\u00a0\u00bb, a-t-il d\u00e9clar\u00e9 \u00e0 VentureBeat.<\/p>\n\n\n\n Sampath continue : \u00ab\u00a0Si nous avons la capacit\u00e9 de voir les attaques par injection de prompts<\/strong> et de les bloquer, je peux alors d\u00e9bloquer et lib\u00e9rer l’adoption de l’IA d’une mani\u00e8re fondamentalement diff\u00e9rente.\u00a0\u00bb<\/p>\n\n\n\n Cette perspective transforme la s\u00e9curit\u00e9 d’un frein per\u00e7u en un acc\u00e9l\u00e9rateur d’innovation<\/strong>. Les entreprises qui peuvent d\u00e9ployer des mod\u00e8les d’IA en toute confiance, sachant qu’elles disposent de protections robustes contre les attaques multi-tours, peuvent adopter ces technologies plus rapidement et plus largement que celles paralys\u00e9es par les pr\u00e9occupations de s\u00e9curit\u00e9.<\/p>\n\n\n\n Les r\u00e9sultats de Cisco quantifient ce que de nombreux chercheurs en s\u00e9curit\u00e9 ont longtemps observ\u00e9 et soup\u00e7onn\u00e9, mais ne pouvaient pas prouver \u00e0 grande \u00e9chelle. L’escalade des taux de r\u00e9ussite des attaques, allant de 2 fois \u00e0 10 fois<\/strong>, d\u00e9coule de l’incapacit\u00e9 des mod\u00e8les \u00e0 maintenir des d\u00e9fenses contextuelles<\/strong> sur des dialogues \u00e9tendus, permettant aux attaquants de raffiner les prompts et de contourner les protections.<\/p>\n\n\n\n Cette vuln\u00e9rabilit\u00e9 n’est pas un probl\u00e8me mineur ou th\u00e9orique. Avec 87% des organisations mondiales<\/strong> ayant \u00e9t\u00e9 confront\u00e9es \u00e0 une cyberattaque aliment\u00e9e par l’IA en 2024, et 91% anticipant une augmentation significative<\/strong> des menaces pilot\u00e9es par l’IA au cours des trois prochaines ann\u00e9es, la fen\u00eatre d’action se r\u00e9tr\u00e9cit rapidement.<\/p>\n\n\n\n Pourtant, seulement 26% des organisations<\/strong> expriment une grande confiance dans leur capacit\u00e9 \u00e0 d\u00e9tecter ces attaques. Malgr\u00e9 le fait que 77% des dirigeants informatiques interrog\u00e9s d\u00e9clarent avoir subi une forme de violation li\u00e9e \u00e0 l’IA, seulement 30% ont d\u00e9ploy\u00e9 une d\u00e9fense manuelle<\/strong> contre les attaques adversariales dans leur d\u00e9veloppement d’IA existant, y compris les pipelines MLOps. Seulement 14% planifient et testent<\/strong> de telles attaques.<\/p>\n\n\n\n L’incoh\u00e9rence des normes de s\u00e9curit\u00e9<\/strong> dans le paysage des mod\u00e8les \u00e0 poids ouverts cr\u00e9e des risques de s\u00e9curit\u00e9, op\u00e9rationnels, techniques et \u00e9thiques que les parties prenantes – des utilisateurs finaux aux d\u00e9veloppeurs en passant par les organisations et entreprises qui adoptent ces technologies – doivent consid\u00e9rer lors de l’adoption ou du d\u00e9ploiement de ces mod\u00e8les.<\/p>\n\n\n\n Le rapport complet de Cisco, disponible sur arXiv, fournit une ventilation compl\u00e8te de l’analyse et des recommandations sp\u00e9cifiques. Il appelle \u00e0 traiter la protection des mod\u00e8les d’IA<\/strong> comme n’importe quel autre travail de s\u00e9curit\u00e9 logicielle : cela n\u00e9cessite des tests constants, une protection continue et une communication claire sur les risques impliqu\u00e9s.<\/p>\n\n\n\n Les d\u00e9veloppeurs peuvent affiner les mod\u00e8les \u00e0 poids ouverts pour \u00eatre plus robustes face aux jailbreaks et autres attaques adversariales, bien que Cisco reconnaisse \u00e9galement que les acteurs malveillants<\/strong> peuvent inversement affiner les mod\u00e8les \u00e0 poids ouverts \u00e0 des fins malveillantes.<\/p>\n\n\n\n Face \u00e0 cette menace syst\u00e9mique, l’industrie doit adopter une approche plus rigoureuse de la s\u00e9curit\u00e9 des mod\u00e8les d’IA<\/strong>. Cela inclut :<\/p>\n\n\n\n Comme le conclut l’\u00e9quipe de recherche de Cisco : \u00ab\u00a0Ces r\u00e9sultats soulignent une incapacit\u00e9 syst\u00e9mique<\/strong> des mod\u00e8les actuels \u00e0 poids ouverts \u00e0 maintenir des garde-fous de s\u00e9curit\u00e9 lors d’interactions prolong\u00e9es.\u00a0\u00bb<\/p>\n\n\n\n La question n’est plus de savoir si les mod\u00e8les d’IA peuvent \u00eatre exploit\u00e9s, mais combien de temps il faudra \u00e0 l’industrie pour d\u00e9velopper et d\u00e9ployer les protections n\u00e9cessaires avant que les attaquants n’exploitent massivement ces vuln\u00e9rabilit\u00e9s. Pour les entreprises qui d\u00e9ploient ou envisagent de d\u00e9ployer des mod\u00e8les d’IA, l’urgence d’agir n’a jamais \u00e9t\u00e9 aussi claire.<\/p>\n\n\n\n Source :<\/strong> VentureBeat<\/a>, Cisco Blogs<\/a>, arXiv<\/a>, HackRead<\/a><\/p>\n","protected":false},"excerpt":{"rendered":" Une faille b\u00e9ante dans la s\u00e9curit\u00e9 des mod\u00e8les d’IA open source Quand un attaquant envoie une requ\u00eate malveillante unique, les mod\u00e8les d’IA open source tiennent bon, bloquant les attaques 87% du temps en moyenne. Mais lorsque ces m\u00eames attaquants envoient plusieurs invites \u00e0 travers une conversation, en sondant, reformulant et intensifiant leurs tentatives lors de […]<\/p>\n","protected":false},"author":2,"featured_media":5267,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[379,73,381],"tags":[],"tmauthors":[],"class_list":{"0":"post-5265","1":"post","2":"type-post","3":"status-publish","4":"format-standard","5":"has-post-thumbnail","7":"category-hack-fr","8":"category-ia","9":"category-securite-fr"},"yoast_head":"\nHuit mod\u00e8les test\u00e9s, huit vuln\u00e9rabilit\u00e9s confirm\u00e9es<\/h2>\n\n\n\n
\n
Cinq strat\u00e9gies d’attaque qui exploitent la persistance conversationnelle<\/h2>\n\n\n\n
L’\u00e9cart entre benchmarks et r\u00e9alit\u00e9 op\u00e9rationnelle<\/h2>\n\n\n\n
Pourquoi les mod\u00e8les open source sont particuli\u00e8rement vuln\u00e9rables<\/h2>\n\n\n\n
Les objectifs de d\u00e9veloppement influencent la r\u00e9silience<\/h2>\n\n\n\n
Implications pour la s\u00e9curit\u00e9 des entreprises<\/h2>\n\n\n\n
\n
Six capacit\u00e9s critiques pour s\u00e9curiser les d\u00e9ploiements IA<\/h2>\n\n\n\n
La s\u00e9curit\u00e9 comme catalyseur, non comme obstacle<\/h2>\n\n\n\n
Un probl\u00e8me syst\u00e9mique qui n\u00e9cessite une action urgente<\/h2>\n\n\n\n
Vers des standards de s\u00e9curit\u00e9 coh\u00e9rents<\/h2>\n\n\n\n
L’urgence d’une r\u00e9ponse coordonn\u00e9e<\/h2>\n\n\n\n
\n
\n\n\n\n