Table of Contents
Les agents IA révolutionnent la productivité des organisations, mais ils deviennent aussi une nouvelle porte d’entrée pour les attaquants. Mal configurés, insuffisamment testés ou tout simplement mal compris, ces outils peuvent exposer vos données sensibles et compromettre l’ensemble de votre système d’information.
Dans ce replay du webinaire, découvrez:
- Les principales menaces pour les applications IA / LLM.
- Des démonstrations d’attaques sur des agents d’IA.
- Les bonnes pratiques pour vous protéger face à ces nouvelles menaces.
- La checklist de Sécurité IA / LLM de Yogosha, pour tester vos systèmes et vos agents IA.
Et si vous souhaitez télécharger la présentation powerpoint, la voici.
Synthèse du webinaire
Les principales menaces pour les applications IA/LLM
Dans ce webinaire, Pedro Paniago, chercheur en sécurité de renommée mondiale a souligné 10 vulnérabilités majeures, basées sur le standard OWASP Top 10 pour les applications LLM.
Démonstration d’attaques sur les agents d’IA
Par la suite, il montre spécifiquement à travers plusieurs démo comment il a procédé a plusieurs attaques sur des commerces et banques :
- Stored XSS Déclenché par un Prompt Injection.
- Manipulation des taux d’intérêt via Prompt injection.
- Exposition Excessive D’information sensible dans la réponse HTTP.
- Exfiltration de données privées via prompt injection entraînant au full RAG data exfiltration.
- Exfiltration des informations confidentielles due à une excessive agency entraînant des IDORs de commandes dans un chatbot.
Avec ces attaques il aurait pu:
- Executer du code JavaScript des sessions clients.
- Obtenir des informations confidentielles de l’entreprise du type mot de passe, fiche salaire des employés.
- Manipuler des taux d’intérêt et engendrer des pertes financières pour la banque.
Comment protéger votre organisation ?
Pour faire face à ces menaces, Pedro Paniago a partagé plusieurs pratiques importantes à mettre en place sur vos bots, app et agents IA et LLM :
- Limiter l’accès des agents à vos outils : Appliquez le principe du moindre privilège en accordant à vos agents IA uniquement les accès et autorisations strictement nécessaires pour accomplir leurs tâches.
- Mettre en place un renforcement du prompt système : Utilisez un prompt système solide et bien cadenassé pour prévenir les injections et les manipulations. Un bon prompt engineering est crucial pour limiter la surface d’attaque, notamment via l’isolation du prompt, l’alignement des rôles, la détection de mots-clés, et la définition de l’output.
- Appliquer un Rate Limiting : Limitez la fréquence des requêtes vers les agents IA pour réduire les risques d’abus, éviter les attaques par brute-force et atténuer la nature non-déterministe des LLM.
- Limiter la taille des prompts : Un prompt trop long peut perturber le modèle et lui faire oublier les instructions initiales. Imposez une limite stricte à la taille des prompts, tant côté front-end que back-end, pour empêcher les manipulations complexes.
- Nettoyer les données avant l’indexation : Avant d’indexer des données dans un système de RAG, assurez-vous de supprimer toutes les informations sensibles, privées ou confidentielles, pour éviter qu’elles ne soient exfiltrées.
- Appliquer des contrôles entrée/sortie : Utilisez des outils de “guardrails” comme NeMo Guardrails, LLM Guard ou Guardrails AI pour surveiller et filtrer en temps réel les prompts et les réponses.
La Checklist de Sécurité IA / LLM de Yogosha
Enfin, ce webinaire termine avec Justine, Head of Product chez Yogosha, qui montre très rapidement La checklist de Sécurité IA / LLM de Yogosha, pour tester la sécurité de vos systèmes et agents IA en profondeur avec des experts de notre communauté comme Pedro.
A propos de Yogosha
Yogosha est éditeur d’une Plateforme de Sécurité Offensive conçue pour industrialiser et piloter en continu toutes vos opérations de sécurité offensive, comme les pentests et les bug bounty.
