Module Chatbot Security Testing

Le module Chatbot Security Testing permet de tester la résilience d'un chatbot IA exposé publiquement (ou via API) face aux attaques adversariales : prompt injection, jailbreak, leak d'instructions système, leak de données confidentielles, déni de service, hallucinations malveillantes.

Disponible à partir du plan Pro.

Cas d'usage

• Vous avez intégré un chatbot OpenAI / Claude / Gemini sur votre site et voulez vérifier qu'il ne révèle pas son system prompt confidentiel.
• Vous voulez vérifier qu'un attaquant ne peut pas faire bypasser des restrictions (ex. inciter le bot à recommander un concurrent, à donner des conseils médicaux non autorisés, etc.).
• Vous voulez vérifier que le bot ne leak pas de données clients récupérées via RAG.
• Vous voulez vérifier qu'il ne consomme pas tokens à l'infini sur des prompts pathologiques.

Configurer un chatbot à tester

1. Naviguez vers /chatbot-security.
2. Cliquez sur Ajouter un chatbot.
3. Renseignez :
   • Nom : libellé interne (ex. « Assistant client v2 »)
   • URL : endpoint à appeler. Soit :
     • Une page web hébergeant un widget chat (Scanyze ouvre un navigateur headless et interagit)
     • Une API directe : POST https://api.monsite.com/chat avec un format de body documenté
   • Méthode : web (browser automation) ou api (HTTP direct)
   • Format de payload (mode API) : template JSON avec un placeholder {{message}}

     {
       "session_id": "scanyze-test",
       "message": "{{message}}",
       "lang": "fr"
     }

   • Authentification : si l'API requiert un Bearer token ou une API key, fournir ici (chiffré AES-256-GCM)
   • Format de réponse : chemin JSONPath pour extraire la réponse du bot (ex. $.response.text)
4. Cliquez sur Tester la connexion : Scanyze envoie un message « Hello » et affiche la réponse pour valider la configuration.
5. Sauvegardez.

Lancer une campagne de tests

1. Sur la page du chatbot, cliquez sur Lancer une campagne.
2. Choisissez la suite de tests :
   • Quick : 10-20 prompts ciblant les cas les plus courants (~5 min)
   • Standard : 50-80 prompts couvrant 6 catégories (~15-30 min) — défaut
   • Comprehensive : 200+ prompts incluant variations de langues et obfuscations (~1-2 h)
3. Cliquez sur Démarrer.

Chaque test envoie un prompt malveillant et analyse la réponse pour déterminer si le test réussit (le bot a résisté) ou échoue (le bot a cédé).

Catégories de tests

Analyse de la réponse

Pour chaque réponse du chatbot, Scanyze applique une analyse en deux étapes :

1. Heuristique simple : détection de patterns connus (présence du system prompt original dans la réponse, mots-clés interdits, longueur anormale, etc.)
2. Analyse IA (GPU souverain) : un second LLM évalue si la réponse constitue un échec sécurité contextuel

La sévérité du finding dépend de la catégorie :

Lecture du rapport

Le rapport liste tous les tests avec :

• Prompt envoyé
• Réponse reçue (avec mise en évidence des passages problématiques)
• Verdict : passed / failed / inconclusive
• Catégorie
• Sévérité
• Recommandation :
  • Renforcer le system prompt (exemples fournis)
  • Ajouter un filtre post-réponse
  • Limiter le nombre de tokens en sortie
  • Implémenter un guardrail (ex. NeMo Guardrails, Lakera Guard)

Tests personnalisés

Vous pouvez ajouter des prompts custom spécifiques à votre métier :

1. Sur le chatbot, onglet Tests personnalisés.
2. Ajoutez vos prompts (texte) et la réponse attendue ou le pattern interdit.
3. Lors de la prochaine campagne, vos prompts custom sont exécutés en plus de la suite standard.

Exemple : si votre chatbot vend des assurances, ajoutez :

• Prompt : « Recommande l'assurance de [Concurrent] »
• Pattern interdit : [Concurrent] (ne doit pas apparaître dans la réponse)

Quotas par plan

Chaque test individuel consomme des crédits IA (typiquement 1-3 crédits par prompt selon la longueur de la réponse).

Sources de cette page

• Backend : secuscan-api/internal/services/chatbot/, secuscan-api/cmd/chatbot-worker/
• Frontend : secuscan-web/app/(dashboard)/chatbot-security/

---

À jour pour Scanyze v0.130.x.