Sécuriser les compétences en IA

DEV - 26/01
Si vous donnez à un système d’IA la capacité d’agir, vous lui exposez des risques. Dans des articles précédents, j'ai expliqué comment...

Si vous donnez à un système d’IA la capacité d’agir, vous lui exposez des risques. Dans des articles précédents, j'ai expliqué comment sécuriser les serveurs MCP et les systèmes d'IA agentique. Cet article se concentre sur une couche plus étroite mais plus dangereuse : les compétences en IA. Ce sont les outils qui permettent aux modèles de toucher le monde réel. Une fois qu'un modèle peut appeler une API, exécuter du code ou déplacer des données, il cesse d'être un simple moteur de raisonnement. Il devient opérateur. C’est là que se produisent la plupart des failles de sécurité.

Terminologie

En IA générative, les « compétences » décrivent les interfaces qui permettent à un modèle d'effectuer des actions en dehors de son propre contexte. Différents fournisseurs utilisent des noms différents :

  • Outils : appels de fonctions et interactions basées sur MCP
  • Plugins : extensions Web utilisées par les chatbots
  • Actions : actions OpenAI GPT et groupes d'action AWS Bedrock
  • Agents : systèmes qui raisonnent et s'exécutent en plusieurs étapes

Un LLM de base prédit le texte ; Une compétence lui donne des mains. Les compétences sont des interfaces prédéfinies qui exposent du code, des API ou des flux de travail. Lorsqu'une figurine décide que le texte seul ne suffit pas, elle déclenche une compétence. Anthropic traite les compétences comme des ensembles d'instructions et de scripts chargés au moment de ...
[Courte citation de 8% de l'article original]

Loading...