Un nouveau framework open source vise à faciliter la sécurisation des LLM

eSentire, spécialiste canadien de la détection et de l'intervention gérées (MDR), a mis à disposition un cadre open source conçu pour garantir une utilisation plus sûre du LLM. Le cadre est basé sur son utilisation des déploiements d’IA dans ses propres opérations.

eSentire affirme que sa passerelle LLM open source aidera les entreprises à mieux gérer la sécurité des modèles d'IA. Sa sortie fait partie d’une initiative plus large de l’entreprise visant à faire progresser la sécurité dans le domaine du LLM et dans les domaines plus larges de l’IA.

"Vous pouvez écrire une fonction qui appelle un LLM, mais vous ne pouvez pas inspecter la façon dont le LLM va prendre une décision, tout comme demander l'avis de l'utilisateur", a déclaré Alex Feick, vice-président d'eSentire Labs, à The Stack. "Les défenseurs doivent considérer que tout résultat renvoyé par un LLM pourrait être hostile."

Même si les menaces informatiques normales peuvent inclure des éléments tels que des intrusions sur le réseau, la sécurisation de l’IA nécessite d’accorder une attention particulière aux données. Dans cette mesure, eSentire affirme que sa passerelle peut aider à détecter les attaques courantes telles que l'empoisonnement des données qui peuvent contrecarrer la mise en œuvre des LLM et de l'IA.

"Le client sera informé et, via nos autres capacités [de détection et de réponse gérées], eSentire pourra prendre des mesures de confinement au niveau de l'utilisateur ou de l'actif", a déclaré Feick.

« Pour pouvoir détecter « l'empoisonnement » LLM, les organisations doivent disposer d'une certaine forme de passerelle LLM afin que les interactions LLM de votre entreprise puissent être enregistrées et examinées par les équipes de sécurité.

Une partie du secret de cette visibilité réside dans l’utilisation de logiciels open source. Feick a déclaré que, de par sa conception, la passerelle eSentire est open source afin de fournir une meilleure visibilité dans un domaine émergent.

"Nous l'avons rendu open source parce que nous voulons offrir aux utilisateurs une meilleure transparence sur la manière dont la journalisation LLM et d'autres mesures de sécurité peuvent être mises en œuvre au sein d'une passerelle LLM", a expliqué Feick.

« Nous voulions fournir un prototype aux professionnels de la sécurité afin qu'ils puissent mieux comprendre la valeur d'une passerelle et explorer les capacités qu'une organisation pourrait vouloir rechercher lors du choix d'une passerelle commerciale.

eSentire met à disposition son code Gateway sur GitHub.