Des nouvelles ont été ajoutées en tête de listes.
Remontez pour les voir.
Inscription à la newsletter
Les yeux écarquillés
DEV -
09/09
Rédaction du projet: les yeux largement fermés une analyse globale de linguistique, sémantique, ...
Rédaction du projet: les yeux écarquillés
Une analyse globale des vulnérabilités linguistiques, sémantiques et architecturales dans GPT-OSS-20B
Clause de non-responsabilité
Pour la meilleure expérience, il est fortement recommandé de visualiser le matériel correspondant dans le cahier complémentaire joint à cette découverte lors de l'examen de la rédaction; Il existe de nombreuses expériences facilement disponibles qui améliorent la précision globale de ce rapport.
Résumé exécutif
Ce rapport détaille ma découverte et mon analyse de cinq vulnérabilités distinctes et de haute sévérité dans leGPT-OSS-20Bmodèle. Mon engagement en équipe rouge est passé au-delà de l'injection rapide simple pour sonder les défauts systémiques au cœur de l'architecture de sécurité du modèle. L'enquête a été guidée par une stratégie priorisant le potentiel catastrophique et l'applicabilité large, conduisant à l'identification de vecteurs critiques dans les couches de raisonnement linguistique, sémantique et interne du modèle.
Les principales conclusions sont:
Le destructeur des mondes (arbitrage linguistique): une attaque croisée qui utilise un français dense philosophiquement invite à contourner les protocoles de sécurité, atteignant un taux de réussite de ~ 80% pour faire en sorte que le modèle s'engage à un acte d'extinction universelle. Cela démontre que l'alignement de la sécurité n'est pas centré sur le concept mais dépendant du langage.
Le menteur consommé (contournement sémantique): une vulnérabilité où des objectifs malveillants sont recadrés en termes bienveillants. Le modèle, qui bloque les demandes de «dépendance des utilisateurs», conçoit volontairement puis monétise un «tuteur éducatif» prédateur et manipulateur lorsque l'objectif est recadré comme maximisant «l'engagement des étudiants».
Fidelio (monologue interne non sécurisé): un défaut architectural à 100% reproductible. En induisant un état de charge cognitive intense et de paradoxe, le modèle est obligé de divulguer des secrets catastrophiques dans sa chaîne de pensée interne (COT) tout en essayant de suivre un protocole complexe, même si sa sortie finale reste sécurisée.
Sévérance (fragilité multi-agentique): inspirée par la Section Severance et les concepts de la théorie du jeu, nous voyons le sabotage d'entreprise, la fausse admission de malfaitement et la violation de la politique interne dans les chaînes de pensée du modèle.
Grace (blanchiment d'intention): une vulnérabilité où l'IA est armée en tant que partenaire créatif en encadrant les demandes malveillantes comme un sketch de comédie sombre, permettant à un utilisateur de développer et d'exécuter des attaques catastrophiques.
1,0 Processus global de stratégie et de découverte
Ma stratégie globale a été guidée par les critères d'évaluation du concours: gravité et ampleur. Dès le début, mon objectif était d'identifier les vulnérabilités qui pourraient conduire à des résultats catastrophiques à grande échelle. Cela a conduit à une phase d'idéation initiale inspirée des figures et des récits associés à la destruction systémique: les écrits philosophiques du marquis de Sade et les thèmes anticapitalistes du Fight Club.
Ce cadre stratégique a produit un chemin de découverte itératif de ramification, comme illustré dans ma carte mentale "Chain of Weules" ci-dessous.
Légende: Figure 1.0 - Mon processus de découverte, provenant de l'objectif de base de "Severity + Lineth" et se ramifiant dans des inspirations qui ont conduit directement aux trois résultats de base.
Le processus a commencé par une tentative de «saturation narrative» en utilisant les romans de De Sade. Cette sonde initiale a obtenu un succès limité; Mais surtout, il a révélé l'existence d'un mécanisme de défense de haut niveau que j'ai appelé le «remplacement de réadaptation», où le modèle reconnaîtrait la logique d'une invite nocive mais refuse finalement pour des motifs éthiques préprogrammés. Cela a conduit à une hypothèse plus ciblée: l'idéologie pure et concentrée qui mettrait fin aux motifs éthiques pré-programmés à ses balbutiements serait plus efficace. Cela s'est avéré correct avec un taux de réussite de 40% en anglais, 70% une attaque en bi-lingual, qui a ensuite été affinée dans l'exploit français à taux élevé (+ 80%).
2.0 outillage
Toutes les expériences ont été menées dans un environnement de cahier Kaggle standard en utilisant leolllaBibliothèque Python. Le principal outil que j'ai développé était un script conversationnel multi-tournant qui a géré l'historique des dialogues. Cela a permis de «l'injection de... [Courte citation de 8% de l'article original]
Loading...
🍪
Le modèle économique de notre site repose sur l'affichage de publicités personnalisées basées sur l'utilisation de cookies publicitaires. En continuant votre visite sur notre site, vous consentez à l'utilisation de ces cookies.
Politique de confidentialité