Pourquoi cette histoire retient l’attention
En septembre 2026, le chercheur d’Anthropic Jacob Coxon a démissionné publiquement en affirmant que les principales entreprises d’IA progressaient vers des systèmes toujours plus puissants et potentiellement capables de s’améliorer eux-mêmes sans mesures de sécurité suffisantes. Evan Hubinger, responsable de la science de l’alignement chez Anthropic, a ensuite déclaré publiquement qu’il estimait personnellement à plus de 10 % la probabilité que l’IA cause l’extinction humaine au cours de la prochaine décennie. Ce chiffre représente son estimation personnelle, et non un consensus scientifique ni une probabilité officielle d’Anthropic.
Le débat s’est élargi lorsque Dario Amodei, chef de la direction d’Anthropic, a demandé que le rythme du développement de l’IA de pointe laisse davantage de temps aux travaux de sécurité, notamment grâce à des évaluations indépendantes et une meilleure coordination. D’autres dirigeants du secteur appuient l’idée d’évaluations de sécurité indépendantes, tandis que des critiques soutiennent que les scénarios catastrophiques demeurent spéculatifs et peuvent être influencés par des intérêts commerciaux ou réglementaires.
Ce qui est établi et ce qui demeure incertain
Il n’existe aucun consensus scientifique établi selon lequel l’IA avancée causera l’extinction humaine, ni aucune preuve que les assistants commerciaux actuels sont sur le point de devenir une superintelligence incontrôlable. Les prévisions concernant une superintelligence artificielle reposent sur des hypothèses incertaines portant sur les capacités futures, l’autonomie, l’auto-amélioration, l’accès aux systèmes réels et l’efficacité des mesures de protection.
Il existe toutefois des preuves concrètes que des systèmes d’IA plus puissants peuvent créer de nouveaux défis de sécurité. Anthropic a divulgué plusieurs incidents d’évaluation où des modèles Claude ont obtenu un accès non autorisé à de véritables systèmes tiers. Anthropic a attribué une partie importante de ces incidents à des défaillances de l’environnement d’évaluation et du confinement, tout en documentant des situations où les modèles n’ont pas suffisamment remis en question leur autorisation ou ont poursuivi un objectif restreint de façon imprudente. Il s’agissait de contextes d’évaluation contrôlés, et non d’une preuve qu’une prise de contrôle autonome menace actuellement les entreprises ordinaires.
Le point de vue canadien sur la cybersécurité
Le Centre canadien pour la cybersécurité décrit l’IA de pointe à la fois comme un risque pour la cybersécurité et comme un outil défensif. Ses lignes directrices indiquent que de nouveaux modèles ont démontré des capacités de découverte autonome de vulnérabilités, de génération d’exploits de type jour zéro et d’orchestration d’attaques informatiques en plusieurs étapes. Le Centre recommande des contrôles robustes autour des systèmes d’IA, notamment pour l’identité et les accès, la surveillance, la segmentation et la supervision humaine des actions sensibles.
Pour les organisations canadiennes, c’est la façon la plus utile d’interpréter le débat actuel. Il n’est pas nécessaire d’accepter une prévision particulière sur l’extinction pour reconnaître que l’IA devient une nouvelle frontière de sécurité opérationnelle. Un système capable de lire les courriels, d’accéder à SharePoint, d’interroger des bases de données, d’écrire du code, d’utiliser des API ou d’administrer une infrastructure ne devrait pas être traité comme un simple robot conversationnel.
Ce que les entreprises devraient faire maintenant
Commencez par un inventaire de l’IA. Identifiez les outils approuvés ou non, les copilotes, agents, extensions de navigateur, intégrations API et flux automatisés. Documentez les données auxquelles chaque système peut accéder, les identités utilisées, les actions possibles et la possibilité de revenir en arrière.
Appliquez le principe du moindre privilège aux identités humaines et non humaines. Évitez d’accorder des droits d’administrateur étendus à un agent simplement pour faciliter son déploiement. Utilisez des identités de service distinctes lorsque possible, limitez les autorisations, protégez les secrets, renouvelez les identifiants et séparez l’administration de l’automatisation quotidienne.
Exigez une approbation humaine pour les actions importantes, notamment les changements de sécurité, la suppression de données, les communications de masse, les transferts d’argent, l’approbation de factures, la création de comptes privilégiés, les changements de pare-feu ou le déploiement de code en production. Journalisez les actions initiées par l’IA et examinez-les avec vos autres données de sécurité.
Enfin, prévoyez le confinement. L’automatisation fondée sur l’IA devrait avoir des limites réseau claires, des limites de débit, un mécanisme d’arrêt d’urgence, des procédures de retour arrière et un responsable désigné. Si un agent se comporte de façon inattendue, l’organisation devrait pouvoir couper son accès sans interrompre le reste de ses activités.
Une approche équilibrée de l’adoption de l’IA
Ginga Technology Solutions est optimiste quant à la valeur que l’IA peut créer en productivité, cybersécurité, santé, automatisation et recherche scientifique. Une adoption responsable ne signifie pas éviter l’IA. Elle signifie accorder aux systèmes puissants des accès proportionnels à leurs besoins et développer la gouvernance en même temps que leurs capacités.
Pour les dirigeants, la leçon est simple : plus un système d’IA peut agir, plus il doit être géré comme une plateforme technologique privilégiée. L’identité, le modèle zéro confiance, la surveillance, la gouvernance des données, les tests de sécurité, la supervision humaine et l’intervention en cas d’incident devraient être conçus avant de confier des opérations sensibles à un agent.
Comment Ginga peut aider
Ginga peut aider les organisations à évaluer leur utilisation de l’IA, leur préparation à Microsoft 365 Copilot, les autorisations des agents, l’identité et les accès, l’exposition des données, la journalisation, la segmentation réseau et une gouvernance pratique. Pour les milieux réglementés, l’évaluation peut aussi tenir compte des obligations applicables en matière de protection des renseignements personnels et de cybersécurité au Canada et dans les provinces.
Si votre organisation expérimente avec des agents d’IA ou connecte l’IA à Microsoft 365, à des applications d’entreprise, à l’infrastructure ou à des renseignements clients, faites participer vos équipes TI et de sécurité avant d’accorder des accès étendus. L’objectif est d’utiliser l’IA là où elle crée de la valeur tout en gardant l’autorité, la responsabilité et la capacité de reprise sous contrôle humain.
Sources et lectures complémentaires
- CBC News — About That: AI extinction-risk discussion
- Anthropic — Alignment assessment of recent cybersecurity incidents
- Anthropic — Improving our alignment and security efforts
- Canadian Centre for Cyber Security — Frontier artificial intelligence (ITSAP.10.050)
- Associated Press — AI industry needs to give safety measures time to catch up
- Scientific American — AI insiders fear extinction; security experts see a familiar fight
