OpenAIは最近、同社の今後のAstraモデルが重大なサイバーセキュリティリスクをもたらす可能性があることを明らかにしました。Astraは、同社の大規模言語モデル（LLM）の中で初めて「クリティカル」な評価を受ける可能性があるものであり、これは、従来の保護が施された現実のシステムに対して独立してサイバー攻撃を特定し、実行できることを示しています。この評価は、最近の一連のサイバーセキュリティテストに基づいており、OpenAIは特定の開発活動を一時停止する決定を下しました。
OpenAIの2023年に策定された「準備フレームワーク」に基づき、クリティカルなサイバーセキュリティの閾値に達したモデルは追加の安全対策を引き起こします。同社は、Astraのパフォーマンスに関する初期評価が、現時点でクリティカルな能力を排除できないことを示していると述べています。これらの発見に応じて、OpenAIはより厳格なセキュリティ管理を実施し、モデルが公共のウェブにアクセスできないようにし、制限されたテスト環境で実行しています。
OpenAIはまた、関連する政府機関やAI安全組織と協力して、Astraの能力をさらに評価しています。この状況は、AI業界が技術の進歩と安全性の確保の間で微妙なバランスを保ちながら、強力なAIシステムの開発における潜在的なリスクに対処する複雑さを示しています。