「Claude Mythos」プレビュー版による AI コードセキュリティ : 「プロジェクト・グラスウィング」に向けた Tenable による 500 時間以上のテストの内幕

Tenable では「Project Glasswing」向けに、Anthropic 社の「Claude Mythos Preview」のテストに 500 時間以上と 400 億トークンを費やしました。結論から言えば、フロンティア AI だけでコードセキュリティプログラムを運用することはできませんが、適切に活用すれば、より強化できます。

Anthropic 社が「Claude Mythos Preview」を発表して以来、セキュリティコミュニティでは、興奮、不安、そして健全な懐疑心が等しく渦巻いています。

Tenable のセキュリティアナリスト、エンジニア、研究者による 500 時間を大幅に超える厳格なテストを経て、Claude Mythos 5 のテストも進める中、その評価結果をお伝えします (Claude Mythos 5 については今後詳しくご紹介します)。

Tenable が「Mythos Preview」を 1 か月にわたり実地で検証して得た知見と、それが貴社のセキュリティ態勢にどのような意味を持つのかをご紹介します。今回の主な調査結果: 適切に活用されれば、フロンティア AI は現代のコードセキュリティプログラムにおいて確固たる地位を築くことができます。これだけではプログラムを単独で実行することはできませんが、適切なハーネスと専門家による監督を組み合わせることで、すでに充実したプログラムをさらに著しく強化することができます。

Tenableが「Claude Mythos Preview」をどのようにテストしているか

当社では、Tenable のどの製品においても「Claude Mythos Preview」を使用していないことを明確にしておくことが重要です。この制限は、Project Glasswing のすべての参加者に同様に適用されます。本モデルは研究目的での評価は可能ですが、商用製品への組み込みはできません。

Claude Mythos Previewのソースコードスキャン、エクスプロイト作成、バイナリのリバースエンジニアリング、脅威モデル作成、および動的テストの各機能について評価を行いました。 Tenable は、このテストのために経験豊富なセキュリティエンジニアのチームを専任で配置したほか、ホワイトボックス方式のソースコード解析や、専用に構築されたテストハーネス (多段階のタスクにおいてモデルを制約し、調整するためのプロンプトやツールのセット) も活用しました。

「Claude Mythos Preview」を評価する前に、独自のテストハーネスを構築しました。当社のテストの結果、真の威力はモデル単体からではなく、モデルと専用に設計されたハーネス、豊富なコンテキスト、そして専門家による人的監督の組み合わせから生まれることが明らかになりました。 

MythosとフロンティアAIが、SAST、DAST、SCAとどのように位置づけられるか

Claude Mythos Preview のようなフロンティアモデルが、自社のソフトウェアセキュリティ体制においてどのような位置づけにあるかを理解するには、Mythos を、静的アプリケーションセキュリティテスト (SAST)、動的アプリケーションセキュリティテスト (DAST)、ソフトウェア構成分析 (SCA) など、既存の決定論的ツールのスタックと直接比較してみるとよいでしょう。 

決定論的ツールは、ハードコードされたルールに基づいており、どのような入力に対してもまったく同じ出力を生成します。 フロンティア AI モデルや生成 AI システムといった非決定論的なツールは、統計的な確率を用いて結果を予測します。したがって、非決定論的システムでは、同一の入力に対して異なる結果が得られることがあります。

つまり、 従来型の決定論的なコードセキュリティツールは、依然として、効果的で監査やコンプライアンス対応が可能なプログラムの中核をなしています。 「Claude Mythos Preview」のようなフロンティア AI モデルは、人間が引き続き検出結果を検証する、創造的でばらつきを許容する層において、さらなる機能を提供します。 つまり、これはセキュリティ対策の全体をより効果的にする可能性がある、強力な新たな武器となるのです。

表 1: 従来のセキュリティスキャンツールと Claude Mythos Preview 

作業内容に応じたツールの選択：監査には決定論、探索にはフロンティア AI

「Claude Mythos Preview」を含むフロンティア AI のモデルは、基本的に非決定論的です。 全く同じターゲットを全く同じモデルに異なる日に通した場合、モデルは異なる結果を返します。

Tenable によるテストでは、まったく同じプロンプトを使用しているにもかかわらず、Mythos が異なる問題数 や 深刻度ランクを出力することが確認されました。そのばらつきは、専門家が出力を専門家がレビューする創造的かつ探索的な作業においては資産となりますが、一貫性があり、再現性が高く、監査対応可能なセキュリティやコンプライアンスプログラムの基盤としては不適切です。 こうした理由から、決定論的ツールは依然として中核的な役割を果たしていますが、AI に適応し、それを有意義な形で統合していく必要があります。

この適応にはコストが伴います。フロンティアモデルをセキュリティプログラムに組み込む前に、そのモデルがどこで、どのようにその地位を確立するかを決定づける 3 つの制約があります。

1. コスト - デプロイ先を慎重に検討して初めて、コスト面で見合うようになります。このモデルを継続的なスキャンツールとして運用するために必要なトークンのコストは、現実的ではないほど高額になるでしょう。当社の試算によると、フルタイム従業員 (FTE) 1 人あたりの 1 か月間のトークン使用コストを約 41,700 ドルと仮定した場合、年間コストは FTE 1 人あたり 50 万ドルに達する可能性があります。
2. ノイズ - Tenable によるテストでは、モデルの出力（検出結果）にはノイズが多く、徹底的な検証が必要でした。したがって、したがって、ソースコードのスキャンに「Claude Mythos Preview」を使用する場合は、このモデルが導き出した高品質な検出結果を、既存の静的解析やゲートワークフローに組み込むことが望ましいでしょう。 モデルと連動する検証パイプラインがなければ、ノイズに埋もれてしまうことになるでしょう。 
3. 結果 - 「Claude Mythos Preview」は、入力が同じ場合でも異なる出力を生成しました。このようなモデルの不整合な挙動は、大規模環境で予測可能な動作が求められるパイプラインの機能を損ないます。さらに、コンプライアンス要件では、再現性があり、正当性を立証できる証拠が求められています。 実行のたびに異なる結果を出すモデルでは、監査には対応できません。

フロンティアAIにおけるコードセキュリティの真のコストは、トークンだけにとどまらない

フロンティア AI をコードセキュリティツールとして利用する場合の総所有コスト (TCO) を算出する際、多くの組織は API やトークンのコストのみに注目してしまうという誤りを犯しがちです。 

トークンコストは急速にかさむ可能性がありますが、それでも TCO を算出する上での要素の 1 つに過ぎません。フロンティアモデルはノイズの多い検出結果を大量に生成するため、TCO モデルには、検出結果の検証にかかるコストを含める必要があります。これには、手動による検証を行うために必要な経験豊富なセキュリティエンジニアの人件費も含まれます。

TCOという理由から、フロンティアAIは、日常的なセキュリティスキャンエンジンというよりは、特定の目的を念頭に置いた高付加価値のレイヤーとして最も効果を発揮するのです。 あらゆる対象に対して継続的に実行していると、コストはあっという間に法外な額になってしまいます。 当社のセキュリティアナリストの 1 人が、1 か月にわたる徹底的なテストで 100 億以上のトークンを使用し、その費用は 41,700 ドルに上りました。これを 12 か月分掛け合わせると、その 1 人だけで年間約 50 万ドルのランレートになります。

フロンティア AI は、ソースコードの欠陥の本質を変えるのではなく、その発見の規模を変える

一部の組織は、「Mythos レベル」と呼ばれる新たな種類のバグの発生に備えています。Mythos での経験から言えば、その心配は的外れです。このモデルは、論理の欠陥やメモリ破損など、ペネトレーションテスターが発見するのと同じ種類のソースコードの欠陥を検出します。ただ、検出する欠陥の数がはるかに多く、検出速度も格段に速いだけでなく、適切な指示があれば、エクスプロイトを作成することも可能です。 Claude Mythos は、新たな種類の脆弱性を発見したわけではありません。検出結果のスピードと件数を飛躍的に向上させたのです。

「潜在的な検出結果」は「検証済みのサイバーエクスポージャー」とは異なるものであることを念頭に置いておくことが重要です。 この検出結果は、潜在的な問題を示唆しています。 AI は膨大な量の検出結果を抽出しますが、実際に真のサイバーエクスポージャーをもたらす検出結果を検証・修正するには、ソースコード内の潜在的な脆弱性（到達可能性、悪用可能性、既存の制御設定による軽減度）に関する理解が必要です。

AI を活用した脆弱性発見が進む中、コンテキストの把握、トリアージ、検証、優先順位付けといった作業の重要性が格段に高まっています。既存のツールですでに検出されているもの、他者から報告されたもの、実際には到達できないものを差し引くと、対応すべき項目のリストは短くなります。現時点での制約となっているのは、問題の発見ではなく、検証と修正を行う能力です。

ソースコードへのアクセスは、防御側に大きな優位性をもたらす

コードセキュリティにおけるフロンティアモデルの圧倒的な威力は、「ホワイトボックス」ソースコード解析に支えられています。ソースコードへのアクセス権は、社内のセキュリティチームに、攻撃者に対して究極の非対称的な優位性をもたらします。 社内の防御担当者の自動化パイプラインを大幅に強化する、ソースコードに対する深い可視性こそが、外部のブラックボックス型攻撃者に欠けているものなのです。 

したがって、ソースコードリポジトリの保護は、かつてないほど重要になっています。 攻撃者がソースコードにアクセスできるようになると、高度に最適化された独自の AI 探索エンジンを稼働させるための「鍵」を渡してしまうことになります。

結論: フロンティア AI により、防御側の優位性は「欠陥の発見」から「重要性の実証」へ

Tenableによるテストの結果、Claude Mythos Previewは高性能なペネトレーションテストツールとして機能することが確認されました。 

専用に設計されたハーネスと、人間のディフェンダーだけが持つ 2 つの要素――ソースコードへのアクセス権と、検出結果をリアルタイムで検証する能力――を組み合わせることで、「Claude Mythos Preview」は強力な成果をもたらすことができます。適切な仕組みと、それを運用する専門家を備えれば、それは真の戦力増強につながる存在となります。一方、Mythos をそのまま放置して稼働させると、出力結果にはノイズが多くなり、多くの検出結果が検証段階にすら到達しない傾向があります。いずれにせよ、フロンティア AI は、その労力を「発見」から「検証」「優先順位付け」「修正」へとシフトさせます。

当社は、Mythos 5 をはじめとするフロンティア AI モデルについて、顧客にとって最も有益な活用分野を見極めるべく、引き続き評価を進めており、今後のブログ記事を通じて、その評価結果について随時お伝えしていく予定です。 

もっと詳しく

• Tenableが「Claude Mythos」プレビュー版を導入してからの最初の30日間
• Claude Mythos Preview とは?
• Claude Mythos: Anthropic 社の最新モデルに関する取締役会からのサイバーセキュリティの質問への備え
• Tenable が Anthropic の Project Glasswing に参加し、AI 時代におけるサイバー防御の強化を推進