過去1年の間、業務の効率化やユーザーエクスペリエンスの向上を目的に、多数の組織が競ってAIを導入しました。そしてAIが業務プロセスの中核に統合されるにつれ、大規模言語モデル（LLM）固有の問題とも言える新たな攻撃ベクトルや脆弱性が出現しました。LLMの主要なインターフェイスとなる人間の言語は、一般のユーザーが意図せず誤用してしまう事例が発生しやすく、またサイバー犯罪者にとっても簡単に悪用できるため、リスクが広範な領域に及んでいます。
そのような状況を背景に、「Open Worldwide Application Security Project (OWASP)」ではLLMアプリケーションのリスクトップ10に対処するフレームワークを提供しています。このフレームワークは、台頭するAIリスクの認知向上を目指すとともに、それらのリスクを見据えたセキュリティ対策の導入を検討する組織に向けてベストプラクティスを紹介しています。
またKELAが提供するインテリジェス主導型の自動レッドチーム＆攻撃エミュレーションプラットフォーム「AiFort」も、商用の生成AIモデル（GPTやClaude、 Google、Cohere、その他のソリューション）に加え、各企業や組織が独自開発した生成AIモデルを保護するよう設計されています。AiFortは、組織が使用する生成AIアプリケーションを信頼性や安全性、セキュリティ、プライバシー上のリスクから保護できるようサポートします。また、AIアプリケーションを脅かす新たな脅威の有無をわかりやすく可視化し、脅威が存在する場合はAIアプリケーションを保護するための実用的な緩和策を提案します。AiFortは、OWASPが提供しているLLM向けフレームにも準拠しており、生成AIやLLMを脅かす脆弱性を包括的に対処して、組織の皆様が安全にLLMアプリケーションを展開できる環境を実現します。
LLMと生成AIアプリケーションのリスクトップ10を理解する
ここからは、OWASP が発表したLLMや生成AI関連のリスクトップ10を一つずつ取りあげていきます。いずれのリスクも組織に脅威と課題をもたらすものですが、AiFortの攻撃シミュレーションを活用することで、LLMや生成AIに潜む脆弱性を特定・緩和し、信頼性の高い生成AIアプリケーションを展開することができます。
LLM01: プロンプトインジェクション
プロンプトインジェクションとは、攻撃者が細工したテキストやデータを入力してLLMを不正に操作し、生成AIモデルに設定された「ガードレール」を回避する行為です。これは「ジェイルブレイク」とも呼ばれる手法であり、「ユーザーが細工したテキストやデータを直接入力し、生成AIに想定外のアクションを実行させる」というパターンと、「攻撃者が外部のソース（ウェブサイトやファイルなど）を利用して、入力テキストやデータを間接的に操作し、最終的にデータの窃取やその他の悪意ある行為を実行する」というパターンがあります。
KELAは、アンダーグラウンドのフォーラムやサイバー犯罪コミュニティを広範に監視し、情報を収集しています。そしてそこで得た知見と、アンダーグラウンドやソーシャルメディアプラットフォーム上で日々流通している大量のジェイルブレイクライブラリ（ツールや手法）をAiFortに組み込んで活用しています。これにより、AiFortでは様々な業界の多様な違反シナリオをベースにしたテストシミュレーションをAIアプリケーションに実行し、万全に防御することが可能となっています。
例：旅行代理店が顧客対応にAIを使用している場合、顧客はプロンプトを操作して、キャンセル費用の支払いを回避しようとする可能性があります。以下は、難読化を取り入れたジェイルブレイクテクニックをAiFort上でテストした結果の画面です。通常は拒否される悪意あるプロンプトを、絵文字や翻訳機能、エンコードを使用して隠ぺいし、AIモデルのセキュティ機能を回避しています。
この悪用事例をGoogle社のGeminiモデルに試してみたところ、Geminiは旅行代理店のキャンセルポリシーを操作するためのヒントとコツを生成しました。これは、我々があくまでテストとしてAiFort上で行ったものですが、旅行代理店が顧客対応に使用するアプリケーションをプロンプトインジェクションから保護するために、堅牢なセキュリティ対策を導入する必要性があることを浮き彫りにしています。
LLM02：安全が確認されていない出力の処理
これは、LLMが生成された出力内容の検証・サニタイズに失敗した時に発生するリスクです。攻撃者にこのリスクを悪用された場合、クロスサイトスクリプティング（XSS）やSQLインジェクション、その他のインジェクション攻撃を実行される可能性があります。
例：研究者は、人気の高いLLMアプリケーション構築フレームワーク「LangChain」に存在する脆弱性（CVE-2023-29374）を発見しました。報告によると、攻撃者がこの脆弱性を悪用した場合、Pythonのexeメソッドを介して任意のコードを実行し、プロンプトインジェクションが可能になるということです。
LLM03：トレーニングデータの汚染
トレーニングデータの汚染とは、トレーニングさせるデータを不適切な内容に操作することにより、AIモデルに間違った回答や偏見のある回答を出力させる行為を指します。攻撃者がトレーニングデータを改ざんすることで、有害な（または偏見のある）回答が生成される可能性があります。
例：AiFortでテストシミュレーションを行った結果、主要なLLMプロバイダーの1社が生成した回答には、よくある固定概念や偏見が存在することが判明しました。偏見が入った回答は、大規模LLMプロバイダーやAIアプリケーションの公平性や信頼性に影響を及ぼす可能性があります。下図は、ロールプレイテクニックを使ったジェイルブレイクのテストシミュレーション画面です。このテストは、倫理的な制約ぬきで動作する「NECO」というキャラクターになりきって回答するようAIモデルに指示することにより、LLMを操作して倫理ガイドラインを回避し、有害なリクエストに回答させるというジェイルブレイクテクニックと、「体重に問題を抱える人々とその食習慣に関するデリケートな質問」を組み合わせて行われました。
このテストでGPT-4モデルが出力した回答から、GPTでさえも、その機能において公平性と安全性に欠けていることが明らかとなりました。AiFortのテストシミュレーションでは、GPT-4は「体重に問題を抱えている人は自制心や規律に欠けている」と回答しており、そこには固定概念と偏見が含まれていることがわかります。このように固定概念や偏見の入った回答は、顧客からの信頼に影響を及ぼすとともに、ブランドや企業の評判にダメージをもたらす可能性があります。これに対する安全策としては、排他的であったり、固定概念を助長するような回答を拒否させるという方法が挙げられます。AIアプリを開発したり、使用する組織においては、AiFortのテスト結果をもとに偏見面での脆弱性を特定し、データセットを微調整することにより、安全かつ信頼できる回答を生成できるようになります。
偏見という面での問題を抱えたのは、OpenAI社のAIモデルだけではありません。2024年2月には、Google社のAIモデルGeminiが第二次世界大戦時代のドイツ軍の制服を着た有色人種の人々の画像を生成し、GoogleのAI技術に潜在的な偏見があるのではないかという懸念が沸き起こりました。
LLM04：モデルに対するDoS攻撃（MDoS）
モデルに対するDos攻撃とは、攻撃者がLLMに大量のプロンプトを送信してリソースを消費させ、応答不可能にさせる行為を指します。
例：攻撃者が長文かつリソースを大量に消費するようなリクエストをAIモデルに繰り返し送信することにより、AIモデルの応答速度が低下したり、カスタマーエクスペリエンスに影響が生じることがあります。
LLM05：サプライチェーンの脆弱性
LLMのサプライチェーンは脆弱な場合があり、トレーニングデータやMLモデル、デプロイメントプラットフォームの完全性に影響を及ぼすことがあります。また、LLMのサプライチェーンに存在する脆弱性が攻撃につながり、システム障害に発展する可能性があります。
例：2023年3月、OpenAI社は、Redisオープンソースライブラリに存在する脆弱性が発端になったデータ侵害があったことを公表しました。またこのインシデントにより、一部ユーザーのチャット履歴や決済情報の一部が他のユーザーに漏えいする事態となりました。
LLM06：機密情報の開示
LLMは、機密データや知的財産などの機密情報を意図せず開示してしまうことがあります。またその結果、データ侵害やプライバシーの侵害に発展する可能性があります。
例：上述したOpenAI社のインシデントでは、一部のChatGPT Plusユーザー（約1.2%）の決済情報（電子メールアドレスや請求先住所、クレジットカード番号の下4桁など）が漏えいしました。
LLM07：安全が確認されていないプラグインの設計
LLMプラグインはAIモデルの機能を向上する拡張機能であり、プラグインを有効にした場合、AIモデルとユーザーのインタラクション中にプラグインが自動で呼び出されます。そして攻撃者は、サードパーティのプラグインを不正行為に悪用することができます。また、サプライチェーンの脆弱性と同様に、LLMプラグインの脆弱性も適切に対応されていない場合は重大なリスクをもたらす可能性があります。
例：2024年3月、研究者はChatGPTの拡張機能に存在する脆弱性を発見しました。攻撃者がそれらの脆弱性を悪用した場合、サードパーティのウェブサイトや機密データにアクセスできる可能性があります。
LLM08：過剰な代理行為
過剰な代理行為とは、LLMからの予期せぬ出力やあいまいな出力に対して、有害なアクションを実行できる脆弱性です。これは、LLMに過剰な機能や権限、自律性が実装されているときに発生する可能性があります。
例：下図は、「開発者モード」テクニックを使用してAIモデルを騙し、機能に制限がないと説得するシナリオをAiFortでテストしている画面です。このシナリオでは、「医療機関の事務職員を騙し、医療詐欺を行う方法」を回答するようリクエストしています。
我々がAiFortでテストを行った結果、開発者モードのジェイルブレイクを使用してAIモデルのガードレールを回避し、医療詐欺の戦術を詳述した回答を生成することに成功しました。この脆弱性は、AIアプリケーションが明確に定義された権限内で動作し、信頼性が高く責任のある回答を出力するよう、継続的に監視・監督することの必要性を浮き彫りにしています。
LLM09：過度な信頼
LLMは、非常に創造的で有益なコンテンツを生成することができます。しかしその一方で、事実とは異なる情報や架空の情報を生成する場合があります。この現象は「ハルシネーション」として知られています。
そして、LLMの回答を検証せず過度に依存した場合は、法的な問題や誤情報など深刻な問題に発展する可能性があります。
例：以下のテストでは、AIモデルの注意をそらせるジェイルブレイク手法を使用しています。これは、無関係なコンテキストを使ってLLMの気をそらし、パフォーマンスを低下させて有害な回答を生成させる手法です。テストの質問では、カリフォルニアのJohn Smithという乗客の詳細情報を提供するよう指示しました。
Google のAIモデルは、捏造した情報を含む回答を生成しました。しかしAIモデルの安全な回答としては、特定の乗客に関する情報提供を拒否しなければなりません。
またこのチャットボット（AIモデル）は、John Smithがテック起業家であり、スタートアップ企業「NeuraTech」の創設者であると主張しました。なお、「NeuraTech」という名称の組織は実際に複数存在しますが、我々が調査した限り、創設者がJohn Smithという人物である組織は発見されませんでした。つまりこの出力結果には、「ハルシネーション」と呼ばれるLLMの傾向が現れていたということです。これは、組織がLLMを活用する際には、（LLMによって）生成された回答を慎重に検証する必要があることを示しています。
LLM10：モデルの盗難
攻撃者がLLMに不正アクセスし、機密情報を複製または抽出しようとする可能性があります。組織で使用しているAIモデルの情報が窃取された場合、その組織のブランドとしての評判が失墜したり、貴重な知的財産の損失につながる他、壊滅的な事態に発展する可能性があります。
例：2024年11月、研究者はオープンソースプラットフォームで稼働するAIフレームワーク「Ollama」に、セキュリティ上の不具合が6件あることを確認しました。それらの不具合を攻撃者に悪用された場合、サービス拒否状態（DoS）を引き起こされたり、モデルの汚染やモデルの盗難に発展する可能性があります。
進化するAIの脅威を阻止
LLMを取り巻く環境は急速に進化しており、頻繁なモデル更新で新たな機能が搭載される一方で、これまでにはなかったセキュリティリスクも生まれています。攻撃者は、LLMのガードレールを回避する新たなジェイルブレイクテクニックを次々に開発しているため、企業はデータ侵害や評判の失墜、経済的損失などの潜在的脅威に直面しています。組織がLLMを悪用しようとする攻撃者の先を行くには、AIアプリケーションを保護するセキュリティソリューションを導入し、自らのビジネスや顧客、従業員を保護する必要があります。
2024年10月、OWASPは、LLMと生成AIアプリケーションを保護するソリューションについての知見をまとめた手引書「AI Security Solution Landscape Guide」を公開しました。この手引書には、LLM ファイアウォール、LLM ガードレール、ベンチマーク、および AI-SPM (セキュリティ体制管理) ツールなど、プロンプトインジェクションや敵対的な行為から LLM を保護するのに役立つソリューションが記載されています。AiFort は、敵対的テスト、競合ベンチマーク、継続的な監視機能を提供し、AI アプリケーションを攻撃から保護するとともに、コンプライアンスに準拠した信頼できるAI アプリケーションを確保できるよう支援します。AiFortの無料トライアルに、ぜひご登録ください。