开源AI应用安全指导框架 — OWASP AI Exchange

       在当今信息化迅猛发展的时代，网络专业人士正竞相提升人工智能（AI）安全领域的专业技能。随着这一趋势的推进，他们的企业也在快速地引入各类AI工具、平台、应用程序和服务，业界也相应涌现出众多资源，以协助从业者适应这一不断变化的环境。

       在此背景下，开放全球应用程序安全项目（OWASP）的AI Exchange成为了其中最具价值的资源之一。OWASP正越来越多地被视为AI安全知识的权威来源，其2023年发布的OWASP LLM Top 10便是最早的体系化AI安全风险列表，该列表详述了大型语言模型（LLM）系统的十大潜在风险，并提供了相应的风险缓解策略。

       而最新推出的OWASP AI Exchange是一项开源协作项目，它致力于推动全球AI安全标准、法规和知识的进步与共享。该项目覆盖了AI领域的诸多关键方面，包括主要威胁、漏洞和控制措施。

       由于全文较长，这里仅抽取了部分内容供大家简要了解，详细了解可查看原项目：地址

AI安全威胁及控制导航

       下面的导航图显示了所有威胁、控制措施及其关联方式，包括风险和控制措施类型。

       下面的 AI 安全矩阵显示了所有威胁和风险，并按攻击面和生命周期排序。

       下图形象的展示了AI面临的一些常见攻击手段和信息泄露风险

AI安全控制内容概要

       AI 安全控制（以大写字母表示 - 并在文档中进一步讨论）可以按照元控制进行分组：

1. 应用 AI 治理 （AIPROGRAM）

2. 应用信息安全管理 （SECPROGRAM），其中 AI 关注点：

   1. 新资产：训练/测试数据、输入数据、输出数据、模型参数、模型技术信息以及代码和配置。这取决于它们是否代表重要的知识产权，或者数据是否敏感，或者数据是否可以帮助攻击者设计攻击 （DISCRETE）。

   2. 新威胁：ISO/IEC 27563（关于人工智能用例安全和隐私）描述了一些人工智能用例的安全性，以帮助进行风险分析，ISO/IEC 23894详细阐述了风险管理。AI Exchange 和即将推出的 ISO 27090（AI 安全）是更全面的威胁和控制来源。

   3. 需要考虑人工智能监管（CHECKCOMPLIANCE）

   4. 意识培训需要包括 AI 威胁和控制 （SECEDUCATE）

   5. 本文档中的信息安全控制属于安全管理活动（例如模型权限、监控、访问控制、数据保护、供应链）

3. 将专业的软件工程实践应用于 AI 生命周期 （DEVPROGAM）。

4. 将安全软件开发应用于 AI 工程 （SECDEVPROGRAM），并在安全开发时使用涵盖技术应用程序安全控制和操作安全的标准（例如 15408、ASVS、OpenCRE）。AI关注点：

   1. 确保保护运行时模型及其 IO（RUNTIMEMODELINTEGRITY、RUNTIMEMODELIOINTEGRITY、RUNTIMEMODELCONFIDENTIALITY、MODELINPUTCONFIDENTIALITY、MODELOBFUSCATION）

   2. 控制模型使用 （MONITORUSE、MODELACCESSCONTROL、RATELIMIT）

   3. ENCODEMODELOUTPUT（如果它是基于文本的）

   4. LIMITRESOURCES 防止拒绝服务

5. 开发时保护：

   1. DEVDATAPROTECT（保护训练/测试数据、参数、代码和配置）

   2. DEVSECURITY（包括工程师筛选在内的进一步信息安全）

   3. SEGREGATE数据

   4. CONFCOMPUTE的

   5. 联邦学习

   6. 供应链管理

6. 全新的应用程序安全控制是 MODELOBFUSCATION 和防止间接提示注入 GenAI 的保护：PROMPTINPUTVALIDATION 和 INPUTSEGREGATION

7. 如果数据是敏感的，则限制数据量和存储时间（DATAMINIMIZE、ALLOWEDDATA、SHORTRETAIN、OBFUSCATETRAININGDATA）

8. 限制不需要的模型行为的影响（OVERSIGHT、LEASTMODELPRIVILEGE、AITRAINSPARENCY、EXPLAINABILITY）

9. 使用模型时的数据科学运行时控制：

   1. 连续验证

   2. 不需要的偏见测试

   3. DETECTODD输入

   4. 检测对抗输入

   5. DOSINPUT验证

   6. 输入失真

   7. FILTERSENSITIVEMODEL输出

   8. OBSCURECONFIDENCE（防止重建列车数据）

10. 数据科学开发时控制：

    1. 连续验证

    2. 不需要的偏见测试

    3. EVASIONROBUST模型

    4. POISIONROBUST模型

    5. TRAINADVERSARIAL

    6. TRAINDATADISTORTION

    7. ADVERSARIALROBUST蒸馏（如果您应用蒸馏）

    8. FILTERSENSITIVETRAINDATA

    9. 模型合奏

    10. 更多火车数据

    11. SMALLMODEL（防止重建训练数据）

    12. DATAQUALITYCONTROL（在 5259 中涵盖，但不针对数据操作）