汤不热吧Contents
简介：为什么传统威胁模型在AI领域失效？
随着AI模型大规模投入生产环境，针对AI基础设施的攻击面急剧扩大。传统的威胁建模方法，例如STRIDE（Spoofing, Tampering, Repudiation, Information Disclosure, Denial of Service, Elevation of Privilege），虽然在传统软件系统（如Web服务或数据库）中非常有效，但往往无法捕捉到机器学习系统特有的攻击模式，例如数据投毒（Data Poisoning）、对抗性攻击（Adversarial Attacks）或模型提取（Model Extraction）。
MITRE ATLAS（Adversarial Threat Landscape for Artificial-Intelligence Systems）正是为解决这一痛点而设计的。ATLAS提供了一个结构化的知识库，将AI系统中的攻击行为归类为具体的战术（Tactics）和技术（Techniques），这使得安全工程师能够系统化地识别、分析和缓解AI应用特有的风险。
本文将指导您如何利用ATLAS框架，为您的生产级AI应用构建一个实操性强、易于维护的安全威胁模型。
步骤一：识别AI系统的关键组件与信任边界
AI应用通常包含以下四个核心阶段，它们也是我们定义信任边界和攻击面的基础：
- 数据流水线 (Data Pipeline/Storage): 涉及数据采集、清洗、标注和存储。
- 模型训练环境 (Training Environment): 涉及模型选择、超参数调整和实际训练过程。
- 模型制品 (Model Artifact): 训练完成的模型文件（如ONNX, PyTorch State Dict, TensorFlow SavedModel）。
- 推理服务 (Inference Service/API): 负责接收用户请求并返回预测结果的部署终端。
步骤二：ATLAS映射与威胁识别（实操核心）
针对每个关键组件，我们需要参考ATLAS知识库，找出可能发生的威胁技术。ATLAS的技术编号（T-ID）提供了精确的定义。我们将以一个常见的图像分类服务为例，进行威胁映射。
以下是针对核心组件的一些典型ATLAS技术映射：
| 组件 | ATLAS 战术 (Tactics) | ATLAS 技术 (Techniques) | 威胁描述 |
|---|---|---|---|
| 数据流水线 | 影响模型完整性 | T1609: 数据投毒 (Data Poisoning) | 攻击者在训练数据中注入恶意样本，导致模型在特定输入下失效。 |
| 模型训练环境 | 发现 ML 模型 | T1603: 窃取模型参数/权重 | 攻击者利用训练环境的漏洞，直接窃取模型的高价值知识产权。 |
| 推理服务 | 规避 ML 模型 | T1610: 对抗性样本生成 (Adversarial Examples) | 攻击者通过微小扰动误导模型，绕过检测或实现错误分类。 |
| 推理服务 | 发现 ML 模型 | T1602: 模型提取/重建 (Model Extraction/Reconstruction) | 攻击者通过大量的API查询，重建出目标模型的近似副本，窃取知识产权。 |
步骤三：构建结构化的威胁模型
为了使威胁模型易于管理和自动化，我们应该使用结构化的格式（如JSON或Python字典）来记录威胁、受影响的组件、对应的ATLAS ID以及建议的缓解措施。这对于后续集成到MLSecOps流程至关重要。
以下是使用Python代码构建的威胁模型结构示例：
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
import json
# 定义AI应用威胁模型的结构
ml_threat_model = {
"application_name": "Production_Image_Classifier_v2.1",
"components": [
{
"component_name": "Data_Pipeline",
"boundary": "Training Data Storage",
"threats": [
{
"atlas_id": "T1609",
"technique": "Data Poisoning",
"impact_level": "High",
"mitigation_strategy": "启用数据验证和异常检测服务，对标注过程进行严格审计。"
}
]
},
{
"component_name": "Inference_API",
"boundary": "Public HTTP Endpoint",
"threats": [
{
"atlas_id": "T1610",
"technique": "Adversarial Example Generation",
"impact_level": "High",
"mitigation_strategy": "部署输入净化器（Input Sanitization），使用对抗性训练增强模型的鲁棒性。"
},
{
"atlas_id": "T1602",
"technique": "Model Extraction",
"impact_level": "Medium",
"mitigation_strategy": "实施API限速（Rate Limiting）和输出置信度截断（Confidence Thresholding）。"
}
]
}
]
}
# 打印JSON格式的威胁模型，便于存储和版本控制
print(json.dumps(ml_threat_model, indent=4))
运行示例输出 (截取部分):
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
"application_name": "Production_Image_Classifier_v2.1",
"components": [
{
"component_name": "Data_Pipeline",
"boundary": "Training Data Storage",
"threats": [
{
"atlas_id": "T1609",
"technique": "Data Poisoning",
"impact_level": "High",
"mitigation_strategy": "启用数据验证和异常检测服务，对标注过程进行严格审计。"
}
]
},
...
{
"component_name": "Inference_API",
...
"threats": [
{
"atlas_id": "T1610",
"technique": "Adversarial Example Generation",
"impact_level": "High",
"mitigation_strategy": "部署输入净化器（Input Sanitization），使用对抗性训练增强模型的鲁棒性。"
},
...
]
}
]
}
步骤四：将威胁模型转化为安全控制
构建威胁模型的最终目标是定义可实施的安全控制措施。例如，针对T1610（对抗性样本），您不能仅仅依靠传统的WAF（Web Application Firewall），而是必须在AI Infra层面采取行动：
- 鲁棒性验证： 在CI/CD流程中引入对抗性攻击模拟测试。
- 部署级防御： 在模型推理前，集成像差分隐私或输入压缩等技术，降低对抗性扰动的影响。
通过将ATLAS的T-ID作为安全需求的唯一标识符，您可以确保安全团队和ML工程团队之间的沟通高效且聚焦于AI系统特有的风险。