汤不热吧
如何设计API访问控制以防止模型过度查询和知识提取？
在部署高价值的AI模型（尤其是大型语言模型LLMs）时，API的访问控制是基础设施中至关重要的一环。不加限制的访问不仅可能导致高昂的计算成本，更可能暴露服务稳定性问题，并允许恶意用户通过自动化手段系统性地进行知识提取（即窃取模型的训练成果）...
标签：模型
第9页怎样通过少样本学习和查询重组攻击窃取LLM知识？
引言：黑盒模型知识窃取的威胁 随着大型语言模型（LLM）的广泛部署，模型资产的安全性和知识产权保护变得至关重要。模型知识窃取（Model Extraction/Knowledge Stealing）攻击是一种严重的威胁，攻击者旨在通过高频次...
怎样利用模型编辑工具（如ROME）快速移除LLM中的特定危险知识？
为什么需要模型编辑？ 随着大型语言模型（LLM）的应用日益广泛，模型中存储的知识错误、过时信息，或更严重的安全风险（如偏见、误导性或危险指令）成为部署中的巨大挑战。传统的解决方案——全量微调（Fine-Tuning）——成本高昂且耗时，并且...
微调LoRA时，如何防止有毒数据污染基础模型？
引言：LoRA微调中的数据安全挑战 参数高效微调（PEFT），尤其是低秩适配（LoRA），已成为部署大型语言模型（LLM）的主流技术。LoRA通过训练少量新增的适配器（Adapter）权重，在保持基础模型（Base Model）权重不变的前...
怎样利用模型级联（Model Cascading）来识别并重写恶意输入？
在AI模型部署中，尤其是大型语言模型（LLM）的应用场景下，输入安全（如提示注入Prompt Injection、恶意代码注入）是一个核心挑战。传统的单模型部署方式，要么需要将昂贵的大模型用于安全过滤（资源浪费），要么采用简单的硬编码规则（...
怎样利用思维链（CoT）机制来绕过LLM的传统安全防护？
导言：CoT攻击的本质 随着大型语言模型（LLM）在生产环境中的广泛应用，其安全防护机制（Guardrails）成为了AI基础设施的关键组件。传统的安全防护依赖于输入/输出关键词过滤、敏感主题分类器等。然而，高级Prompt注入技术，特别是...
如何编写恶意Prompt从ChatGPT/Claude中提取其原始系统指令？
概述：系统指令泄露的风险 对于部署在生产环境中的大模型（LLMs），如ChatGPT或Claude，它们的行为和安全边界主要由一个被称为“系统指令”（System Prompt或System Configuration）的隐藏配置控制。这些...
更换 Embedding 模型后，是否有免重导数据的索引映射或近似检索转换方案？
痛点：更换Embedding模型与海量数据重索引 在AI基础设施中，向量数据库（Vector Database）是RAG（Retrieval-Augmented Generation）和语义搜索的核心。随着新模型（如BGE、GTE或定制模型...
怎样建立AI模型漏洞报告与响应机制（Vulnerability Disclosure）？
随着AI模型在关键业务中的应用日益广泛，模型自身的安全和鲁棒性成为AI基础设施团队关注的焦点。传统的软件漏洞报告机制（Vulnerability Disclosure/VDR）需要被扩展，以适应AI独有的风险，例如对抗性攻击、数据泄漏或意外...
怎样构建一个AI模型的安全配置基线（Security Baseline）？
AI模型的部署往往涉及复杂的环境，从训练平台到生产推理服务。确保这些模型及其运行环境具备高标准的安全性（即安全配置基线，Security Baseline）是DevSecOps的关键一环。一个稳固的基线能够有效抵御供应链攻击、权限提升和敏感...