汤不热吧
如何对LLM生态系统中的第三方插件和工具进行安全审计？
随着大模型（LLM）能力的日益增强，LLM插件、工具（Tools）或函数调用（Function Calling）机制已成为扩展模型功能、连接外部世界的关键基础设施。然而，每一次引入第三方插件，都意味着攻击面的扩大。本文将提供一套实操性极强的...
标签：llm
第2页如何利用vLLM或FasterTransformer加速LLM的低延迟推理部署？
引言：为什么传统部署方法无法应对LLM的流量高峰？ 大型语言模型（LLM）的部署面临两大核心挑战：低延迟（用户响应时间）和高吞吐量（每秒处理的总请求数）。传统的推理框架，如基于标准的Hugging Face Transformers，在处理...
怎样使用AdvBench或HELM工具量化评估您的LLM安全水平？
引言：生产级LLM部署中的安全挑战 在将大型语言模型（LLM）投入生产环境时，模型的性能指标（如准确率、推理速度）固然重要，但模型的安全对齐性（Safety Alignment）往往决定了部署的成败。评估LLM是否会生成有毒内容、是否带有系...
如何利用数字水印技术来追踪LLM生成内容的来源与滥用？
在大型语言模型（LLM）日益普及的今天，内容溯源和知识产权保护成为了AI基础设施面临的关键挑战。当模型生成的内容被用于恶意用途（如假信息传播）或未经授权的商业活动时，我们急需一种可靠的技术手段来追踪内容的来源。 数字水印技术，尤其是基于Lo...
怎样在LLM推理阶段通过事实核查API降低幻觉风险？
引言：为什么需要推理阶段的事实核查？ 大型语言模型（LLM）在生成流畅且语义连贯的文本方面表现出色，但其核心缺陷在于缺乏对事实的绝对保证。这种现象被称为“幻觉”（Hallucination）。在企业级应用，尤其是在金融、医疗或新闻摘要等对准...
怎样利用Moderation API或自建分类器过滤LLM的毒性输出？
如何利用分级审核策略高效过滤LLM的毒性输出？ 随着大型语言模型（LLM）在生产环境中的广泛应用，确保模型输出的安全性和合规性成为了AI基础设施中的核心挑战。用户可能通过提示注入（Prompt Injection）诱导模型生成仇恨言论、暴力...
如何构建针对提示注入攻击的实时监控与告警仪表板？
在大型语言模型（LLM）的部署中，提示注入（Prompt Injection）是一种严重的安全威胁。它允许攻击者通过恶意输入劫持模型的行为，可能导致数据泄露、权限提升或服务滥用。为了应对这一挑战，我们需要一个实时、可靠的监控系统来快速识别和...
如何评估您的LLM应用对各种经典越狱策略（如DAN）的抵抗力？
引言：为什么必须测试越狱抵抗力 在将大型语言模型（LLM）投入生产环境时，模型的安全性是AI基础设施工程师必须解决的首要问题。即使是经过严格对齐（Alignment）训练的模型，也可能被特定的输入序列（即“越狱”或“Jailbreak”）绕...
怎样利用LLM的上下文学习机制进行有针对性的数据提取？
引言：为什么ICL是数据提取的利器？ 在大规模语言模型（LLM）的部署场景中，一项常见的任务是从非结构化文本（如邮件、合同、日志）中提取特定的、结构化的信息（如姓名、金额、日期）。传统的做法是依赖正则表达式或训练特定的命名实体识别（NER）...
怎样通过“间接注入”劫持基于RAG系统的LLM代理？
概述：RAG与间接注入的威胁 随着大语言模型（LLM）代理的兴起，将模型的能力与外部知识库相结合（即检索增强生成，RAG）已成为主流的部署范式。RAG系统极大地增强了LLM的时效性和专业性，但同时也引入了一个新的安全漏洞：间接注入（Indi...