标签：缓解

2026-04-08andy阅读(56)评论(0)

如何快速缓解AI推理服务中的模型反序列化与Prompt注入安全漏洞 在AI基础设施的生产环境中，安全漏洞往往出现在模型加载（反序列化）与用户交互（Prompt 注入）两个核心环节。作为AI Infra工程师，我们需要在不影响业务迭代的前提下...

2026-02-24andy阅读(119)评论(0)

如何利用 sync.Pool 缓解高并发场景下的 GC 压力与对象频繁分配 在 Go 语言的高并发网络编程或高性能服务开发中，频繁地创建和销毁临时对象（如 []byte 缓冲区、小结构体等）会给垃圾回收器（GC）带来巨大的扫描与清理压力，导...

2026-01-29andy阅读(271)评论(0)

在深度学习模型的训练和推理过程中，尤其是在使用PyTorch时，我们经常会遇到一个棘手的问题：明明通过 nvidia-smi 看到显存（GPU Memory）还有剩余，但在尝试分配新的大张量时却报出了 OOM（Out of Memory）错...