标签：指南

2026-04-08andy阅读(240)评论(0)

如何快速缓解AI推理服务中的模型反序列化与Prompt注入安全漏洞 在AI基础设施的生产环境中，安全漏洞往往出现在模型加载（反序列化）与用户交互（Prompt 注入）两个核心环节。作为AI Infra工程师，我们需要在不影响业务迭代的前提下...

2026-03-23andy阅读(280)评论(0)

如何解决车载视觉模型 TensorRT 转换中的算子不支持痛点 在车载 AI 部署领域，将 PyTorch 模型转换为 TensorRT 引擎是提升推理速度的必经之路。然而，由于车载视觉模型常包含一些特殊的采样（如 GridSample）或...

2026-02-26andy阅读(1062)评论(0)

如何在海光 DCU DTK 环境下平滑迁移 ROCm 项目：解决版本冲突的实战指南 海光 DCU（Deep Computing Unit）作为国产 AI 算力的佼佼者，其底层软件栈 DTK（Deep-learning ToolKit）高度兼...

2026-02-11andy阅读(332)评论(0)

混合精度（Mixed Precision）量化是解决端侧AI模型部署中“精度损失”与“推理加速”矛盾的核心策略。当我们对整个模型进行激进的INT8量化时，通常会发现少数几个关键层（如Attention机制中的线性层、Softmax输入层或模...

2026-02-08andy阅读(427)评论(0)

Prometheus 和 Grafana 是云原生监控领域的黄金组合。Prometheus 负责采集和存储时序数据，而 Grafana 则负责数据的可视化。本文将指导您如何在 Kubernetes (K8s) 集群中快速部署这一监控体系，并...

2026-02-08andy阅读(358)评论(0)

Git Submodule是管理跨项目依赖库（例如共享的基础组件、工具链等）的强大工具。它允许一个Git仓库引用另一个特定版本的Git仓库。然而，如果不了解其底层机制，Git子模块也可能成为开发过程中的陷阱。 本文将聚焦于Git子模块的实战...

2026-02-04andy阅读(343)评论(0)

在车载视觉系统中，对推理速度和功耗的要求极为严苛。NVIDIA TensorRT (TRT) 是优化和部署深度学习模型到NVIDIA GPU（如Jetson或Drive系列）的首选工具。然而，在将PyTorch或TensorFlow训练好的...

2026-02-03andy阅读(413)评论(0)

在处理大规模向量数据集时，内存占用往往是制约系统扩展性的瓶颈。Faiss 提供了多种索引结构来优化搜索速度和内存，其中 Scalar Quantizer (SQ) 是一种简单高效的内存优化技术，尤其适用于对精度要求不太严苛的场景。 本文将深...

2026-02-01andy阅读(596)评论(0)

混合精度训练（Mixed Precision Training）是现代深度学习模型训练中常用的优化手段。通过将模型的大部分计算转移到半精度浮点数（FP16）进行，而保持关键部分（如权重更新）使用全精度浮点数（FP32），可以显著提高训练速度...

2026-02-01andy阅读(376)评论(0)

在Python中，当我们使用multiprocessing模块实现并发时，与多线程（threading）不同，子进程拥有独立的内存空间。这意味着父进程中定义的普通变量（如列表、字典、普通对象实例）不会自动且安全地在子进程间共享。如果尝试直接...