andy的文章

2026-02-11andy阅读(41)评论(0)

为什么 Faiss 会 OOM 或崩溃？ 在生产环境中处理数千万乃至数十亿的向量时，Faiss 索引的内存消耗是一个核心挑战。导致服务器 OOM (Out of Memory) 或索引崩溃的主要原因通常有两个： 索引结构选择不当 (Inde...

2026-02-11andy阅读(47)评论(0)

在日常的软件开发和维护中，我们经常需要回溯历史，找出某个特定的代码片段（比如一个配置项、一个常量名或者一段关键的注释）是什么时候被引入、被谁引入的。虽然 git grep 可以找到当前代码中的位置，但它无法穿透历史。 Git 提供了一个非常...

2026-02-11andy阅读(43)评论(0)

模型压缩是AI模型在端侧部署和加速推理的关键步骤。在众多压缩技术中，结构化剪枝（尤其是通道剪枝）因其能直接减少参数数量和计算量（FLOPs），成为实现模型体积减半的有效手段。本文将聚焦于如何结合L1稀疏化训练和通道剪枝，在PyTorch框架...

2026-02-11andy阅读(57)评论(0)

如何解决模型PTQ后在端侧精度断崖式下跌的问题：详解PTQ与QAT量化技术 随着AI模型部署到手机、IoT设备等端侧硬件的需求日益增加，模型量化（Quantization）成为了提升推理速度和减少内存占用的关键技术。然而，许多开发者发现，在...

2026-02-11andy阅读(50)评论(0)

TensorFlow 在早期的 1.x 版本中，模型存储通常依赖于 Checkpoint 文件（.ckpt）。许多初学者会疑惑：.ckpt 文件里存储的究竟是什么？为什么加载它还需要一个额外的 .meta 文件？ 答案就是 元图（MetaG...

2026-02-11andy阅读(52)评论(0)

在脱离了熟悉的 CUDA 生态后，针对华为昇腾（Ascend）硬件进行深度学习模型推理性能优化，是许多开发者需要面临的挑战。昇腾平台的核心是 CANN（Compute Architecture for Neural Networks）工具链...

2026-02-11andy阅读(45)评论(0)

对于日访问量（IP）不超过500的个人博客或小型网站来说，性能压力极低，此时选择主机资源的关键点在于“管理成本”和“安全维护”。很多人倾向于认为虚拟主机（Shared Hosting）更省心，也更不容易被黑，但事实并非绝对。 我们将深入分析...

2026-02-11andy阅读(49)评论(0)

SOME/IP（Scalable service-Oriented Middleware over IP）是现代汽车E/E架构中实现域控制器和服务之间通信的核心协议。然而，SOME/IP本身缺乏内建的加密和认证机制，如果部署在不安全的以太网...

2026-02-11andy阅读(52)评论(0)

金融行业的AI模型，尤其是用于信贷风险评估、市场风险量化和欺诈检测的模型，必须满足严苛的监管要求，例如巴塞尔协议（Basel Accords）关于模型风险管理的要求，以及美联储的SR 11-7指引。这些规定核心要求是模型的可追溯性、可解释性...

2026-02-11andy阅读(64)评论(0)

什么是伪共享（False Sharing）？ 在高性能并发编程中，我们经常追求最小化锁的竞争，但即使我们避免了锁，也可能遇到一个棘手的性能瓶颈：伪共享（False Sharing）。 伪共享是由于CPU缓存机制引起的现象。现代CPU有多级缓...