标签：深度

2026-02-13andy阅读(15)评论(0)

在移动端 AI 推理领域，MNN（阿里巴巴）和 NCNN（腾讯）是两个最受欢迎的深度学习推理框架。它们的性能差异往往取决于底层的硬件加速能力和驱动适配情况，尤其是在面对高通（Qualcomm Adreno）和联发科（MediaTek Mal...

2026-02-11andy阅读(24)评论(0)

为什么 Faiss 会 OOM 或崩溃？ 在生产环境中处理数千万乃至数十亿的向量时，Faiss 索引的内存消耗是一个核心挑战。导致服务器 OOM (Out of Memory) 或索引崩溃的主要原因通常有两个： 索引结构选择不当 (Inde...

2026-02-10andy阅读(32)评论(0)

引言：为什么需要 TrustZone 保护人脸识别？ 人脸识别（Face Recognition）技术已广泛应用于手机解锁、支付认证等场景。然而，用户的人脸模板数据是高度敏感的生物特征信息。如果这些模板存储在普通的操作系统（Normal W...

2026-02-08andy阅读(36)评论(0)

PyTorch 的 Autograd 机制是其核心竞争力之一。与 TensorFlow 1.x 等框架使用的静态图不同，PyTorch 采用动态计算图（Define-by-Run），这意味着计算图是在前向传播过程中即时构建的。而 backw...

2026-02-07andy阅读(37)评论(0)

Kubernetes的原生调度器（kube-scheduler）功能强大，但在面对特定业务场景，例如强制将某类Pod调度到拥有特定硬件（如FPGA/GPU）的节点组，或者实现复杂的租户隔离计分逻辑时，标准调度策略可能无法满足需求。 解决这类...

2026-02-04andy阅读(46)评论(0)

如何利用RDMA/RoCE v2实现大模型训练的极致加速：深度解析‘零拷贝’网络通信 随着AI模型规模（如LLM）的爆炸式增长，分布式训练已成为常态。然而，传统的网络通信方式（基于TCP/IP）在多GPU节点间传输海量梯度和参数时，会造成严...

2026-02-04andy阅读(56)评论(0)

简介：夜间红外数据的挑战 座舱监控系统（DMS/OMS）通常使用红外（IR）摄像头。在夜间或极低光照环境下，红外图像虽然能捕捉到关键特征（如眼睛、手部），但其整体像素值范围（动态范围）非常狭窄，且背景噪声相对较高。 当我们将浮点模型（FP3...

2026-02-03andy阅读(65)评论(0)

Git 是现代软件开发中不可或缺的工具。在将特性分支（Feature Branch）的工作合并回主分支（如 main 或 master）时，我们通常面临两种主要的集成策略：git merge 和 git rebase。虽然两者都能达到目的，...

2026-02-03andy阅读(40)评论(0)

BatchNorm (批量归一化) 是深度学习模型中提高训练效率和稳定性的关键组件。然而，它也常常是导致训练和推理行为不一致的“陷阱”之一。 大多数PyTorch用户都知道，在推理时需要调用 model.eval()。但为什么这一操作在某些...

2026-02-01andy阅读(67)评论(0)

在现代深度学习中，模型和数据集的规模爆炸式增长，使得分布式训练成为常态。PyTorch 的 torch.distributed 包提供了一系列高效的通信原语（Collective Operations），这些原语是实现数据并行（DDP）和模...