标签：频繁

2026-03-01andy阅读(46)评论(0)

背景 在嵌入式设备或 Android/iOS 开发中，AI 模型的推理性能不仅取决于算法复杂度，还深受系统资源调度的影响。很多开发者会发现，ncnn 在连续推理时，由于系统底层的 malloc 和 free 导致内存碎片或内核锁竞争，从而引...

2026-02-24andy阅读(92)评论(0)

如何解决昇腾 NPU 上频繁创建张量导致的内存碎片问题 在将模型从 CUDA 迁移到昇腾 NPU（Ascend）时，很多开发者会遇到一个诡异现象：通过 nvidia-smi 类似的工具观察，显存（HBM）占用并没满，但程序却频繁报出 Out...

2026-02-24andy阅读(53)评论(0)

如何利用 sync.Pool 缓解高并发场景下的 GC 压力与对象频繁分配 在 Go 语言的高并发网络编程或高性能服务开发中，频繁地创建和销毁临时对象（如 []byte 缓冲区、小结构体等）会给垃圾回收器（GC）带来巨大的扫描与清理压力，导...

2026-02-12andy阅读(83)评论(0)

在高性能计算和深度学习推理领域，我们经常遇到这样的瓶颈：模型计算量不大，但由于由大量细小、串联的计算操作（Kernel）组成，导致整体性能不佳。瓶颈不在于GPU的计算能力（SMs），而在于CPU与驱动层（Driver）频繁通信以发射（Lau...

2026-01-29andy阅读(128)评论(0)

在日常的软件开发工作中，我们经常需要在两个分支之间来回切换，比如在主分支（main）上快速修复一个Bug，然后立即切换回正在开发的特性分支（feature-X）。手动输入完整的或复制粘贴分支名称不仅效率低下，还容易出错。 Git 提供了一个...