标签：抖动

2026-03-01andy阅读(25)评论(0)

背景 在嵌入式设备或 Android/iOS 开发中，AI 模型的推理性能不仅取决于算法复杂度，还深受系统资源调度的影响。很多开发者会发现，ncnn 在连续推理时，由于系统底层的 malloc 和 free 导致内存碎片或内核锁竞争，从而引...

2026-02-15andy阅读(43)评论(0)

在 AI 模型部署到端侧设备或采用异构 CPU 架构（如 ARM big.LITTLE 或 Intel P/E 核设计）的服务器时，我们经常面临一个挑战：推理延迟（Latency）的抖动（Jitter）过大，导致 P99 延迟性能不佳。这是...

2026-02-13andy阅读(69)评论(0)

在分布式深度学习训练中，尤其是在使用数据并行（Data Parallel，如PyTorch DDP或Horovod）时，我们常常追求训练速度与GPU数量的线性扩展。但在使用标准万兆以太网（10GbE）作为节点间通信主干时，一旦GPU数量增加...