标签：调度

2026-03-14andy阅读(6)评论(0)

如何通过修改 Cgroup 调度组提升 Android 端侧 AI 推理性能 在 Android 端侧部署 AI 模型时，开发者常遇到一个棘手问题：推理任务在实验室测试时速度飞快，但在用户复杂的多任务场景下，推理延迟会剧烈波动。这往往是因为...

2026-03-12andy阅读(16)评论(0)

如何利用强化学习优化 AI 训练集群的任务调度效率 在现代 AI 基础设施中，如何高效分配 GPU 资源是核心挑战。传统的调度算法如 FIFO（先来先服务）或 DRF（主导资源公平调度）往往难以应对大模型（LLM）训练中复杂的显存碎片化和波...

2026-03-09andy阅读(32)评论(0)

如何利用计算图切分实现可信环境（TEE）与非安全环境（REE）协同推理 在端侧AI应用中，保护模型权重或用户隐私数据至关重要。传统的全加密推理（如全同态加密）性能极差，而“计算图切分”技术提供了一种实用的平衡方案：将涉及敏感隐私的计算环节（...

2026-03-03andy阅读(44)评论(0)

1. 背景：移动端异构架构的挑战 在移动端 SoC 中，常见的 ARM 架构通常采用 Big.LITTLE（大小核）设计。当运行 AI 模型推理时，如果系统将计算任务随机分配给小核，或者在大小核之间频繁切换，会导致推理耗时出现显著的“长尾效...

2026-02-27andy阅读(54)评论(0)

如何利用国产分布式框架实现跨异构芯片的混合调度 在国产化替代的大背景下，很多企业的数据中心不再是单一的架构，而是演变为一个包含华为昇腾（Ascend）、寒武纪（Cambricon）等多种国产AI芯片的异构算力池。如何打破厂商壁垒，在同一个集...

2026-02-17andy阅读(82)评论(0)

在 Go 语言的并发模型中，goroutine 的调度是自动且高效的。然而，当遇到极端 CPU 密集型（CPU-bound）任务，并且这些任务在执行过程中从不进行系统调用、网络I/O或锁操作时，可能会导致一个问题：调度器饥饿（Schedul...

2026-02-16andy阅读(64)评论(0)

MediaPipe 是 Google 开源的一个跨平台、可定制的机器学习框架，它在端侧推理和实时数据流处理方面表现出色。手势识别（如 MediaPipe Hands）是其最经典的用例之一。理解 MediaPipe 如何调度其内部的多任务处理...

2026-02-16andy阅读(77)评论(0)

Go 语言的并发模型是其成功的核心要素之一。其轻量级的协程（goroutine）由 Go 运行时（Runtime）的调度器管理。高效的调度器是保证 goroutine 性能的关键，而实现这一效率的秘诀在于它的负载均衡策略——Work Ste...

2026-02-14andy阅读(73)评论(0)

深入理解 Android NNAPI 的中间层调度机制 Android Neural Networks API (NNAPI) 是 Google 为 Android 设备提供的一套用于运行计算密集型机器学习模型的框架。它的核心价值在于提供了...

2026-02-13andy阅读(78)评论(0)

Java 平台自诞生以来，其并发模型主要基于“平台线程”（Platform Threads），即操作系统线程的一对一映射。当并发量达到数万级别时，创建和管理这些重量级的操作系统线程会带来巨大的内存开销和上下文切换成本，严重限制了Java在高...