如何通过修改 Cgroup 调度组提升 Android 端侧 AI 推理性能

在 Android 端侧部署 AI 模型时，开发者常遇到一个棘手问题：推理任务在实验室测试时速度飞快，但在用户复杂的多任务场景下，推理延迟会剧烈波动。这往往是因为 Android 系统内核的调度策略将 AI 线程误判为低优先级任务。本文将详解如何通过操作 Cgroup（控制组）来突破这一限制。

1. Android 内核调度背后的 Cgroup

Android 利用 Linux Cgroup 机制对资源进行隔离和分配。主要的调度组包括：
– top-app: 当前用户交互的进程，拥有最高 CPU 分片和核心访问权。
– foreground: 前台运行但非交互的进程。
– background: 后台任务，其 CPU 使用受限，通常只能运行在小核上。

AI 推理任务通常是计算密集型的。如果推理线程被划分到 background 组，即便 CPU 负载不高，推理也会因为无法抢占大核或被限制频率而变得异常缓慢。

2. 核心解决方案：手动迁移线程调度组

在 AI 推理开始前，通过 JNI 手动将计算线程加入系统的 top-app 调度组。

代码实现：C++ 端的 Cgroup 迁移

以下示例演示了如何通过线程 ID (TID) 修改其所在的 cpuset 和 cpuctl。

#include <fcntl.h>
#include <unistd.h>
#include <string>
#include <sys/types.h>

// 将指定线程移动到高优先级调度组
bool promoteThreadPriority(pid_t tid) {
    std::string tid_str = std::to_string(tid);

    // 1. 提升 CPUSET 权限（允许访问所有大核）
    int fd_cpuset = open(\"/dev/cpuset/top-app/tasks\", O_WRONLY);
    if (fd_cpuset != -1) {
        write(fd_cpuset, tid_str.c_str(), tid_str.length());
        close(fd_cpuset);
    } else {
        return false; // 可能由于权限或路径不同失败
    }

    // 2. 提升 CPU 权重（增加 CPU 时间片）
    int fd_cpuctl = open(\"/dev/cpuctl/top-app/tasks\", O_WRONLY);
    if (fd_cpuctl != -1) {
        write(fd_cpuctl, tid_str.c_str(), tid_str.length());
        close(fd_cpuctl);
    }

    return true;
}

3. 在 Java/Kotlin 层配合调度

仅仅在底层修改是不够的，通常我们需要在推理框架初始化时捕获线程 ID。

// 在 Java 推理线程中调用
new Thread(() -> {
    int tid = android.os.Process.myTid();
    // 通过 JNI 调用上面写的 C++ 函数
    NativeLib.promoteThreadPriority(tid);

    // 开始执行模型推理，如 TensorFlow Lite 或 MNN
    runInference();
}).start();

4. 关键参数调优说明

• Nice 值补丁: 除了 Cgroup，还应配合 android.os.Process.setThreadPriority(-20)。Cgroup 决定了你在哪个\”赛道\”，而 Nice 值决定了你在该赛道中的\”起跑位置\”。
• 注意权限限制: 普通应用无法直接修改 /dev/cpuset。该方法在系统级应用、具备 Root 权限的测试环境或某些厂商提供的性能加速 SDK（如华为的 PerformanceKit）中最为有效。

5. 验证优化效果

通过以下 adb 命令实时观察线程所在的调度组：

adb shell \"cat /proc/[PID]/task/[TID]/cgroup\"

若输出结果中包含 1:cpuset:/top-app，则说明 AI 线程已成功进入高优先级调度池，推理延迟稳定性将显著提升。

总结

通过手动控制 Cgroup 调度组，我们可以强制系统为 AI 推理分配更多的 CPU 大核资源。这种方案对于实时视频滤镜、AR 渲染等对时延极其敏感的 AI 应用具有决定性的提升作用。