如何通过 CPU 亲和性绑定控制推理线程：解决安卓系统大小核切换导致的性能波动

在移动端部署 AI 模型（如人脸识别、实时滤镜）时，开发者常遇到一个棘手现象：同一模型在同一台手机上，有时推理仅需 20ms，有时却突然跳到 100ms。这种性能剧烈波动的根源，往往在于安卓系统的 CPU 调度策略。

1. 问题的根源：ARM big.LITTLE 架构

现代安卓芯片（如骁龙 8 系列、天玑系列）通常采用“大小核”架构。当推理任务启动时，如果系统认为当前负载不高或为了省电，可能会将推理线程分配给小核（Little Core）；或者在推理中途，因为发热将线程从大核（Big Core）降级到小核。这种物理核心的切换会导致主频下降和缓存（Cache）失效，从而引发耗时波动。

2. 核心方案：CPU 亲和性（Affinity）锁定

通过调用 Linux 内核提供的 sched_setaffinity 系统调用，我们可以强制指定推理线程只在高性能的大核上运行，严禁系统将其调度至小核。

3. 实战操作：识别并绑定大核

第一步：通过频率识别大核

由于不同芯片的 CPU 编号（ID）规则不同，我们不能简单地硬编码（比如 4-7 号核心是大核）。最科学的方法是读取系统文件查看每个核心的最大主频。

#include <vector>
#include <fstream>
#include <algorithm>
#include <unistd.h>

struct CpuInfo {
    int id;
    long max_freq;
};

// 获取所有 CPU 核心的主频并按从大到小排序
std::vector<int> get_sorted_cpu_ids() {
    int cpu_count = sysconf(_SC_NPROCESSORS_CONF);
    std::vector<CpuInfo> cpus;
    for (int i = 0; i < cpu_count; ++i) {
        std::string path = "/sys/devices/system/cpu/cpu" + std::to_string(i) + "/cpufreq/cpuinfo_max_freq";
        std::ifstream fs(path);
        long freq = 0;
        if (fs >> freq) {
            cpus.push_back({i, freq});
        }
    }
    std::sort(cpus.begin(), cpus.end(), [](const CpuInfo& a, const CpuInfo& b) {
        return a.max_freq > b.max_freq;
    });

    std::vector<int> sorted_ids;
    for (const auto& cpu : cpus) sorted_ids.push_back(cpu.id);
    return sorted_ids;
}

第二步：执行线程绑定

在推理任务开始前的线程初始化阶段，执行绑定操作。

#include <sched.h>

void bind_thread_to_cores(const std::vector<int>& cpu_ids) {
    cpu_set_t mask;
    CPU_ZERO(&mask);
    for (int id : cpu_ids) {
        CPU_SET(id, &mask);
    }
    // 0 代表当前线程
    if (sched_setaffinity(0, sizeof(cpu_set_t), &mask) == -1) {
        // 绑定失败处理，通常是因为权限或系统限制
    }
}

4. 在推理框架中的应用建议

如果你使用的是主流的端侧推理框架，通常它们已经封装了简单的 API。以 NCNN 为例：

#include "cpu.h"
// 在执行推理前设置
// powersave 0: 使用所有核心
// powersave 1: 仅使用小核 (Little cores)
// powersave 2: 仅使用大核 (Big cores)
ncnn::set_cpu_powersave(2); 

5. 注意事项与权衡

1. 发热与降频：长时间锁定大核会导致手机迅速发热。当触发系统热降频（Thermal Throttling）时，即使用大核，频率也会大幅下降。
2. 线程池管理：如果你的推理是多线程的，必须对线程池中的每一个子线程都设置亲和性，否则性能提升有限。
3. 动态释放：建议仅在执行密集计算时绑定，在 UI 等待或后台空闲时解除绑定，以平衡功耗。

通过这种细粒度的线程控制，你可以让安卓端 AI 应用的耗时曲线从“心电图”变为一条平稳的直线。