如何利用 Android 系统的 ION 内存管理器实现跨进程、跨设备的零拷贝张量传递
背景 在 Android 端侧 AI 推理场景中,模型输入往往来自于相机预览流或图像处理器。传统的做法是将数据从 Vendor 进程拷贝到 App 进程,再拷贝给推理引擎。对于 4K 图像或高频推理任务,这种 memcpy 会显著增加延迟并...
背景 在 Android 端侧 AI 推理场景中,模型输入往往来自于相机预览流或图像处理器。传统的做法是将数据从 Vendor 进程拷贝到 App 进程,再拷贝给推理引擎。对于 4K 图像或高频推理任务,这种 memcpy 会显著增加延迟并...