如何利用多级可信架构:详解计算图切分技术在可信环境与非安全环境间的协同调度
如何利用计算图切分实现可信环境(TEE)与非安全环境(REE)协同推理 在端侧AI应用中,保护模型权重或用户隐私数据至关重要。传统的全加密推理(如全同态加密)性能极差,而“计算图切分”技术提供了一种实用的平衡方案:将涉及敏感隐私的计算环节(...
如何利用计算图切分实现可信环境(TEE)与非安全环境(REE)协同推理 在端侧AI应用中,保护模型权重或用户隐私数据至关重要。传统的全加密推理(如全同态加密)性能极差,而“计算图切分”技术提供了一种实用的平衡方案:将涉及敏感隐私的计算环节(...
模型量化是将模型权重和激活值从高精度浮点数(如FP32)转换为低精度定点整数(如INT8)的过程,以减少模型大小和计算延迟。在面试中,理解均匀量化(Uniform Quantization)的基础知识,特别是如何计算 Scale ($S$)...