人工智能和大数据

2026-07-26andy阅读(574)评论(0)

1. 背景：移动端异构架构的挑战 在移动端 SoC 中，常见的 ARM 架构通常采用 Big.LITTLE（大小核）设计。当运行 AI 模型推理时，如果系统将计算任务随机分配给小核，或者在大小核之间频繁切换，会导致推理耗时出现显著的“长尾效...

2026-07-26andy阅读(544)评论(0)

在将 AI 模型部署到车载、手机或工业网关等边缘设备时，由于设备处于物理开放环境，开发者常面临两大安全威胁：模型文件被克隆拷贝以及模型版本被恶意降级（Rollback Attack）。本文将深入讲解如何利用 TEE（可信执行环境）中的 RP...

2026-07-26andy阅读(562)评论(0)

如何解决安卓 OpenCL GPU 推理比 CPU 慢的“负优化”问题？ 在端侧 AI 开发中，很多开发者习惯性地认为“GPU 肯定比 CPU 快”。但在安卓平台上，当你兴冲冲地把 NCNN、MNN 或 TNN 切换到 OpenCL 后端时...

2026-07-26andy阅读(661)评论(0)

如何通过 Qualcomm AI Stack 优化 8295 上的大模型推理：从算子下沉到内存压榨 高通 SA8295P (骁龙 8295) 作为当前智能座舱的性能标杆，其集成的 Hexagon Tensor Processor (HTP)...

2026-07-26andy阅读(846)评论(0)

如何解决 PyTorch 模型迁移至昇腾 NPU 时的算子性能瓶颈与精度漂移 在国产化替代的浪潮中，将深度学习模型从 CUDA 环境迁移到华为昇腾（Ascend）CANN 平台，绝非简单的 device=’cuda’...

2026-07-26andy阅读(623)评论(0)

在大型语言模型（LLM）的推理过程中，通常分为两个关键阶段：Prefill（预填充/处理Prompt）阶段和Decode（解码/自回归生成）阶段。这两个阶段对硬件资源的需求截然不同，理解它们的瓶颈对于优化推理性能至关重要。 1. 概念定义：...

2026-07-26andy阅读(588)评论(0)

在脱离了熟悉的 CUDA 生态后，针对华为昇腾（Ascend）硬件进行深度学习模型推理性能优化，是许多开发者需要面临的挑战。昇腾平台的核心是 CANN（Compute Architecture for Neural Networks）工具链...

2026-07-26andy阅读(513)

从单体到分体：为什么大模型推理正在走向 Prefill/Decode 分离部署？ 2024 年下半年以来，大模型推理架构迎来了一个新的趋势——PD 分离部署（Prefill/Decode Disaggregation）。简单来说，就是将传统...

2026-07-26andy阅读(684)评论(0)

如何优化大模型首词延迟：详解预填充阶段的量化加速技巧 在大语言模型（LLM）的部署实践中，首词延迟（Time to First Token, TTFT）是影响用户交互体验的核心指标。当用户输入较长的 Prompt 时，模型需要经历一个漫长的...

2026-07-26andy阅读(273)

引言：为什么 torch.compile 改变了 PyTorch 的游戏规则 2023 年 PyTorch 2.0 的发布标志着 PyTorch 生态的一个重大转折点。其中最核心的新特性—— 1torch.compile ——被 PyTor...