汤不热吧

2026-07-26andy阅读(711)评论(0)

如何优化大模型首词延迟：详解预填充阶段的量化加速技巧 在大语言模型（LLM）的部署实践中，首词延迟（Time to First Token, TTFT）是影响用户交互体验的核心指标。当用户输入较长的 Prompt 时，模型需要经历一个漫长的...

2026-07-26andy阅读(501)评论(0)

如何针对大模型特定层进行混合精度量化：基于敏感度分析的自动策略分配 在部署大语言模型（LLM）时，全量化（如统一 INT4）虽然能极大降低显存占用，但往往会导致模型在复杂逻辑推理上出现“降智”。由于模型不同层对精度的敏感度不同，混合精度量化...

2026-07-26andy阅读(592)评论(0)

如何解决安卓 OpenCL GPU 推理比 CPU 慢的“负优化”问题？ 在端侧 AI 开发中，很多开发者习惯性地认为“GPU 肯定比 CPU 快”。但在安卓平台上，当你兴冲冲地把 NCNN、MNN 或 TNN 切换到 OpenCL 后端时...

2026-07-26andy阅读(498)评论(0)

前言 在安卓端侧推理（如使用 MNN、NCNN 或 TFLite）时，经常会遇到框架不支持某些特殊算子（如特定的激活函数、自定义的特征融合层）的情况。此时，如果回退到 CPU 执行会造成严重的性能瓶颈。本文将介绍如何编写一个 OpenGL ...

2026-07-26andy阅读(572)评论(0)

在将 AI 模型部署到车载、手机或工业网关等边缘设备时，由于设备处于物理开放环境，开发者常面临两大安全威胁：模型文件被克隆拷贝以及模型版本被恶意降级（Rollback Attack）。本文将深入讲解如何利用 TEE（可信执行环境）中的 RP...

2026-07-26andy阅读(542)评论(0)

如何实现 AI 模型权重的端到端加密部署：从服务器下发到 TEE 内部解密的完整链路 在 AI 模型商业化落地中，模型权重是核心资产。如果模型直接以 .onnx 或 .tflite 明文形式存储在终端磁盘，极易被破解者直接“拖库”。本文将介...

2026-07-26andy阅读(598)评论(0)

1. 背景：移动端异构架构的挑战 在移动端 SoC 中，常见的 ARM 架构通常采用 Big.LITTLE（大小核）设计。当运行 AI 模型推理时，如果系统将计算任务随机分配给小核，或者在大小核之间频繁切换，会导致推理耗时出现显著的“长尾效...

2026-07-26andy阅读(549)评论(0)

如何通过 ncnn 算子融合黑魔法减少推理时的内存读写 在端侧推理优化中，算力往往不是唯一的瓶颈，内存带宽（Memory Bandwidth）才是。在 ncnn 推理框架中，虽然 ncnnoptimize 工具已经能自动处理大部分算子融合（...

2026-07-26andy阅读(664)评论(0)

如何针对瑞芯微 RK3588 NPU 进行算子裁剪与加速：实现边缘 AI 的极致响应 在边缘计算领域，瑞芯微 RK3588 以其 6TOPS 的 NPU 算力成为国产芯片的佼佼者。然而，许多开发者发现直接部署模型时，推理速度远达不到预期。这...

2026-07-26andy阅读(1735)评论(0)

海光 DCU 如何迁移 ROCm 项目？本文给出 DTK 环境选择、容器配置、路径适配、Python 依赖冲突和常见报错的完整排查步骤。