深度学习

2026-07-26andy阅读(431)评论(0)

如何实现 AI 模型权重的端到端加密部署：从服务器下发到 TEE 内部解密的完整链路 在 AI 模型商业化落地中，模型权重是核心资产。如果模型直接以 .onnx 或 .tflite 明文形式存储在终端磁盘，极易被破解者直接“拖库”。本文将介...

2026-07-26andy阅读(382)评论(0)

如何针对大模型特定层进行混合精度量化：基于敏感度分析的自动策略分配 在部署大语言模型（LLM）时，全量化（如统一 INT4）虽然能极大降低显存占用，但往往会导致模型在复杂逻辑推理上出现“降智”。由于模型不同层对精度的敏感度不同，混合精度量化...

2026-07-26andy阅读(385)评论(0)

在使用 TensorFlow (TF) 进行深度学习开发时，尤其是涉及到 GPU 资源管理时，许多开发者会遇到一个令人头疼的问题：TensorFlow 默认会在初始化时，预先分配几乎所有可用的 GPU 显存，即使模型非常小。这导致了显存资源...

2026-07-26andy阅读(677)评论(0)

如何使用 CANN 插件在国产昇腾 NPU 上快速迁移并加速 PyTorch 模型 随着国产化算力需求的爆发，将现有的 AI 模型从 CUDA 环境迁移到国产昇腾（Ascend）平台已成为许多开发者的核心任务。得益于华为提供的 CANN（C...

2026-07-26andy阅读(483)评论(0)

1. 背景：移动端异构架构的挑战 在移动端 SoC 中，常见的 ARM 架构通常采用 Big.LITTLE（大小核）设计。当运行 AI 模型推理时，如果系统将计算任务随机分配给小核，或者在大小核之间频繁切换，会导致推理耗时出现显著的“长尾效...

2026-07-26andy阅读(439)评论(0)

在将 AI 模型部署到车载、手机或工业网关等边缘设备时，由于设备处于物理开放环境，开发者常面临两大安全威胁：模型文件被克隆拷贝以及模型版本被恶意降级（Rollback Attack）。本文将深入讲解如何利用 TEE（可信执行环境）中的 RP...

2026-07-26andy阅读(444)评论(0)

如何解决安卓 OpenCL GPU 推理比 CPU 慢的“负优化”问题？ 在端侧 AI 开发中，很多开发者习惯性地认为“GPU 肯定比 CPU 快”。但在安卓平台上，当你兴冲冲地把 NCNN、MNN 或 TNN 切换到 OpenCL 后端时...

2026-07-26andy阅读(520)评论(0)

如何通过 Qualcomm AI Stack 优化 8295 上的大模型推理：从算子下沉到内存压榨 高通 SA8295P (骁龙 8295) 作为当前智能座舱的性能标杆，其集成的 Hexagon Tensor Processor (HTP)...

2026-07-24andy阅读(81)

在深度学习模型规模不断膨胀的今天，训练一个大型模型动辄需要数十甚至上百 GPU·天。当显存成为瓶颈、训练时间成为成本大头时，混合精度训练（Mixed Precision Training）就成了必须掌握的优化手段。它可以在几乎不损失模型精度...

2026-07-22andy阅读(74)

一、引言：从 RLHF 到 DPO 的范式转变 大语言模型（LLM）在预训练阶段通过海量文本学习到了丰富的语言知识和世界知识，但预训练模型的行为并不一定符合人类期望——它可能输出有害内容、编造事实，或者无法遵循指令。为了让模型”...