深度学习

2026-07-24andy阅读(9)

在深度学习模型规模不断膨胀的今天，训练一个大型模型动辄需要数十甚至上百 GPU·天。当显存成为瓶颈、训练时间成为成本大头时，混合精度训练（Mixed Precision Training）就成了必须掌握的优化手段。它可以在几乎不损失模型精度...

2026-07-22andy阅读(13)

一、引言：从 RLHF 到 DPO 的范式转变 大语言模型（LLM）在预训练阶段通过海量文本学习到了丰富的语言知识和世界知识，但预训练模型的行为并不一定符合人类期望——它可能输出有害内容、编造事实，或者无法遵循指令。为了让模型”...

2026-07-19andy阅读(617)评论(0)

如何利用华为迁移工具自动化实现 CUDA 到 CANN 的算子代码映射 随着国产算力加速卡的应用普及，将原本运行在 NVIDIA GPU 上的 CUDA 算子迁移到华为昇腾 Ascend NPU 环境已成为开发者的核心痛点。本文将详解如何利...

2026-07-19andy阅读(550)评论(0)

在移动端 AI 推理领域，MNN（阿里巴巴）和 NCNN（腾讯）是两个最受欢迎的深度学习推理框架。它们的性能差异往往取决于底层的硬件加速能力和驱动适配情况，尤其是在面对高通（Qualcomm Adreno）和联发科（MediaTek Mal...

2026-07-19andy阅读(837)评论(0)

引言 随着国产 GPU 算力的快速发展，摩尔线程推出的 MUSA (Moore Threads Unified System Architecture) 架构因其对 CUDA 生态的高度兼容性，成为 AI 开发者实现国产化替代的首选路径之一...

2026-07-19andy阅读(341)评论(0)

如何通过 ncnn 算子融合黑魔法减少推理时的内存读写 在端侧推理优化中，算力往往不是唯一的瓶颈，内存带宽（Memory Bandwidth）才是。在 ncnn 推理框架中，虽然 ncnnoptimize 工具已经能自动处理大部分算子融合（...

2026-07-19andy阅读(297)评论(0)

前言 在安卓端侧推理（如使用 MNN、NCNN 或 TFLite）时，经常会遇到框架不支持某些特殊算子（如特定的激活函数、自定义的特征融合层）的情况。此时，如果回退到 CPU 执行会造成严重的性能瓶颈。本文将介绍如何编写一个 OpenGL ...

2026-07-19andy阅读(1145)评论(0)

如何在海光 DCU DTK 环境下平滑迁移 ROCm 项目：解决版本冲突的实战指南 海光 DCU（Deep Computing Unit）作为国产 AI 算力的佼佼者，其底层软件栈 DTK（Deep-learning ToolKit）高度兼...

2026-07-19andy阅读(327)评论(0)

如何针对大模型特定层进行混合精度量化：基于敏感度分析的自动策略分配 在部署大语言模型（LLM）时，全量化（如统一 INT4）虽然能极大降低显存占用，但往往会导致模型在复杂逻辑推理上出现“降智”。由于模型不同层对精度的敏感度不同，混合精度量化...

2026-07-19andy阅读(329)评论(0)

在使用 TensorFlow (TF) 进行深度学习开发时，尤其是涉及到 GPU 资源管理时，许多开发者会遇到一个令人头疼的问题：TensorFlow 默认会在初始化时，预先分配几乎所有可用的 GPU 显存，即使模型非常小。这导致了显存资源...