深度学习

2026-07-26andy阅读(751)评论(0)

在移动端 AI 推理领域，MNN（阿里巴巴）和 NCNN（腾讯）是两个最受欢迎的深度学习推理框架。它们的性能差异往往取决于底层的硬件加速能力和驱动适配情况，尤其是在面对高通（Qualcomm Adreno）和联发科（MediaTek Mal...

2026-07-26andy阅读(1082)评论(0)

引言 随着国产 GPU 算力的快速发展，摩尔线程推出的 MUSA (Moore Threads Unified System Architecture) 架构因其对 CUDA 生态的高度兼容性，成为 AI 开发者实现国产化替代的首选路径之一...

2026-07-26andy阅读(473)评论(0)

如何通过 ncnn 算子融合黑魔法减少推理时的内存读写 在端侧推理优化中，算力往往不是唯一的瓶颈，内存带宽（Memory Bandwidth）才是。在 ncnn 推理框架中，虽然 ncnnoptimize 工具已经能自动处理大部分算子融合（...

2026-07-24andy阅读(134)

在深度学习模型规模不断膨胀的今天，训练一个大型模型动辄需要数十甚至上百 GPU·天。当显存成为瓶颈、训练时间成为成本大头时，混合精度训练（Mixed Precision Training）就成了必须掌握的优化手段。它可以在几乎不损失模型精度...

2026-07-22andy阅读(121)

一、引言：从 RLHF 到 DPO 的范式转变 大语言模型（LLM）在预训练阶段通过海量文本学习到了丰富的语言知识和世界知识，但预训练模型的行为并不一定符合人类期望——它可能输出有害内容、编造事实，或者无法遵循指令。为了让模型”...

2026-07-19andy阅读(661)评论(0)

如何解决昇腾 NPU 上频繁创建张量导致的内存碎片问题 在将模型从 CUDA 迁移到昇腾 NPU（Ascend）时，很多开发者会遇到一个诡异现象：通过 nvidia-smi 类似的工具观察，显存（HBM）占用并没满，但程序却频繁报出 Out...

2026-07-19andy阅读(123)

前言：为什么迁移学习成为深度学习的主流范式 在深度学习领域，从头训练一个大型神经网络往往需要海量的标注数据和昂贵的计算资源。以ImageNet上训练的ResNet-152为例，使用8块V100 GPU也需要数天时间才能完成完整训练。对于大多...

2026-07-17andy阅读(194)

从序列建模到线性复杂度：状态空间模型的前世今生 在深度学习领域，Transformer 架构凭借其强大的自注意力机制，几乎统治了自然语言处理、计算机视觉等所有主流任务。然而，Transformer 的核心——自注意力——的计算复杂度是 O(...

2026-07-13andy阅读(161)

引言：从模型到生产服务的最后一公里 在深度学习项目的完整生命周期中，训练出高精度的模型只是第一步。真正具有挑战性的环节，是如何将训练好的模型部署为稳定、可扩展的在线推理服务。TensorFlow Serving（以下简称TF Serving...

2026-07-12andy阅读(477)评论(0)

引言 在训练大型深度学习模型时，显存（VRAM）往往是最大的瓶颈之一。TensorFlow 2.x 引入了强大的混合精度训练（Mixed Precision Training）功能，允许我们在不牺牲模型精度的情况下，大幅减少显存占用并提高训...