人工智能和大数据

2026-07-28andy阅读(320)

TensorFlow 2.x 默认采用即刻执行（Eager Execution）模式，让开发者可以像写普通 Python 代码一样调试和运行模型。然而，即刻执行虽然方便调试，却在性能上存在明显瓶颈——每次运算都需要 Python 运行时与 ...

2026-07-28andy阅读(322)

为什么需要磁盘向量检索 在向量搜索领域，内存容量始终是制约系统规模的瓶颈。以常见的 768 维 float32 向量为例，十亿条向量的原始数据量约为 110^9 × 768 × 4 bytes ≈ 2.88 TB 。即便采用 PQ 量化将维...

2026-07-27andy阅读(252)

引言：为什么 Batching 策略决定了推理服务的天花板 在大模型推理服务的工程实践中，有一个经常被低估却至关重要的设计决策：如何将并发的用户请求组织成批次（Batch）送入 GPU 执行。这个看似简单的调度问题，实际上直接决定了服务的吞...

2026-07-27andy阅读(297)

在大语言模型的演进历程中，位置编码（Positional Encoding）始终是一个核心而微妙的问题。Transformer 架构本身是排列等变的，它无法区分“猫追狗”和“狗追猫”——必须通过位置编码注入顺序信息。自 2021 年苏剑林等...

2026-07-27andy阅读(280)

随着大语言模型（LLM）参数规模从数十亿膨胀到数千亿，推理延迟（Latency）和吞吐（Throughput）逐渐成为生产环境最棘手的瓶颈。传统自回归解码（Autoregressive Decoding）每生成一个 token 就要完整前向...

2026-07-26andy阅读(571)

引言：大模型推理为何成为部署瓶颈 2024年以来，大语言模型（LLM）的能力持续攀升，从GPT-4、Claude 3到Llama 3、Qwen2，模型参数量动辄数百亿，推理成本居高不下。当企业从”调API体验”转向&...

2026-07-26andy阅读(1006)评论(0)

如何利用华为迁移工具自动化实现 CUDA 到 CANN 的算子代码映射 随着国产算力加速卡的应用普及，将原本运行在 NVIDIA GPU 上的 CUDA 算子迁移到华为昇腾 Ascend NPU 环境已成为开发者的核心痛点。本文将详解如何利...

2026-07-26andy阅读(1013)评论(0)

在移动端 AI 推理领域，MNN（阿里巴巴）和 NCNN（腾讯）是两个最受欢迎的深度学习推理框架。它们的性能差异往往取决于底层的硬件加速能力和驱动适配情况，尤其是在面对高通（Qualcomm Adreno）和联发科（MediaTek Mal...

2026-07-26andy阅读(1300)评论(0)

现有 CUDA 项目如何迁移到摩尔线程 MUSA？本文覆盖环境搭建、PyTorch 代码迁移、自定义 CUDA 算子适配及性能验证。

2026-07-26andy阅读(650)评论(0)

如何通过 ncnn 算子融合黑魔法减少推理时的内存读写 在端侧推理优化中，算力往往不是唯一的瓶颈，内存带宽（Memory Bandwidth）才是。在 ncnn 推理框架中，虽然 ncnnoptimize 工具已经能自动处理大部分算子融合（...