人工智能和大数据

2026-07-26andy阅读(581)评论(0)

在使用 TensorFlow (TF) 进行深度学习开发时，尤其是涉及到 GPU 资源管理时，许多开发者会遇到一个令人头疼的问题：TensorFlow 默认会在初始化时，预先分配几乎所有可用的 GPU 显存，即使模型非常小。这导致了显存资源...

2026-07-26andy阅读(1043)评论(0)

如何使用 CANN 插件在国产昇腾 NPU 上快速迁移并加速 PyTorch 模型 随着国产化算力需求的爆发，将现有的 AI 模型从 CUDA 环境迁移到国产昇腾（Ascend）平台已成为许多开发者的核心任务。得益于华为提供的 CANN（C...

2026-07-26andy阅读(1023)评论(0)

如何解决 PyTorch 模型迁移至昇腾 NPU 时的算子性能瓶颈与精度漂移 在国产化替代的浪潮中，将深度学习模型从 CUDA 环境迁移到华为昇腾（Ascend）CANN 平台，绝非简单的 device=’cuda’...

2026-07-26andy阅读(876)评论(0)

如何优化大模型首词延迟：详解预填充阶段的量化加速技巧 在大语言模型（LLM）的部署实践中，首词延迟（Time to First Token, TTFT）是影响用户交互体验的核心指标。当用户输入较长的 Prompt 时，模型需要经历一个漫长的...

2026-07-26andy阅读(463)

引言：为什么 torch.compile 改变了 PyTorch 的游戏规则 2023 年 PyTorch 2.0 的发布标志着 PyTorch 生态的一个重大转折点。其中最核心的新特性—— 1torch.compile ——被 PyTor...

2026-07-26andy阅读(642)评论(0)

在资源受限的端侧设备（如手机、IoT设备）上部署深度学习模型时，模型量化（通常是转换为INT8）是降低延迟和功耗的关键技术。然而，量化方案并非只有一种。本文将对比静态离线量化（Static Post-Training Quantizatio...

2026-07-26andy阅读(698)评论(0)

如何利用 ARM i8mm 指令集加速端侧量化模型推理 在端侧 AI 推理（如手机、嵌入式设备）中，Int8 量化是提升性能、降低能耗的核心技术。传统的 ARM NEON 指令集虽有 SDOT (点乘) 指令，但在处理大规模矩阵乘法时仍显吃...

2026-07-26andy阅读(451)

在Spark SQL的实际开发中，Shuffle是影响作业性能的关键瓶颈之一。每当执行groupBy、join、repartition等宽依赖算子时，数据需要在不同节点间重新分布，这个过程就是Shuffle。不合理的Shuffle配置会导致...

2026-07-26andy阅读(807)评论(0)

如何通过 AclLite 封装大幅简化昇腾推理程序的开发流程 在国产昇腾（Ascend）芯片上进行 AI 推理开发时，开发者通常需要直接面对 CANN (Compute Architecture for Neural Networks) 的...

2026-07-26andy阅读(861)评论(0)

如何针对瑞芯微 RK3588 NPU 进行算子裁剪与加速：实现边缘 AI 的极致响应 在边缘计算领域，瑞芯微 RK3588 以其 6TOPS 的 NPU 算力成为国产芯片的佼佼者。然而，许多开发者发现直接部署模型时，推理速度远达不到预期。这...