andy的文章

2026-02-24andy阅读(367)评论(0)

如何通过 Kubeflow Pipelines 深入解耦并并行化 AI 训练流水线 在现代 AI 生产环境中，单一的巨型脚本（Monolithic script）已成为迭代效率的杀手。通过将 AI 流程分解为有向无环图（DAG），我们可以实...

2026-02-24andy阅读(622)评论(0)

1. 为什么大模型推理会受限于 HBM？ 在大模型（LLM）推理过程中，Transformer 架构中存在大量的逐元素（Element-wise）操作，如 Add、LayerNorm、Mul 和 Silu 等。在标准的执行流中，每个算子都需...

2026-02-24andy阅读(382)评论(0)

如何利用 Ascend C 手写高性能算子：解决昇腾模型不支持算子的终极方案 在将深度学习模型部署到昇腾（Ascend）昇腾 AI 处理器时，经常会遇到某些算子在 CANN 算子库中不存在或者性能不达标的情况。这时，使用 Ascend C（...

2026-02-24andy阅读(332)评论(0)

如何利用 Kubeflow Pipelines 与 Optuna 构建自动化模型迭代的 AutoML 管道？ 在现代 MLOps 体系中，持续训练（Continuous Training, CT）是核心环节。然而，大多数流水线仅能实现“固定...

2026-02-24andy阅读(353)评论(0)

如何解决 Go 语言中接口 nil 判定的陷阱 在 Go 语言开发中，判定一个变量是否为 nil 是最基础的操作。然而，在处理接口（interface）类型时，很多开发者会遇到一个极其隐蔽的坑：一个存储了 nil 指针的接口变量，在进行 *...

2026-02-24andy阅读(329)评论(0)

如何利用 sync.Pool 缓解高并发场景下的 GC 压力与对象频繁分配 在 Go 语言的高并发网络编程或高性能服务开发中，频繁地创建和销毁临时对象（如 []byte 缓冲区、小结构体等）会给垃圾回收器（GC）带来巨大的扫描与清理压力，导...

2026-02-23andy阅读(457)评论(0)

如何利用 Optuna 结合 Hyperband 算法实现高效的分布式超参数优化 在深度学习模型的开发过程中，超参数搜索（HPO）往往是消耗计算资源最多的环节之一。为了在有限的时间内找到最优参数，我们需要解决两个核心问题：一是搜索算法的高效...

2026-02-23andy阅读(363)评论(0)

如何在昇腾（Ascend）平台上深度适配并优化 PyTorch 模型训练 随着国产算力的崛起，昇腾（Ascend）系列芯片已成为 AI 开发者的重要选择。很多开发者习惯了 NVIDIA + CUDA 的生态，初次接触昇腾的 CANN（Com...

2026-02-23andy阅读(363)评论(0)

如何使用 NCNN 框架在移动端高效部署 PyTorch 模型 在端侧 AI 落地过程中，如何让原本在服务器跑的重量级模型在手机端「跑得快、不发烫」是核心挑战。腾讯开发的 NCNN 是一个针对移动端优化的极致高性能神经网络推理框架，它无第三...

2026-02-23andy阅读(421)评论(0)

如何使用 MLflow 与 Weights & Biases 统一管理数千次实验的超参数与指标 在 AI 基础设施建设中，实验追踪（Experiment Tracking）是提升研发效率的核心环。当模型训练规模从几个原型扩展到数千次...