标签：底层

2026-03-09andy阅读(25)评论(0)

如何理解 Android NNAPI 的算子分发逻辑：从底层架构到实战调用 Android NNAPI (Neural Networks API) 是 Android 系统中专门为机器学习推理设计的 C API。它不直接运行模型，而是作为“...

2026-02-28andy阅读(61)评论(0)

如何排查国产AI芯片环境下因算子精度差异导致的模型不收敛问题 在将深度学习模型（如ResNet、Transformer）从标准的PyTorch/TensorFlow环境迁移到国产NPU（如昇腾、寒武纪、昆仑芯等）时，开发者常遇到一个痛点：代...

2026-02-27andy阅读(61)评论(0)

如何构建标准的国产化算力容器镜像：详解底层硬件映射与二进制文件注入 在国产化 AI 浪潮中，昇腾 (Ascend)、寒武纪 (Cambricon)、海光 (DCU) 等硬件层出不穷。由于各家厂商的驱动模型与 CUDA 体系存在差异，开发者往...

2026-02-26andy阅读(59)评论(0)

在 Go 语言开发中，反射（reflect）是一把双刃剑。它提供了强大的运行时动态处理能力，但同时也带来了显著的性能开销。本文将从 reflect.Type 与 reflect.Value 的底层实现入手，分析性能瓶颈并给出实战调优方案。 ...

2026-02-18andy阅读(76)评论(0)

在 Go 语言中，性能优化和垃圾回收（GC）效率与内存分配方式息息相关。如果一个变量本可以分配在快速的栈（Stack）上，却因某些原因被分配到了慢速的堆（Heap）上，这就称为“逃逸”（Escape）。闭包（Closure）是导致变量逃逸最...

2026-02-15andy阅读(100)评论(0)

vLLM（Virtual Large Language Model）框架凭借其创新的内存管理技术 PagedAttention，极大地提升了LLM推理的吞吐量和效率。PagedAttention借鉴了传统操作系统中的虚拟内存和分页思想，核心...

2026-02-14andy阅读(63)评论(0)

在同步分布式训练（如 PyTorch DDP）中，最主要的性能瓶颈之一是梯度同步操作 All-Reduce 导致的等待时间。当一台 GPU 完成反向传播并计算出所有梯度后，它必须等待所有其他 GPU 完成相同的操作，然后才能进行梯度聚合。利...

2026-02-13andy阅读(88)评论(0)

作为AI基础设施（AI Infra）工程师，我们面临的核心挑战是如何在PyTorch、TensorFlow、JAX等算法框架日新月异、依赖库爆炸式增长的背景下，维护一套稳定、高效且“长青”的底层平台。核心思路是：将快速变化的算法层与相对稳定...

2026-02-11andy阅读(95)评论(0)

AQS（AbstractQueuedSynchronizer）是Java并发包中构建锁和同步器的核心框架。它依赖于一个整型的原子变量state来管理同步状态，并使用CLH队列来管理等待线程。理解AQS在共享模式下的状态传播机制，是区分像Co...

2026-02-10andy阅读(128)评论(0)

如何通过 VarHandle 操作底层变量：Java 9 以后原子类的新型替代方案 自 Java 9 以来，java.lang.invoke.VarHandle 被引入，旨在标准化和优化对变量的低级别、原子性和内存同步操作。它是对传统原子类...