标签：底层

2026-02-18andy阅读(29)评论(0)

在 Go 语言中，性能优化和垃圾回收（GC）效率与内存分配方式息息相关。如果一个变量本可以分配在快速的栈（Stack）上，却因某些原因被分配到了慢速的堆（Heap）上，这就称为“逃逸”（Escape）。闭包（Closure）是导致变量逃逸最...

2026-02-15andy阅读(53)评论(0)

vLLM（Virtual Large Language Model）框架凭借其创新的内存管理技术 PagedAttention，极大地提升了LLM推理的吞吐量和效率。PagedAttention借鉴了传统操作系统中的虚拟内存和分页思想，核心...

2026-02-14andy阅读(25)评论(0)

在同步分布式训练（如 PyTorch DDP）中，最主要的性能瓶颈之一是梯度同步操作 All-Reduce 导致的等待时间。当一台 GPU 完成反向传播并计算出所有梯度后，它必须等待所有其他 GPU 完成相同的操作，然后才能进行梯度聚合。利...

2026-02-13andy阅读(43)评论(0)

作为AI基础设施（AI Infra）工程师，我们面临的核心挑战是如何在PyTorch、TensorFlow、JAX等算法框架日新月异、依赖库爆炸式增长的背景下，维护一套稳定、高效且“长青”的底层平台。核心思路是：将快速变化的算法层与相对稳定...

2026-02-11andy阅读(54)评论(0)

AQS（AbstractQueuedSynchronizer）是Java并发包中构建锁和同步器的核心框架。它依赖于一个整型的原子变量state来管理同步状态，并使用CLH队列来管理等待线程。理解AQS在共享模式下的状态传播机制，是区分像Co...

2026-02-10andy阅读(57)评论(0)

如何通过 VarHandle 操作底层变量：Java 9 以后原子类的新型替代方案 自 Java 9 以来，java.lang.invoke.VarHandle 被引入，旨在标准化和优化对变量的低级别、原子性和内存同步操作。它是对传统原子类...

2026-02-09andy阅读(44)评论(0)

车载信息娱乐系统（IVI）作为汽车的智能中枢，其安全性至关重要。Android 平台使用 SELinux（Security-Enhanced Linux）来实现强制访问控制（MAC），它是保护 IVI 系统不受恶意或错误行为侵害的“安全带”...

2026-02-09andy阅读(46)评论(0)

深度学习模型训练过程中，如果发现训练损失（Loss）突然飙升并变为NaN（Not a Number），通常标志着梯度爆炸或数值溢出。虽然直接的数值问题需要ML工程师从模型结构、学习率、或数据预处理层面解决，但作为Infra（基础设施）工程师...

2026-02-08andy阅读(53)评论(0)

在深度学习和高性能计算领域，算子（Kernel）的性能往往是模型推理速度的瓶颈。虽然像 cuBLAS 和 cuDNN 这样的厂商原生库已经高度优化，但它们是通用性的。当面对特定维度、数据类型或计算模式时，通过像 Triton 这样的领域特定...

2026-02-03andy阅读(46)评论(0)

在车载监控系统（OMS）或驾驶员状态监测系统（DMS）中，需要实时、高效地处理来自高清摄像头的原始视频流。传统的I/O操作（如read()）涉及多次数据拷贝：从摄像头硬件缓冲区到内核缓冲区，再从内核缓冲区拷贝到用户空间缓冲区。对于高分辨率、...