标签：内存

2026-02-18andy阅读(316)评论(0)

Go语言以其高效的并发能力闻名，但其高性能的基础之一是极其高效的内存分配器。Go的内存分配器基于Google的TCMalloc（Thread-Caching Malloc）思想，采用了精妙的三级缓存结构，极大地减少了分配过程中的锁竞争压力。...

2026-02-16andy阅读(290)评论(0)

在高性能计算（HPC）领域，理解何时工作负载受限于计算能力（Compute Bound）或内存带宽（Memory Bound）至关重要。这通常通过“屋顶线模型”（Roofline Model）来分析。 对于矩阵乘法（GEMM）任务，我们希望...

2026-02-15andy阅读(272)评论(0)

在移动端进行AI推理时，显存（通常是共享内存DRAM或专用的VRAM）往往是瓶颈。对于参数量较大的模型（如轻量级LLM或大型CV模型），其激活值和中间计算结果可能会瞬间占用数百兆甚至超过1GB的内存。本文将聚焦于推理引擎中最关键的优化技术之...

2026-02-15andy阅读(340)评论(0)

vLLM（Virtual Large Language Model）框架凭借其创新的内存管理技术 PagedAttention，极大地提升了LLM推理的吞吐量和效率。PagedAttention借鉴了传统操作系统中的虚拟内存和分页思想，核心...

2026-02-14andy阅读(419)评论(0)

为什么 VRAM 成为大模型训练的瓶颈？ 在训练参数量巨大的模型（如 Llama-2 70B）时，即使是顶级的GPU（如A100或H100）也面临着显存（VRAM）不足的问题。一个完整的模型训练状态需要存储以下核心组件： 模型参数 (P)：...

2026-02-12andy阅读(467)评论(0)

详解神经网络权重的聚类压缩算法：如何利用 Codebook 降低移动端内存带宽压力 在移动端和边缘设备上部署深度学习模型时，模型体积和推理时的内存带宽往往是最大的性能瓶颈。传统的量化（如INT8）可以压缩数据，但聚类压缩提供了一种更为灵活且...

2026-02-12andy阅读(379)评论(0)

什么是 ThreadLocal？ ThreadLocal 是 Java 语言中提供的一种机制，用于在多线程环境下提供线程局部变量。这意味着每个线程都拥有其自己的独立变量副本，互不干扰。它常用于存储用户会话信息、事务上下文或请求ID等需要在整...

2026-02-09andy阅读(309)评论(0)

在构建大规模向量搜索系统时，我们经常面临“非对称搜索”场景：查询向量（Query Vector）通常保持高精度（浮点型），而数据库中的索引向量（Database Vector）为了节省存储和提高I/O效率，会使用量化压缩技术（如Produc...

2026-02-09andy阅读(278)评论(0)

别让你的密钥在内存里裸奔：车载 HSM 硬件安全模块的实战加密方案 在现代汽车电子架构中，安全是重中之重。无论是 V2X 通信、安全启动（Secure Boot）还是空中下载（OTA）固件更新，都需要依赖强大的加密技术来保证数据和系统的完整...

2026-02-08andy阅读(350)评论(0)

对于个人站长来说，尤其是那些使用低配（如512MB或1GB内存）VPS资源的用户，内存管理是维持网站稳定运行的关键。在搭建LNMP（Linux + Nginx + MySQL/MariaDB + PHP）环境时，我们通常面临两种主流选择：使...