标签：存储

2026-02-28andy阅读(25)评论(0)

在国产 NPU（如华为昇腾 Ascend、百度昆仑芯等）上进行大规模深度学习训练时，开发者常遇到一个痛点：计算单元（NPU）在等待数据，导致利用率低下。这种情况在处理海量小文件（如千万级的 ImageNet 图片）时尤为严重。由于分布式存储...

2026-02-12andy阅读(57)评论(0)

Git 是分布式版本控制的强大工具，但它最初设计是针对纯文本代码的。当仓库中包含大量大型二进制文件（如高分辨率图像、视频、音频文件、编译产物或数据集）时，Git 的性能会急剧下降，导致克隆（clone）、抓取（fetch）和检出（check...

2026-02-08andy阅读(55)评论(0)

在深度学习，尤其是大型语言模型（LLM）的面试中，这是一个非常常见且重要的问题。理解计算瓶颈是优化模型部署和推理速度的关键。对于基于 Transformer 架构的大模型，在推理（Inference）阶段，计算瓶颈确实往往落在存储带宽（Me...

2026-02-06andy阅读(83)评论(0)

如何通过本地持久化卷解决K8s数据库I/O延迟问题：进阶性能优化方案 在Kubernetes (K8s) 中运行数据库等对I/O性能要求极高的有状态应用时，传统的网络存储（如NFS、云提供商的EBS或GCE PD）往往会引入不可接受的I/O...

2026-02-06andy阅读(66)评论(0)

在工业级AI项目中，数据I/O效率往往是训练速度的瓶颈。标准的CSV或Parquet文件在处理大规模、异构数据（如包含大量稀疏特征、图像或高维向量）时，性能往往不佳。TensorFlow的官方数据格式TFRecord，结合其核心协议tf.t...

2026-02-05andy阅读(73)评论(0)

在Kubernetes集群中，容器本身是无状态的（Stateless），数据通常会随着容器的销毁而丢失。为了实现数据的持久化或共享，Kubernetes提供了多种存储机制。理解EmptyDir、HostPath以及PersistentVol...

2026-02-04andy阅读(94)评论(0)

在容器化和微服务架构中，敏感数据（如数据库密码、API Key、TLS证书等）的管理是一个核心的安全挑战。将这些信息直接写入Dockerfile或容器镜像中是一种非常危险的做法，因为一旦镜像泄露，所有机密信息也将暴露无遗，且通过简单的doc...

2026-01-30andy阅读(64)评论(0)

作为处理大规模日志或时序数据的核心技术，Elasticsearch集群的存储成本和查询性能是需要持续优化的矛盾点。分层存储架构（Hot-Warm-Cold/Frozen）是解决这一问题的标准方案，它允许我们将最新、访问频率高的数据存储在高性...

2026-01-25andy阅读(71)评论(0)

引言：为什么需要FST？ 在搜索引擎技术中，词典（Term Dictionary）是核心组件，它存储了索引中出现过的所有唯一词汇。传统的词典实现，如简单的哈希表（HashMap）或基础的前缀树（Trie），虽然查找速度快，但存在严重的内存浪...

2026-01-19andy阅读(149)评论(0)

对于习惯了传统关系型数据库（如MySQL, SQL Server）的站长来说，“存储过程”（Stored Procedure, SP）是集中业务逻辑、提高性能的重要工具。然而，MongoDB作为一款流行的NoSQL数据库，其架构哲学与SQL...