andy的文章

2026-02-11andy阅读(150)评论(0)

作为云原生环境的核心组件，Kubernetes（K8s）的安全性至关重要。容器默认以 Root 用户（UID 0）运行是K8s环境中最常见的安全隐患之一。一旦容器被攻破，攻击者可能利用 Root 权限在宿主机上执行恶意操作。 本文将聚焦两个...

2026-02-11andy阅读(160)评论(0)

跨域渗透的终结者：手把手教你配置座舱网关防火墙的流量过滤规则 随着汽车架构向域控制器（Domain Controller）和中央计算平台演进，座舱网关（Cockpit Gateway）成为了连接外部世界（如V2X、OTA）和内部关键域（如A...

2026-02-11andy阅读(156)评论(0)

混合精度（Mixed Precision）量化是解决端侧AI模型部署中“精度损失”与“推理加速”矛盾的核心策略。当我们对整个模型进行激进的INT8量化时，通常会发现少数几个关键层（如Attention机制中的线性层、Softmax输入层或模...

2026-02-11andy阅读(226)评论(0)

AI 集群的功耗挑战与 DVFS 简介 随着AI模型规模的爆炸式增长，支持这些模型的计算集群（无论是使用高性能CPU还是GPU）消耗的能源也水涨船高。高功耗不仅意味着高昂的电费，还会带来巨大的散热压力和潜在的硬件故障风险。在许多情况下，集群...

2026-02-11andy阅读(189)评论(0)

引言：为什么传统的RAG难以满足合规要求？ 大型语言模型（LLM）在生成内容方面表现出色，但在金融、医疗或法律等高度监管领域，它们最大的弱点——“幻觉”（Hallucination）和缺乏可追溯性——成为了致命的合规风险。 传统的检索增强生...

2026-02-11andy阅读(163)评论(0)

为什么 Faiss 会 OOM 或崩溃？ 在生产环境中处理数千万乃至数十亿的向量时，Faiss 索引的内存消耗是一个核心挑战。导致服务器 OOM (Out of Memory) 或索引崩溃的主要原因通常有两个： 索引结构选择不当 (Inde...

2026-02-11andy阅读(188)评论(0)

在日常的软件开发和维护中，我们经常需要回溯历史，找出某个特定的代码片段（比如一个配置项、一个常量名或者一段关键的注释）是什么时候被引入、被谁引入的。虽然 git grep 可以找到当前代码中的位置，但它无法穿透历史。 Git 提供了一个非常...

2026-02-11andy阅读(143)评论(0)

模型压缩是AI模型在端侧部署和加速推理的关键步骤。在众多压缩技术中，结构化剪枝（尤其是通道剪枝）因其能直接减少参数数量和计算量（FLOPs），成为实现模型体积减半的有效手段。本文将聚焦于如何结合L1稀疏化训练和通道剪枝，在PyTorch框架...

2026-02-11andy阅读(191)评论(0)

如何解决模型PTQ后在端侧精度断崖式下跌的问题：详解PTQ与QAT量化技术 随着AI模型部署到手机、IoT设备等端侧硬件的需求日益增加，模型量化（Quantization）成为了提升推理速度和减少内存占用的关键技术。然而，许多开发者发现，在...

2026-02-11andy阅读(174)评论(0)

TensorFlow 在早期的 1.x 版本中，模型存储通常依赖于 Checkpoint 文件（.ckpt）。许多初学者会疑惑：.ckpt 文件里存储的究竟是什么？为什么加载它还需要一个额外的 .meta 文件？ 答案就是 元图（MetaG...