andy的文章

2026-02-04andy阅读(83)评论(0)

跨集群搜索（Cross-Cluster Search, CCS）是 Elasticsearch 中一项强大的功能，它允许用户在单个请求中查询多个独立运行的 Elasticsearch 集群。这对于需要跨越地理位置、满足数据主权要求（如 GD...

2026-02-04andy阅读(61)评论(0)

在复杂的微服务架构中，限制服务间的访问权限是保障系统安全的关键一环。Kubernetes Network Policy（KNP）允许您定义一组规则，控制 Pod 之间的网络通信。本文将通过实战演练，手把手教您如何通过白名单机制，精确锁定哪些...

2026-02-04andy阅读(78)评论(0)

在车载视觉系统中，对推理速度和功耗的要求极为严苛。NVIDIA TensorRT (TRT) 是优化和部署深度学习模型到NVIDIA GPU（如Jetson或Drive系列）的首选工具。然而，在将PyTorch或TensorFlow训练好的...

2026-02-04andy阅读(84)评论(0)

在AI模型部署和推理加速过程中，理解模型内部操作的执行时间至关重要。TensorFlow提供了一套强大的分析工具，其中 tf.summary.trace_on 是捕捉计算图级别性能数据，并利用TensorBoard Profiler进行深度...

2026-02-04andy阅读(68)评论(0)

大规模语言模型（LLM）的推理性能是部署成功的关键。在推理过程中，模型通常经历两个截然不同的阶段：Prefill（预填充/上下文处理）和Decode（解码/生成）。理解这两个阶段的资源需求和冲突，是优化吞吐量（Throughput）和首字节...

2026-02-04andy阅读(63)评论(0)

在现代MLOps实践中，模型性能监控（如准确率、延迟、数据漂移）已成为标配。然而，仅仅知道模型表现不好是不够的，我们更需要知道为什么。这时，模型可解释性（Explainable AI, XAI）的持续监控就显得尤为重要。 本文将深入探讨如何...

2026-02-04andy阅读(62)评论(0)

Faiss (Facebook AI Similarity Search) 是一个高效的向量相似度搜索库。然而，在将其部署到需要高并发查询的环境（例如 Web 服务）时，如果简单地使用 Python 的多线程，很快就会遇到性能急剧下降甚至不...

2026-02-04andy阅读(69)评论(0)

在复杂的软件开发过程中，我们经常需要在不同的开发分支之间同步特定的、独立的小功能或紧急修复（Hotfix）。如果我们使用传统的 git merge，则会把整个分支的历史记录和所有提交都带入目标分支，这往往不是我们想要的。这时，强大的 git...

2026-02-04andy阅读(68)评论(0)

在AI模型部署和推理加速领域，计算图优化是至关重要的一环。TensorFlow的XLA（Accelerated Linear Algebra）编译器是执行这些优化的强大工具，它能够通过重写计算图来显著提高模型运行效率。 本文将深入探讨XLA...

2026-02-04andy阅读(49)评论(0)

在TensorFlow的图模式（Graph Mode，主要指TF 1.x或TF 2.x的@tf.function内部）中，操作的执行顺序并非基于代码的书写顺序，而是基于数据流依赖（Data Flow Dependencies）。只有当一个算...