andy的文章

2026-02-02andy阅读(85)评论(0)

在现代 Python 编程中，尤其是使用 asyncio 进行高并发开发时，管理状态和上下文是一个常见挑战。如果你习惯使用全局变量来存储请求相关的信息（例如，请求 ID、用户会话数据），在异步环境中会立即遇到问题：当事件循环在不同任务之间切...

2026-02-01andy阅读(108)评论(0)

在 Kubernetes (K8s) 集群的运维中，日志采集是至关重要的一环。我们通常需要确保集群中的每一个工作节点都运行一个日志采集代理（例如 Fluentd, Filebeat 或 Logstash shipper），以实时收集并转发宿...

2026-02-01andy阅读(100)评论(0)

混合精度训练（Mixed Precision Training）是现代深度学习模型训练中常用的优化手段。通过将模型的大部分计算转移到半精度浮点数（FP16）进行，而保持关键部分（如权重更新）使用全精度浮点数（FP32），可以显著提高训练速度...

2026-02-01andy阅读(104)评论(0)

在 Kubernetes (K8s) 环境中，我们经常需要运行一些非持久化的、最终会完成的批处理任务，例如数据备份、清理操作、定期报告生成或一次性的数据迁移。这些任务不适合使用常规的 Deployment 或 DaemonSet。Kuber...

2026-02-01andy阅读(76)评论(0)

张量并行（Tensor Parallelism, TP）是大型语言模型（LLMs）训练和推理中必不可少的优化技术，它通过在不同设备（如GPU）上切分模型的权重张量来扩展计算能力。在Transformer架构中，Attention层和MLP层...

2026-02-01andy阅读(71)评论(0)

作为一名搜索技术专家，我们深知查询速度对于用户体验的重要性。在 Elasticsearch (ES) 中，提升查询速度最简单也最有效的方法之一，就是正确区分和利用 query 上下文和 filter 上下文。 1. 深入理解 Query C...

2026-02-01andy阅读(80)评论(0)

在Kubernetes（K8s）中部署无状态应用（如Web服务器）通常使用Deployment，但对于MySQL、Kafka或ZooKeeper这类有状态应用，它们需要稳定的网络标识和持久化存储。这时，我们就需要使用StatefulSet。...

2026-02-01andy阅读(71)评论(0)

在车载智能座舱系统中，部署大语言模型（LLM）面临着性能、延迟和成本的挑战。为了平衡强大的能力（云端LLM）和低延迟、高实时性（端侧LLM），端云协同架构成为了主流。这种架构的核心在于一个高效的“动态决策引擎”，它能够根据用户指令的特性、实...

2026-02-01andy阅读(91)评论(0)

TorchScript 是 PyTorch 官方提供的编译器，用于将 PyTorch 模型从灵活的 Python 动态图环境转换成高性能的静态图表示。这种静态图格式可以脱离 Python 解释器运行，实现推理加速，并支持在 C++ 或其他生...

2026-02-01andy阅读(80)评论(0)

导语：为什么流水线并行会产生“气泡”？ 在训练超大规模深度学习模型时（如GPT系列），单个GPU的显存往往无法容纳整个模型。我们不得不采用模型并行策略，其中，流水线并行（Pipeline Parallelism, PP）是一种常用的方法，它...