标签：架构

2026-02-01andy阅读(118)评论(0)

在车载智能座舱系统中，部署大语言模型（LLM）面临着性能、延迟和成本的挑战。为了平衡强大的能力（云端LLM）和低延迟、高实时性（端侧LLM），端云协同架构成为了主流。这种架构的核心在于一个高效的“动态决策引擎”，它能够根据用户指令的特性、实...

2026-01-31andy阅读(113)评论(0)

在构建大规模深度学习模型训练系统时，参数服务器（Parameter Server, PS）架构是一种常见的解决方案。它将模型参数的存储和更新集中在专用的PS节点上，而Worker节点（训练器）只负责计算梯度并发送给PS。PyTorch 提供...

2026-01-31andy阅读(174)评论(0)

计算机体系结构中有一个长期存在的瓶颈，称为“内存墙”（Memory Wall）。它描述了处理器速度增长（基于摩尔定律）远快于内存访问速度和带宽增长的现象。对于传统的CPU计算任务，这早已是性能限制因素；而对于今天的大型语言模型（LLMs），...

2026-01-30andy阅读(137)评论(0)

概述：理解并行计算的基石 在高性能计算领域，实现大规模数据并行是提升运算速度的关键。CPU和GPU在底层架构上选择了不同的路径来实现这一目标：CPU主要依赖SIMD (Single Instruction, Multiple Data)，而...

2025-11-13andy阅读(440)评论(0)

如何使用 PyRIT 框架进行大模型安全评测的架构解析与实战 随着大型语言模型（LLMs）的广泛应用，对其进行严格的安全性和鲁棒性评估变得至关重要。微软开发的 Python Risk Identification Toolkit (PyRI...