标签：张量

2026-02-01andy阅读(5)评论(0)

张量并行（Tensor Parallelism, TP）是大型语言模型（LLMs）训练和推理中必不可少的优化技术，它通过在不同设备（如GPU）上切分模型的权重张量来扩展计算能力。在Transformer架构中，Attention层和MLP层...

2026-01-30andy阅读(14)评论(0)

在深度学习领域，模型规模不断增大，对计算速度的要求也水涨船高。传统的FP32（单精度浮点数）运算虽然精度高，但计算量大、能耗高。为了解决这一问题，NVIDIA引入了专用的硬件加速单元——Tensor Core，并结合软件层面的混合精度（Mi...

2026-01-29andy阅读(24)评论(0)

在深度学习模型训练和推理过程中，尤其是在使用GPU加速时，张量（Tensor）的内存管理是影响性能的关键因素。PyTorch张量的操作大致分为两类：返回“视图”（View）和返回“副本”（Copy/Clone）。不理解这两者的区别，可能导致...

2025-12-21andy阅读(148)评论(0)

如何利用PyTorch的contiguous()操作优化模型推理性能并避免内存陷阱 在高性能AI模型部署和基础设施建设中，内存管理和数据布局是决定计算效率的关键因素。PyTorch中的张量（Tensor）操作看似简单，但其背后的内存连续性（...