人工智能和大数据

2026-01-30andy阅读(34)评论(0)

在处理 TB 级别或者需要实时生成的流式数据集时，传统的 PyTorch Dataset（Map-style Dataset，通过 __getitem__ 随机访问）机制会遇到致命的内存瓶颈。因为这类数据集要求在初始化时或者通过索引访问时将...

2026-01-30andy阅读(48)评论(0)

概述：理解并行计算的基石 在高性能计算领域，实现大规模数据并行是提升运算速度的关键。CPU和GPU在底层架构上选择了不同的路径来实现这一目标：CPU主要依赖SIMD (Single Instruction, Multiple Data)，而...

2026-01-30andy阅读(38)评论(0)

在将AI模型部署到生产环境时，公平性（Fairness）已成为与性能（Accuracy）同等重要的指标。然而，去偏见技术常常伴随着一个核心挑战：公平性提升是否会以牺牲模型的整体预测性能为代价？ 本文将深入探讨如何通过一种实用的AI基础设施技...

2026-01-30andy阅读(45)评论(0)

引言：为什么需要 Faiss GPU？ 在处理海量向量数据（例如，数百万或数十亿个128维或更高维度的向量）时，传统的CPU计算受限于核心数量和内存带宽，查询延迟往往难以接受。Faiss通过其高度优化的GPU模块，能够充分利用NVIDIA ...

2026-01-30andy阅读(64)评论(0)

在PyTorch深度学习训练中，数据加载的速度（即I/O吞吐量）往往是整个训练流程的瓶颈。当尝试使用多进程（num_workers > 0）来加速数据读取时，用户可能会遇到程序锁死、内存暴涨或性能不升反降的问题。本文将深入解析如何通过合理配...

2026-01-30andy阅读(49)评论(0)

PyTorch 默认使用 NCHW (Batch, Channels, Height, Width) 内存布局，这是一种从科学计算历史遗留下来的传统格式。然而，对于现代视觉模型，尤其是在利用 NVIDIA Tensor Core 或其他高度...

2026-01-30andy阅读(41)评论(0)

在训练深度学习模型，尤其是如Transformer这类拥有数百甚至数千层的超大模型时，GPU显存往往成为瓶颈。标准的反向传播算法需要存储前向传播中每层的所有中间激活值（Activations），以便在计算梯度时使用，这消耗了大量的显存。当模...

2026-01-30andy阅读(40)评论(0)

在深度学习领域，模型规模不断增大，对计算速度的要求也水涨船高。传统的FP32（单精度浮点数）运算虽然精度高，但计算量大、能耗高。为了解决这一问题，NVIDIA引入了专用的硬件加速单元——Tensor Core，并结合软件层面的混合精度（Mi...

2026-01-30andy阅读(41)评论(0)

在高风险应用场景，如信贷审批、招聘决策或司法判决中，AI模型的偏见（Bias）可能导致严重的社会不公和法律风险。因此，将公平性审计（Fairness Auditing）嵌入到模型部署和监控流程中，不再是一个“可选项”，而是一个基础设施的“必...

2026-01-29andy阅读(51)评论(0)

在现代人工智能，特别是大型语言模型（LLM）的训练中，GPU的核心计算能力（TFLOPS）固然重要，但常常被忽视的瓶颈是数据移动的速度。本文将详细解释GPU中使用的HBM（High Bandwidth Memory，高带宽显存）技术，以及为...