汤不热吧

2025-11-09andy阅读(5)评论(0)

在现代大规模AI训练中，特别是处理LLM或大型视觉模型时，计算资源（GPU）的利用率往往受限于通信带宽和延迟。集体通信操作（如AllReduce、AllGather）是分布式训练的核心，其延迟直接决定了训练的迭代速度。要实现50%以上的延迟...

2025-11-09andy阅读(5)评论(0)

概述：AI弹性计算的需求与挑战 AI工作负载，尤其是大规模模型训练和批处理推理，具有显著的突发性和可变性。在这些场景中，预先静态分配大量的GPU资源会导致极高的成本浪费。因此，设计一个能够根据待处理任务（Pending Pods）动态伸缩G...

2025-11-08andy阅读(8)评论(0)

在AI模型部署和训练的场景中，GPU利用率往往是衡量基础设施效率的核心指标。很多用户在使用PyTorch进行分布式训练（DDP）时，发现GPU的SMs（流式多处理器）利用率偏低，这通常意味着模型训练并非计算密集型，而是受到了I/O或通信的限...

2025-11-08andy阅读(12)评论(0)

如何在单个GPU上利用CUDA Streams实现模型推理的异步计算与性能优化？ 在现代AI基础设施中，优化推理延迟和提高GPU利用率是核心挑战。即使在单个GPU上，如果不进行适当的调度，许多操作（如数据传输和计算）也会串行执行，导致计算资...

2021-04-28andy阅读(2659)评论(0)

相似搜索问题的背景 相似搜索在业务里的场景：图片相似搜索，衍生的业务：拍照购物，截图搜电影、盗版图查找；文本相似搜索：智能搜索引擎，推荐系统，问答机器人，机翻；声音相似搜搜：听歌识曲等 相似搜索要解决的关键问题 相似搜索无非就是为了 ...

2020-02-19andy阅读(6705)评论(0)

YOLO v3 tensorflow inference 报错failed to run cuBLAS routine cublasSgemm_v2: CUBLAS_STATUS_EXECUTION_FAILED的解决办法 环境cuda9....

2020-01-15andy阅读(5383)评论(0)

CentOS7安装GPU版本的faiss详细过程 1. 拉取源码 faiss最新版本应该是1.6.1，我们git clone的时候指定这个tag 1git clone -b v1.6.1 https://github.com/faceboo...

2020-01-08andy阅读(3286)评论(0)

django中导出utf8编码的csv excel打开乱码的解决方法 使用如下的django view层代码实现导出csv的功能，但是下载下来打开发现在excel中显示的是乱码。 1234567891011121314def export_...

2019-06-15andy阅读(5399)评论(0)

Django模型如何添加enum枚举类型的字段 在django的model中，有的时候需要定义枚举类型的字段，比如一个Person类，我们会让选择性别，男和女，还有很多类似的场景，选择所在地区，选择是和否等等。比如下图 如果要选择的值同时也...

2019-04-23andy阅读(4203)评论(0)

python报错 from numpy.lib.arraypad import _validate_lengths ImportError: cannot import name _validate_lengths 问题的解决方法 1fro...