人工智能和大数据

2025-11-08andy阅读(326)评论(0)

如何在单个GPU上利用CUDA Streams实现模型推理的异步计算与性能优化？ 在现代AI基础设施中，优化推理延迟和提高GPU利用率是核心挑战。即使在单个GPU上，如果不进行适当的调度，许多操作（如数据传输和计算）也会串行执行，导致计算资...

2021-04-28andy阅读(2848)评论(0)

相似搜索问题的背景 相似搜索在业务里的场景：图片相似搜索，衍生的业务：拍照购物，截图搜电影、盗版图查找；文本相似搜索：智能搜索引擎，推荐系统，问答机器人，机翻；声音相似搜搜：听歌识曲等 相似搜索要解决的关键问题 相似搜索无非就是为了 ...

2020-02-19andy阅读(6966)评论(0)

YOLO v3 tensorflow inference 报错failed to run cuBLAS routine cublasSgemm_v2: CUBLAS_STATUS_EXECUTION_FAILED的解决办法 环境cuda9....

2020-01-15andy阅读(5622)评论(0)

CentOS7安装GPU版本的faiss详细过程 1. 拉取源码 faiss最新版本应该是1.6.1，我们git clone的时候指定这个tag git clone -b v1.6.1 https://github.com/facebook...

2019-04-23andy阅读(4379)评论(0)

python报错 from numpy.lib.arraypad import _validate_lengths ImportError: cannot import name _validate_lengths 问题的解决方法 from...

2019-03-24andy阅读(5823)评论(0)

Faiss索引类型怎么选择 是否需要精确的结果? 是，那就得用Flat 唯一保证百分百准确性的是IndexFlatL2（L2距离）和IndexFlatIP（内积距离）. 可以用来做其他索引的baseline，不支持压缩， 不支持add_wi...

2018-08-16andy阅读(11932)评论(0)

首先介绍下tensorRT，tensorRT类似于tensorflow serving，都是一种用于将训练好的深度学习模型用于实时inference的工具，区别在于tensorflow serving是以一种server的方式提供出来的也就...

2018-05-25andy阅读(56712)评论(1)

CentOS安装GPU版本的tensorflow serving问题总结 之前安装tensorflow serving一直都是使用的docker镜像的方式，简单快速，但是近来有一台gpu物理机 需要跑一批模型 要求越快越好 担心docker...

2018-04-30andy阅读(5838)评论(0)

支持向量机总结 2018/02/24 by Jenny 先看支持向量机的直观理解： （1）https://www.zhihu.com/question/21094489/answer/86273196 只看第一个帖子，这个比喻形象贴切。 （...

2018-04-06andy阅读(5746)评论(0)

IndexFlatL2、IndexIVFFlat都是将全部向量存储在内存中的 要扩展到海量的数据集上，Faiss提供了基于乘积量化的有损压缩方式来存储向量索引 向量仍然存储在Voronoi cells中，但是他们的尺寸被降低到一个可配置的字...