标签：拷贝

2026-02-16andy阅读(30)评论(0)

在端侧AI应用中，模型的权重文件（如TFLite、MNN或NCNN的bin文件）往往体积庞大。传统的模型加载方式涉及多次数据拷贝，这不仅耗时，更严重拖慢了App的启动速度。 问题所在：传统文件加载的瓶颈 传统的read()系统调用加载过程如...

2026-02-04andy阅读(59)评论(0)

如何利用RDMA/RoCE v2实现大模型训练的极致加速：深度解析‘零拷贝’网络通信 随着AI模型规模（如LLM）的爆炸式增长，分布式训练已成为常态。然而，传统的网络通信方式（基于TCP/IP）在多GPU节点间传输海量梯度和参数时，会造成严...

2026-02-03andy阅读(46)评论(0)

在车载监控系统（OMS）或驾驶员状态监测系统（DMS）中，需要实时、高效地处理来自高清摄像头的原始视频流。传统的I/O操作（如read()）涉及多次数据拷贝：从摄像头硬件缓冲区到内核缓冲区，再从内核缓冲区拷贝到用户空间缓冲区。对于高分辨率、...

2026-01-29andy阅读(72)评论(0)

在深度学习模型训练和推理过程中，尤其是在使用GPU加速时，张量（Tensor）的内存管理是影响性能的关键因素。PyTorch张量的操作大致分为两类：返回“视图”（View）和返回“副本”（Copy/Clone）。不理解这两者的区别，可能导致...