tensorflow

2026-07-13andy阅读(5)

引言：从模型到生产服务的最后一公里 在深度学习项目的完整生命周期中，训练出高精度的模型只是第一步。真正具有挑战性的环节，是如何将训练好的模型部署为稳定、可扩展的在线推理服务。TensorFlow Serving（以下简称TF Serving...

2026-07-08andy阅读(38)

引言：为什么需要模型优化？ 在深度学习模型落地到生产环境的过程中，一个常见的困境是：模型在GPU服务器上跑得飞快、精度出色，但一旦需要部署到移动设备、边缘计算节点或者高并发API服务中，就会发现推理速度跟不上、内存占用过高。这个问题的本质在...

2026-07-03andy阅读(42)

为什么需要关注数据管线性能 在深度学习项目中，很多人把精力花在模型架构设计和超参数调优上，却忽视了数据加载管线的优化。实际上，当 GPU 利用率长期低于 70% 时，模型训练时间可能因为数据管线的瓶颈而被拉长 2-3 倍。TensorFlo...

2026-06-28andy阅读(69)

引言：为什么需要模型量化 在深度学习模型从研发走向生产的过程中，模型量化（Model Quantization）是一个绕不开的关键环节。随着Transformer、LLM等大模型规模的不断增长，模型的存储体积、推理速度和能耗成为制约落地的核...

2026-06-24andy阅读(82)

引言：为什么需要分布式训练？ 随着深度学习模型的规模不断增长，单张GPU卡已经难以满足大多数实际生产场景的训练需求。从BERT（3.4亿参数）到GPT-3（1750亿参数），再到LLaMA系列和最近流行的DeepSeek、Qwen等大语言模...

2026-06-20andy阅读(77)

在TensorFlow 2.x中，Keras提供了高层的 1model.fit() 接口，大多数场景下使用起来非常方便。但当我们需要更精细地控制训练过程时——比如实现梯度裁剪、多优化器交替更新、对抗训练（GAN）或者自定义学习率调度——就需...

2020-02-19andy阅读(7125)评论(0)

YOLO v3 tensorflow inference 报错failed to run cuBLAS routine cublasSgemm_v2: CUBLAS_STATUS_EXECUTION_FAILED的解决办法 环境cuda9....

2018-08-16andy阅读(12138)评论(0)

首先介绍下tensorRT，tensorRT类似于tensorflow serving，都是一种用于将训练好的深度学习模型用于实时inference的工具，区别在于tensorflow serving是以一种server的方式提供出来的也就...

2018-05-25andy阅读(62835)评论(1)

CentOS安装GPU版本的tensorflow serving问题总结 之前安装tensorflow serving一直都是使用的docker镜像的方式，简单快速，但是近来有一台gpu物理机 需要跑一批模型 要求越快越好 担心docker...

2018-02-07andy阅读(14007)评论(6)

java通过gRPC整合tensorflow serving(之三)——使用java调用tfserving的模型 SORRY 本来打算上周末发的，一直有事拖延了一下。 本篇是本系列的第三篇，承接前两篇 【java通过gRPC整合tensor...