标签：docker

2025-11-26andy阅读(81)评论(0)

vLLM因其出色的GPU吞吐量而闻名，但在某些场景下（如本地开发、功能测试或资源受限的环境），用户可能需要在纯CPU上运行vLLM服务。虽然性能远不如GPU，但通过正确的配置，我们依然可以利用vLLM的简洁API和高效加载机制在CPU上启动...

2025-11-26andy阅读(75)评论(0)

在使用Docker部署AI模型或进行深度学习训练时，我们经常需要利用NVIDIA GPU进行加速。然而，尝试运行带有–runtime=nvidia或现代–gpus all参数的容器时，可能会遇到以下错误： docke...

2018-01-22andy阅读(8991)评论(2)

java通过gRPC整合tensorflow serving(之二)——安装tfserving并部署示例模型 承接上一篇【java通过gRPC整合tensorflow serving——gRPC java入门例子】 这是本系列的第二篇，上一...

2018-01-08andy阅读(2491)评论(0)

CentOS解决Docker Networking Disabled: WARNING: IPv4 forwarding is disabled. Networking will not work 由于我的tensorflow servin...