标签：docker

2026-01-04andy阅读(25)评论(0)

在AI基础设施的运维中，数据存储层的稳定性和可迁移性至关重要。MinIO作为高性能的对象存储解决方案，常用于存储训练数据集、模型权重和推理日志。当需要进行硬件升级、集群扩容或主机维护时，我们必须将运行在Docker中的MinIO实例及其所有...

2026-01-02andy阅读(26)评论(0)

在AI基础设施部署中，Kubernetes是核心调度层，而RKE（Rancher Kubernetes Engine）是快速部署K8s集群的强大工具。然而，RKE对底层依赖，尤其是Docker运行时版本，有着严格的限制。当遇到 Unsupp...

2025-11-26andy阅读(156)评论(0)

vLLM因其出色的GPU吞吐量而闻名，但在某些场景下（如本地开发、功能测试或资源受限的环境），用户可能需要在纯CPU上运行vLLM服务。虽然性能远不如GPU，但通过正确的配置，我们依然可以利用vLLM的简洁API和高效加载机制在CPU上启动...

2025-11-26andy阅读(140)评论(0)

在使用Docker部署AI模型或进行深度学习训练时，我们经常需要利用NVIDIA GPU进行加速。然而，尝试运行带有–runtime=nvidia或现代–gpus all参数的容器时，可能会遇到以下错误： docke...

2018-01-22andy阅读(9059)评论(2)

java通过gRPC整合tensorflow serving(之二)——安装tfserving并部署示例模型 承接上一篇【java通过gRPC整合tensorflow serving——gRPC java入门例子】 这是本系列的第二篇，上一...

2018-01-08andy阅读(2514)评论(0)

CentOS解决Docker Networking Disabled: WARNING: IPv4 forwarding is disabled. Networking will not work 由于我的tensorflow servin...