标签：onnx

2025-12-21andy阅读(50)评论(0)

在现代机器学习系统中，成功的模型部署依赖于四大支柱：数据（Data）、模型/算法（Model/Algorithm）、计算资源（Compute） 和 评估/反馈（Evaluation/Feedback）。在模型从训练环境迁移到生产环境（Com...

2025-12-20andy阅读(63)评论(0)

谷歌是否会放弃TensorFlow（TF）是一个复杂的生态问题，但对于AI基础设施工程师而言，更实际的挑战是：如何在新模型普遍倾向于使用PyTorch训练的情况下，继续高效利用已经搭建好的TensorFlow Serving（TFS）集群和...

2025-11-18andy阅读(108)评论(0)

在AI模型部署领域，将模型从x86服务器迁移到低功耗的ARM64（AArch64）边缘设备（如NVIDIA Jetson系列或树莓派）是常见的需求。虽然通常可以使用预编译的包，但为了最大限度地利用ARM架构的特定优化指令集（如NEON），我...

2025-11-18andy阅读(147)评论(0)

在AI模型部署中，推理延迟和吞吐量是决定用户体验和运营成本的关键因素。对于在NVIDIA GPU上运行的模型，想要获得极致的性能，NVIDIA TensorRT是事实上的标准优化工具。然而，直接使用TensorRT API进行部署往往涉及复...