标签：use

2026-03-22andy阅读(44)评论(0)

引言 在构建基于大语言模型（LLM）的 Agent 时，工具调用（Tool Use）是实现模型与外部系统交互的核心。然而，LLM 输出的不确定性极易引发安全风险，例如模型可能会生成超出范围的参数，或者尝试调用超出其权限的操作。本文将介绍如何...

2026-03-01andy阅读(91)评论(0)

如何利用 ncnn 的 opt.use_packing_layout 提升多通道卷积在 CPU 上的推理性能 在移动端和边缘侧 AI 部署中，ncnn 以其极致的性能优化著称。许多开发者在优化推理速度时，往往只关注了多线程配置（num_th...

2026-01-31andy阅读(117)评论(0)

在 AI 部署和推理加速的过程中，模型加载速度是影响启动时间和用户体验的关键因素之一。特别是对于拥有数千万甚至数十亿参数的大规模模型，例如大型语言模型（LLMs），加载 state_dict 往往需要大量时间。 本文将深入探讨 PyTorc...