andy的文章

2025-11-29andy阅读(79)评论(0)

在构建知识图谱（Knowledge Graph）或图特征存储（Graph Feature Store）时，Neo4j是核心组件。理解其服务端口对于安全部署和高效连接至关重要。Neo4j默认开放了几个关键端口，它们各自承担着不同的职责，确保了...

2025-11-29andy阅读(79)评论(0)

大型语言模型（LLM）的“幻觉”（Hallucination）问题是其投入生产环境的最大障碍之一。幻觉指的是模型生成了听起来合理但在事实层面上错误的信息。解决这一问题的最可靠方法是引入外部真值源——知识图谱（KG）。 Freebase，尽管...

2025-11-29andy阅读(72)评论(0)

在现代AI基础设施中，模型的知识产权（IP）保护和用户数据的隐私保护至关重要。这意味着我们需要在数据处于静止状态（Encryption at Rest，如存储在磁盘或S3上）以及数据传输状态（Encryption in Transit，如A...

2025-11-29andy阅读(78)评论(0)

在AI模型部署和推理服务中，精确监控GPU资源利用率是基础设施优化的关键。传统的容器监控工具如cAdvisor和Node-Exporter虽然在CPU、内存、网络I/O方面表现出色，但对于细粒度的、容器级别的GPU使用率监控却显得力不从心。...

2025-11-28andy阅读(94)评论(0)

简介：大模型时代下的隐私挑战 随着大型语言模型（LLM）的广泛应用，模型输出中意外泄露敏感个人信息（PII，Personally Identifiable Information）的风险日益增加。这可能是由于训练数据泄露、模型幻觉、或用户在...

2025-11-28andy阅读(66)评论(0)

Neo4j作为领先的图数据库，在AI领域尤其在知识图谱、RAG（Retrieval-Augmented Generation）和复杂推荐系统中扮演着核心角色。为了在生产环境中稳定、高效地运行Neo4j，我们通常需要将其部署到Kubernet...

2025-11-28andy阅读(56)评论(0)

概述：理解 Fastjson 与 Java 模块系统 (JPMS) 的冲突 在将基于 Java 的 AI 服务（如使用 Spring Boot 部署的模型 API）迁移到 Java 9 及更高版本（尤其是 Java 17/21 LTS）时，...

2025-11-28andy阅读(78)评论(0)

在构建大规模AI应用时，推理服务的性能是决定用户体验的关键因素。我们通常面临一个挑战：如何在保证极低延迟（如10ms以内）的同时，最大限度地提升并发吞吐量。传统的基于同步HTTP/REST的API设计往往在网络传输和序列化/反序列化上引入了...

2025-11-28andy阅读(85)评论(0)

在AI模型部署实践中，业务发展常常要求我们从一个云平台迁移到另一个云平台，或者采用混合云架构以满足成本、监管或地域需求。AI工作负载迁移的难点在于数据依赖和环境锁定。不同的云提供商使用不同的GPU驱动、计算实例类型和模型服务API（如Sag...

2025-11-27andy阅读(88)评论(0)

在AI模型训练和部署环境中，内存（RAM）和显存（VRAM）的管理是性能优化和稳定性保障的关键。当系统出现性能下降、交换空间（Swap）使用过多，或者直接触发OOM（Out of Memory）错误时，首要任务是找到并分析占用系统内存最多的...