andy的文章

2026-03-15andy阅读(22)评论(0)

如何通过 QLoRA 与 NF4 数据类型实现大模型低成本高效微调 在大模型（LLM）落地过程中，算力成本始终是核心痛点。传统的全量参数微调（Full Fine-tuning）动辄需要数百GB显存，即便是 LoRA 技术，在处理 70B 级...

2026-03-15andy阅读(22)评论(0)

如何利用剪枝与量化协同优化：实现大模型参数量与存储空间的双重压缩实战 在部署大语言模型（LLM）或大型深度学习模型时，巨大的存储占用和内存消耗往往是核心瓶颈。单一的优化技术（如仅剪枝或仅量化）有时难以满足端侧设备极低的算力要求。本文将介绍一...

2026-03-15andy阅读(33)评论(0)

如何利用 FP8 量化突破端侧 LLM 推理瓶颈：对比 INT8 的精度优势 在将大语言模型（LLM）部署到手机、边缘网关或国产 NPU 等端侧设备时，显存带宽和容量通常是最大的制约因素。为了压缩模型，INT8 量化曾是主流方案。然而，随着...

2026-03-15andy阅读(24)评论(0)

如何设计低碳AI流水线：实现模型训练碳足迹的实时监控与自动化优化 随着大语言模型（LLM）的算力需求呈指数级增长，AI 基础设施的能耗与碳排放已成为企业社会责任（ESG）和成本控制的重要指标。构建一个可持续的 AI 流水线（Sustaina...

2026-03-14andy阅读(29)评论(0)

1. 为什么 LLM 全量化这么难？ 在端侧部署大语言模型（LLM）时，W8A8（权重和激活均为8位）全量化是极致加速和节省内存的核心。然而，LLM 在推理时，激活值（Activations）中常会出现极少数数值巨大的“离群点”（Outli...

2026-03-14andy阅读(28)评论(0)

如何在 MLOps 中集成模型可解释性监控与自动告警系统 在传统的 MLOps 监控体系中，工程师通常关注准确率（Accuracy）、延迟（Latency）及资源占用。但在金融风控或自动驾驶等高风险领域，这些指标无法反映模型决策逻辑是否偏离...

2026-03-14andy阅读(32)评论(0)

如何利用 GPTQ 与 AWQ 算法实现 LLM 4-bit 量化：原理剖析与端侧适配指南 大语言模型（LLM）如 Llama 3、Qwen 等动辄数十亿的参数量，让移动端和边缘侧部署面临巨大的显存挑战。4-bit 量化技术通过将模型权重从...

2026-03-14andy阅读(23)评论(0)

如何通过修改 Cgroup 调度组提升 Android 端侧 AI 推理性能 在 Android 端侧部署 AI 模型时，开发者常遇到一个棘手问题：推理任务在实验室测试时速度飞快，但在用户复杂的多任务场景下，推理延迟会剧烈波动。这往往是因为...

2026-03-14andy阅读(28)评论(0)

1. 为什么你的 AR 应用会卡顿？ 在开发基于 TensorFlow Lite、MNN 或 NCNN 的实时 AR（增强现实）应用时，开发者常遇到“画面撕裂”或“UI 坐标漂移”的问题。根本原因是 AI 推理频率（如 20-40ms）与系...

2026-03-14andy阅读(33)评论(0)

如何构建跨云/多区域的可观测 MLOps 容灾与故障切换系统 在企业级 AI 应用中，推理服务的停机可能导致巨大的商业损失。构建一个健壮的 MLOps 容灾（Disaster Recovery, DR）方案，不仅要考虑计算节点的冗余，更要解...