andy的文章

2026-07-05andy阅读(55)

引言：大模型推理为何成为部署瓶颈 2024年以来，大语言模型（LLM）的能力持续攀升，从GPT-4、Claude 3到Llama 3、Qwen2，模型参数量动辄数百亿，推理成本居高不下。当企业从”调API体验”转向&...

2026-07-05andy阅读(325)评论(0)

探索Google Brax：从UI彩蛋到真正的AI‘反重力’物理引擎 提起‘Google Anti-gravity’，很多人会想到那个让搜索页面瞬间坍塌的经典网页彩蛋。但在AI开发者眼里，真正的‘反重力’魔法隐藏在Google Resear...

2026-07-05andy阅读(323)评论(0)

零基础也能懂：Transformer 核心架构可视化学习指南 作为一名正在自学 AI 的技术博主，我深知直接看论文《Attention Is All You Need》有多痛苦。今天给大家安利一个被全世界 AI 学习者封神的免费资源：Jay...

2026-07-05andy阅读(348)评论(0)

资源推介：Generative AI with Large Language Models 嘿，各位自学AI的小伙伴！我是正在AI领域摸爬滚打的技术博主。今天给大家安利一个重磅资源——由AI界“教父”Andrew Ng的DeepLearni...

2026-07-05andy阅读(220)评论(0)

为什么选择这门课？ 如果你想成为一名AI架构师（AI Infra Engineer），而非仅仅是模型调用者，那么由CMU教授、XGBoost作者陈天奇与Zico Kolter共同主讲的《Deep Learning Systems》（DLSy...

2026-07-05andy阅读(337)评论(0)

如何利用 Apple AMX 指令集实现 4-bit 量化 LLM 的端侧加速 随着端侧大语言模型（LLM）的普及，如何在 iPhone 或 Mac 上实现毫秒级的响应速度成为了开发者面临的巨大挑战。Apple 的 A 系列及 M 系列芯片...

2026-07-05andy阅读(434)评论(0)

如何优化大模型首词延迟：详解预填充阶段的量化加速技巧 在大语言模型（LLM）的部署实践中，首词延迟（Time to First Token, TTFT）是影响用户交互体验的核心指标。当用户输入较长的 Prompt 时，模型需要经历一个漫长的...

2026-07-05andy阅读(297)评论(0)

如何利用 GPTQ 与 AWQ 算法实现 LLM 4-bit 量化：原理剖析与端侧适配指南 大语言模型（LLM）如 Llama 3、Qwen 等动辄数十亿的参数量，让移动端和边缘侧部署面临巨大的显存挑战。4-bit 量化技术通过将模型权重从...

2026-07-05andy阅读(316)评论(0)

在将 AI 模型部署到车载、手机或工业网关等边缘设备时，由于设备处于物理开放环境，开发者常面临两大安全威胁：模型文件被克隆拷贝以及模型版本被恶意降级（Rollback Attack）。本文将深入讲解如何利用 TEE（可信执行环境）中的 RP...

2026-07-05andy阅读(311)评论(0)

如何实现 AI 模型权重的端到端加密部署：从服务器下发到 TEE 内部解密的完整链路 在 AI 模型商业化落地中，模型权重是核心资产。如果模型直接以 .onnx 或 .tflite 明文形式存储在终端磁盘，极易被破解者直接“拖库”。本文将介...