标签：算法

2026-03-14andy阅读(8)评论(0)

如何利用 GPTQ 与 AWQ 算法实现 LLM 4-bit 量化：原理剖析与端侧适配指南 大语言模型（LLM）如 Llama 3、Qwen 等动辄数十亿的参数量，让移动端和边缘侧部署面临巨大的显存挑战。4-bit 量化技术通过将模型权重从...

2026-02-23andy阅读(56)评论(0)

如何理解 Go 1.18 之后切片的扩容机制 在 Go 语言中，切片（Slice）是使用最频繁的数据结构之一。当切片容量不足时，调用 append 函数会触发底层数组的扩容。Go 1.18 版本对扩容算法进行了重构，放弃了以往简单的 102...

2026-02-17andy阅读(79)评论(0)

车载网络，特别是智能座舱系统，面临着越来越复杂的网络威胁。传统的基于签名的入侵检测系统（IDS）难以应对零日攻击或协议滥用。因此，利用机器学习和流量特征分析构建一套能够实时发现异常行为的入侵检测与防御系统（IDPS）成为关键。 本文将聚焦于...

2026-02-13andy阅读(88)评论(0)

作为AI基础设施（AI Infra）工程师，我们面临的核心挑战是如何在PyTorch、TensorFlow、JAX等算法框架日新月异、依赖库爆炸式增长的背景下，维护一套稳定、高效且“长青”的底层平台。核心思路是：将快速变化的算法层与相对稳定...

2026-02-10andy阅读(128)评论(0)

引言：为什么需要 TrustZone 保护人脸识别？ 人脸识别（Face Recognition）技术已广泛应用于手机解锁、支付认证等场景。然而，用户的人脸模板数据是高度敏感的生物特征信息。如果这些模板存储在普通的操作系统（Normal W...

2026-02-09andy阅读(97)评论(0)

在现代深度学习分布式训练中，NVIDIA Collective Communications Library (NCCL) 是实现高性能 GPU 间通信的核心工具。NCCL 提供了多种通信算法来优化 All-Reduce、Broadcast...

2026-02-07andy阅读(93)评论(0)

Kubernetes的原生调度器（kube-scheduler）功能强大，但在面对特定业务场景，例如强制将某类Pod调度到拥有特定硬件（如FPGA/GPU）的节点组，或者实现复杂的租户隔离计分逻辑时，标准调度策略可能无法满足需求。 解决这类...

2026-02-06andy阅读(86)评论(0)

在将大型语言模型（LLM）部署到资源受限的端侧设备（如手机、边缘计算网关）时，模型量化是提高推理速度和降低内存占用的关键技术。4-bit 量化（如 GPTQ 和 AWQ）因其极高的压缩比而受到广泛关注。然而，这两种流行算法在底层实现和硬件亲...

2026-02-01andy阅读(129)评论(0)

导语：为什么流水线并行会产生“气泡”？ 在训练超大规模深度学习模型时（如GPT系列），单个GPU的显存往往无法容纳整个模型。我们不得不采用模型并行策略，其中，流水线并行（Pipeline Parallelism, PP）是一种常用的方法，它...

2026-01-30andy阅读(110)评论(0)

Python 作为一种支持多重继承的面向对象语言，必须有一个清晰的规则来确定当子类调用一个方法时，应该在哪个父类中查找该方法。这个规则就是方法解析顺序（Method Resolution Order, MRO）。 在 Python 2.3 ...