人工智能和大数据

2026-02-11andy阅读(451)评论(0)

模型压缩是AI模型在端侧部署和加速推理的关键步骤。在众多压缩技术中，结构化剪枝（尤其是通道剪枝）因其能直接减少参数数量和计算量（FLOPs），成为实现模型体积减半的有效手段。本文将聚焦于如何结合L1稀疏化训练和通道剪枝，在PyTorch框架...

2026-02-11andy阅读(617)评论(0)

如何解决模型PTQ后在端侧精度断崖式下跌的问题：详解PTQ与QAT量化技术 随着AI模型部署到手机、IoT设备等端侧硬件的需求日益增加，模型量化（Quantization）成为了提升推理速度和减少内存占用的关键技术。然而，许多开发者发现，在...

2026-02-11andy阅读(522)评论(0)

TensorFlow 在早期的 1.x 版本中，模型存储通常依赖于 Checkpoint 文件（.ckpt）。许多初学者会疑惑：.ckpt 文件里存储的究竟是什么？为什么加载它还需要一个额外的 .meta 文件？ 答案就是 元图（MetaG...

2026-02-11andy阅读(473)评论(0)

金融行业的AI模型，尤其是用于信贷风险评估、市场风险量化和欺诈检测的模型，必须满足严苛的监管要求，例如巴塞尔协议（Basel Accords）关于模型风险管理的要求，以及美联储的SR 11-7指引。这些规定核心要求是模型的可追溯性、可解释性...

2026-02-10andy阅读(710)评论(0)

混合专家模型（Mixture-of-Experts, MoE）通过稀疏激活实现模型扩展，显著提升了参数量和训练效率。然而，其核心组件——路由器（Router）——在将输入Token分配给不同专家（Expert）时，带来了两大基础设施挑战：专...

2026-02-10andy阅读(478)评论(0)

引言：为什么需要向量搜索？ 传统的 Elasticsearch 搜索基于倒排索引，通过关键词匹配（BM25算法）来计算相关性。但在处理“语义”或“意图”时，这种方法往往力不从心。例如，搜索“大型犬”，但文档中只提到了“藏獒”。基于向量的语义...

2026-02-10andy阅读(467)评论(0)

存算一体架构（CIM）：AI算力下一阶段的性能飞跃还是工程挑战？ 随着AI模型（尤其是大语言模型和Transformer架构）的规模爆炸式增长，对算力的需求也急剧上升。然而，传统的冯·诺依曼（Von Neumann）架构正在成为限制AI加速...

2026-02-10andy阅读(479)评论(0)

引言：ISO 26262对AI部署的挑战 自动驾驶系统的核心软件——感知、决策、控制模型——通常要求达到最高的汽车安全完整性等级（ASIL D）。ISO 26262标准要求硬件和软件的开发生命周期必须具备严格的可追溯性（Traceabili...

2026-02-10andy阅读(579)评论(0)

在推荐系统的召回层，我们需要快速地从海量物料中找出与用户画像或查询物品最相似的K个结果。但仅仅依赖向量相似度往往不够，我们还需要结合业务需求进行过滤，例如只召回特定品类、特定库存状态的商品。由于 Faiss 自身不提供复杂的SQL式元数据过...

2026-02-10andy阅读(461)评论(0)

在TensorFlow 2.x时代，我们广泛使用@tf.function来将Python函数编译成高效的TensorFlow计算图（Graph）。然而，当我们在这些被编译的函数内部尝试使用标准的Python print()函数来查看张量数值...