标签：算子

2026-02-14andy阅读(4)评论(0)

在移动端进行 AI 推理时，我们通常依赖 TFLite, MNN 或 NCNN 等成熟框架。然而，当模型引入了高度定制化的层（如新型激活函数、特定的数据重排或融合操作）时，这些框架可能缺乏相应的优化实现，甚至根本不支持。这导致模型必须回退到...

2026-02-13andy阅读(7)评论(0)

在AI模型的推理加速领域，显存带宽往往是性能瓶颈的关键。模型计算图中的许多操作，如卷积（Conv）和随后的激活函数（ReLU），虽然逻辑上是独立的步骤，但在执行时，需要将中间结果从计算单元（如GPU或NPU）写入显存，再由下一个操作读取。这...

2026-02-13andy阅读(7)评论(0)

在传统的操作系统（OS）中，计算的最小单位是进程（Process）或线程（Thread）。应用程序通过调用系统API，由进程负责资源的分配（CPU时间片、内存空间、I/O访问）。这种模型在处理通用计算任务时非常高效，但面对现代AI和大数据的...

2026-02-12andy阅读(10)评论(0)

循环分块（Loop Tiling），也称为循环阻塞（Loop Blocking），是高性能计算中优化内存局部性（Temporal and Spatial Locality）的关键技术。通过将大型计算任务分解为可放入缓存（Cache）的小块，...

2026-02-12andy阅读(13)评论(0)

在将复杂的 TensorFlow 模型部署到端侧（如移动设备或嵌入式系统）时，我们通常需要使用 TensorFlow Lite (TFLite) 转换器。然而，当模型中包含自定义层、复杂的控制流或某些非核心 TensorFlow 算子时，转...

2026-02-08andy阅读(31)评论(0)

在深度学习和高性能计算领域，算子（Kernel）的性能往往是模型推理速度的瓶颈。虽然像 cuBLAS 和 cuDNN 这样的厂商原生库已经高度优化，但它们是通用性的。当面对特定维度、数据类型或计算模式时，通过像 Triton 这样的领域特定...

2026-02-08andy阅读(38)评论(0)

谷歌的张量处理单元（TPU）是专为加速深度学习工作负载而设计的硬件，尤其擅长处理大规模的矩阵乘法和卷积操作。然而，要充分发挥TPU的性能，我们必须确保计算图能够被高效地编译和分发。在TensorFlow中，这主要通过 tf.distribu...

2026-02-07andy阅读(30)评论(0)

在深度学习模型的训练过程中，我们通常依赖TensorFlow或PyTorch等框架自动计算梯度。然而，某些操作，例如四舍五入（tf.round）、取整（tf.floor）、或者某些复杂的硬件相关的自定义操作，它们在数学上几乎处处不可导，会导...

2026-02-05andy阅读(34)评论(0)

在进行大规模深度学习训练时，数据预处理（例如图像解码、复杂的几何变换、特征提取）往往是整个训练流程中的性能瓶颈。尤其在分布式训练和多轮迭代（多Epoch）场景下，这些耗时的预处理步骤会被重复执行，造成巨大的计算浪费，并拖慢训练启动速度。 T...

2026-02-05andy阅读(63)评论(0)

在深度学习模型的训练过程中，数据读取和预处理（即I/O操作）往往是制约GPU或NPU利用率的瓶颈。TensorFlow的tf.data.Dataset API是解决这一问题的核心工具。然而，如果使用不当，即使是高效的API也会拖慢整体训练速...