标签：dataset

2026-08-06andy阅读(20)

引言：Spark 三大数据抽象的前世今生 Apache Spark 自诞生以来，其核心数据抽象经历了从 RDD 到 DataFrame 再到 Dataset 的演进。每次演进都不是简单的 API 更新，而是编程模型、执行引擎和优化体系的根本...

2026-02-05andy阅读(431)评论(0)

在深度学习模型的训练过程中，数据读取和预处理（即I/O操作）往往是制约GPU或NPU利用率的瓶颈。TensorFlow的tf.data.Dataset API是解决这一问题的核心工具。然而，如果使用不当，即使是高效的API也会拖慢整体训练速...