怎样利用 IterableDataset 优雅处理无法一次性装载进内存的 TB 级流式数据集
在处理 TB 级别或者需要实时生成的流式数据集时,传统的 PyTorch Dataset(Map-style Dataset,通过 __getitem__ 随机访问)机制会遇到致命的内存瓶颈。因为这类数据集要求在初始化时或者通过索引访问时将...
在处理 TB 级别或者需要实时生成的流式数据集时,传统的 PyTorch Dataset(Map-style Dataset,通过 __getitem__ 随机访问)机制会遇到致命的内存瓶颈。因为这类数据集要求在初始化时或者通过索引访问时将...