Pytorch：torch.utils.data.DataLoader

torch.utils.data.DataLoader 是PyTorch提供的一个功能，用来包装数据集并提供批量获取数据（batch loading）、打乱数据顺序（shuffling）、多进程加载（multiprocessing loading）等功能。当进行深度学习训练时，有效地加载和管理数据集是非常重要的，DataLoader 类能够大大简化这一工作流程。

创建一个 DataLoader 的基本步骤通常如下：

• 首先，你需要有一个数据集，该数据集是torch.utils.data.Dataset的子类，实现了__getitem__和__len__方法。
• 在实例化 DataLoader 时，你可以传入这个数据集作为参数，以及其他一些可选的参数，比如批量大小、数据打乱等。

  下面是DataLoader的一个简单例子：

  from torch.utils.data import DataLoader
  from torchvision import datasets, transforms
  # 载入数据集并进行预处理
  transform = transforms.Compose([transforms.ToTensor()])
  train_dataset = datasets.MNIST(root='./data', train=True, download=True, transform=transform)
  # 使用 DataLoader 来包装数据集
  train_loader = DataLoader(dataset=train_dataset, batch_size=64, shuffle=True)
  # 然后在训练过程中获取数据
  for data, target in train_loader:
      # 进行训练
      ...
  

  在上面的示例中，使用 DataLoader 来包装 MNIST 训练数据集，由于设置了 batch_size=64，所以每次从 train_loader 中获取数据时，都会得到一个包含 64 张图片的批次，同时 shuffle=True 确保了每个 epoch 的数据顺序都会被打乱以优化训练过程。

  DataLoader 类的常用参数有：

  • dataset：要加载的数据集。
  • batch_size：批次大小，默认为1。
  • shuffle：是否在每次迭代开始时，对数据进行重新打乱（对于训练集通常设置为True）。
  • num_workers：用于数据加载的子进程数。
  • collate_fn：如何将多个数据样本拼接为一个批次的函数。
  • drop_last：布尔值，表示是否在数据集大小不能被批次大小整除时，丢弃最后一个不完整的批次。

    使用DataLoader可以大大简化数据迭代的复杂度，并能够加快训练过程，是深度学习训练中不可或缺的一个工具。

    
    （图片来源网络，侵删）
    
    （图片来源网络，侵删）