Pytorch数据加载之 TensorDataset 和 DataLoader

在深度学习中，我们常需要对处理过的数据进行加载，使用手工加载的方式不但低效而且麻烦，在pytorch中提供了很好的API来快速完成这些操作。接下来将详细介绍TensorDataset和 DataLoader。

1. TensorDataset

   TensorDataset 可以用来对 tensor以类似于一对一分配的方式进行组装、打包，该类通过每一个 tensor 的第一个维度进行索引。

2. DataLoader可以将组装好的张量以希望的方式输出

from torch.utils.data import TensorDataset
import torch
from torch.utils.data import DataLoader

a = torch.tensor([[1, 2, 3], [4, 5, 6], [7, 8, 9], [1, 2, 3], [4, 5, 6], [7, 8, 9], [1, 2, 3], [4, 5, 6], [7, 8, 9], [1, 2, 3], [4, 5, 6], [7, 8, 9]])
b = torch.tensor([44, 55, 66, 44, 55, 66, 44, 55, 66, 44, 55, 66])
train_ids = TensorDataset(a, b)    #将a、b对应组装在一起
# 切片输出
print(train_ids[0:2])  #输出0、1位置的值
print('=' * 80)
# 循环取数据
for x_train, y_label in train_ids:
    print(x_train, y_label)
# DataLoader进行数据封装
print('=' * 80)
train_loader = DataLoader(dataset=train_ids, batch_size=4, shuffle=True)  #batch_size是每组中成员数，shuffle代表打乱顺序
for i, data in enumerate(train_loader, 1):  # 注意enumerate返回值有两个,一个是序号，一个是数据（包含训练数据和标签）
    x_data, label = data
    print(' batch:{0} x_data:{1}  label: {2}'.format(i, x_data, label))
           

输出结果：

(tensor([[1, 2, 3],
        [4, 5, 6]]), tensor([44, 55]))
================================================================================
tensor([1, 2, 3]) tensor(44)
tensor([4, 5, 6]) tensor(55)
tensor([7, 8, 9]) tensor(66)
tensor([1, 2, 3]) tensor(44)
tensor([4, 5, 6]) tensor(55)
tensor([7, 8, 9]) tensor(66)
tensor([1, 2, 3]) tensor(44)
tensor([4, 5, 6]) tensor(55)
tensor([7, 8, 9]) tensor(66)
tensor([1, 2, 3]) tensor(44)
tensor([4, 5, 6]) tensor(55)
tensor([7, 8, 9]) tensor(66)
================================================================================
 batch:1 x_data:tensor([[1, 2, 3],
        [1, 2, 3],
        [4, 5, 6],
        [4, 5, 6]])  label: tensor([44, 44, 55, 55])
 batch:2 x_data:tensor([[4, 5, 6],
        [7, 8, 9],
        [7, 8, 9],
        [7, 8, 9]])  label: tensor([55, 66, 66, 66])
 batch:3 x_data:tensor([[1, 2, 3],
        [1, 2, 3],
        [7, 8, 9],
        [4, 5, 6]])  label: tensor([44, 44, 66, 55])