pytorch資料讀取之Dataset與DataLoader

1. 先前處理資料集的代碼經常比較混亂并且難以維護

2. 資料集處理代碼應該和訓練代碼解耦合，進而達到子產品化和更好的可讀性

是以，pytorch提出了兩個資料處理類：DataLoader與Dataset

from torch.utils.data import Dataset, DataLoader

class SimpleDataset(Dataset):
    def __init__(self, size):
        self.x = [i for i in range(size)]

    def __getitem__(self, index):
        return self.x[index]

    def __len__(self):
        return len(self.x)

dataset = SimpleDataset(322)
# 将dataset對象傳入DataLoader類
dataloader = DataLoader(dataset, batch_size=32, shuffle=True, drop_last=False)
# 此處不執行，生成器

for idx, data in enumerate(dataloader):
    print(idx)
    print(len(data))
           

當處理自己的資料時，需要繼承Dataset類，重寫__init__, __len__, __getitem__函數。

__init__：讀取資料集

 __len__：擷取整個資料集的樣本個數

__getitem__：擷取樣本中的第index個樣本

當你需要加載資料時，将dataset對象傳入DataLoader類

batch_size：将資料集分成大小為batch_size的序列

shuffle：是否打亂資料。如果打亂，擷取樣本并不是按照順序的，多次執行dataloader擷取的資料内容也不一樣的

drop_last：将資料集按照batch_size大小分批，如果有剩餘，是否丢掉剩餘的

上面每條樣本隻有一個資料，當一條樣本對應于多個資料時，需要用到字典：

from torch.utils.data import Dataset, DataLoader

class SimpleDataset(Dataset):
    def __init__(self, size):
        self.x = [i for i in range(size)]
        self.y = [i + 1 for i in range(size)]

    def __getitem__(self, index):
        sample = {"x": self.x[index], "y": self.y[index]}
        return sample

    def __len__(self):
        return len(self.x)


dataset = SimpleDataset(322)
dataloader = DataLoader(dataset, batch_size=32, shuffle=True, drop_last=False)

for idx, data in enumerate(dataloader):
    print(idx)
    print(len(data))
           

對于非向量化的資料同樣可處理：

from torch.utils.data import Dataset, DataLoader

class SimpleDataset(Dataset):
    def __init__(self, size):
        self.x = ["I love you" for i in range(size // 2)] + ["I love you very much" for i in range(size // 2, size)]
        self.y = [i + 1 for i in range(size)]

    def __getitem__(self, index):
        sample = {"x": self.x[index], "y": self.y[index]}
        return sample

    def __len__(self):
        return len(self.x)


dataset = SimpleDataset(322)
dataloader = DataLoader(dataset, batch_size=32, shuffle=True, drop_last=False)

for idx, data in enumerate(dataloader):
    print(idx)
    print(len(data))
           

讀取文本後再向量化有一個好處，就是進行padding時，隻需要考慮目前batch中最大長度，而不需要考慮整個資料集的最大長度。

并且如果資料集太大，無法在SimpleDataset的__init__函數中全部向量化，則可以隻讀原始資料，通過dataloader分批之後再向量化。

但是以下處理是錯誤的：

from torch.utils.data import Dataset, DataLoader

class SimpleDataset(Dataset):
    def __init__(self, size):
        self.x = ["I love you".split() for i in range(size // 2)] + \
                 ["I love you very much".split() for i in range(size // 2, size)]
        # self.x 裡面的元素為清單，自動解析成每個樣本對應的多個元素；
        # 但是因為清單的長度不一緻，後面清單中的very,much取不到，因為有的樣本不包含這兩個元素
        self.y = [i + 1 for i in range(size)]

    def __getitem__(self, index):
        sample = {"x": self.x[index], "y": self.y[index]}
        return sample

    def __len__(self):
        return len(self.x)


dataset = SimpleDataset(322)
dataloader = DataLoader(dataset, batch_size=32, shuffle=True, drop_last=False)

for idx, data in enumerate(dataloader):
    print(idx)
    print(len(data))