清河网站建设公司,东莞广告公司排名,网站备案信息管理,公司网站横幅如何做一、DataLoader简介
DataLoader官网 重要参数#xff1a;画红框的参数
dataset: 作用#xff1a;表示要加载的数据集。DataLoader通过该参数从数据集中读取数据。类型#xff1a;Dataset#xff0c;即PyTorch定义的Dataset类#xff0c;用于封装数据并提供数据索引的功…
一、DataLoader简介
DataLoader官网 重要参数画红框的参数
dataset: 作用表示要加载的数据集。DataLoader通过该参数从数据集中读取数据。类型Dataset即PyTorch定义的Dataset类用于封装数据并提供数据索引的功能。 batch_size: 作用指定每次加载的数据样本数量即每个批次的数据量。默认值为1。类型int可选默认为1。设置为大于1的值时可以加速训练因为数据将被批量处理。 shuffle: 作用是否在每个epoch结束后打乱数据顺序。如果设置为True数据会在每个epoch重新随机排列。默认值是False即数据不打乱。类型bool可选是否打乱数据。 sampler: 作用定义从数据集中提取数据的策略。可以传入一个Sampler类的实例自定义数据抽样的方式。注意如果指定了sampler则不能再使用shuffle。类型Sampler或Iterable可选用于控制数据抽样。 batch_sampler: 作用与sampler类似但batch_sampler返回的是一批次的索引而不是单个样本索引。此参数与batch_size、shuffle和drop_last互斥不能同时使用。类型Sampler或Iterable可选专门用于批次索引的抽样。 num_workers: 作用指定用于数据加载的子进程数量。0表示在主进程中进行数据加载。较大的值可以加速数据加载但需要在进程间共享数据。类型int可选默认为0。 drop_last: 作用是否丢弃最后一个未满批次的数据。当数据集的大小不能整除batch_size时最后一个批次的大小可能会小于batch_size。如果将drop_last设为True则丢弃这个不完整的批次。类型bool可选默认为False。
二、代码初识
import torchvision.datasets
from torch.utils.data import DataLoadertrain_datatorchvision.datasets.CIFAR10(rootdatasets,trainFalse,transformtorchvision.transforms.ToTensor(),downloadTrue)
train_loaderDataLoader(datasettrain_data,batch_size4,shuffleTrue)img,targettrain_data[0]
print(img.shape)
print(target)for data in train_loader:imgs,targetsdataprint(imgs.shape)print(targets)因为这里采取的是随机抽样
三、使用tensorboard可视化
import torchvision.datasets
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWritertrain_datatorchvision.datasets.CIFAR10(rootdatasets,trainFalse,transformtorchvision.transforms.ToTensor(),downloadTrue)
#shuffle会在epoch中表现出来
train_loaderDataLoader(datasettrain_data,batch_size4,shuffleTrue)img,targettrain_data[0]
writerSummaryWriter(logs)step0for epoch in range(2):for data in train_loader:imgs,targetsdata#注意这里是add_images不是add_imagewriter.add_images(epoch{}.format(epoch),imgs,step)step1
writer.close()
