东莞企业网站搭建制作,2024全民核酸又开始了,关于网站建设的建议,舒城县重点工程建设局网站目录
1. dataset文件 1.1初始化网络 1.2load_every函数 1.3 getitem函数 1.4测试函数
2. transforms文件 2.1裁切函数和翻转函数 2.2上\下采样函数 2.3加入随机因子的上\下采样函数 2.4填充函数 2.5标准图像函数 2.6标准化函数 2.7归一化函数 2.8反归一化 2.9添加噪声的函数 …目录
1. dataset文件 1.1初始化网络 1.2load_every函数 1.3 getitem函数 1.4测试函数
2. transforms文件 2.1裁切函数和翻转函数 2.2上\下采样函数 2.3加入随机因子的上\下采样函数 2.4填充函数 2.5标准图像函数 2.6标准化函数 2.7归一化函数 2.8反归一化 2.9添加噪声的函数 2.10转换函数 2.11反归一化函数(全)
3. 类 3.1随机裁剪函数: 3.2中心裁剪类 3.3上\下采样类 3.4随机上\下采样类: 3.5标准图像函数 3.6归一化图像类 3.7随机翻转类 3.8 填充类 3.9采样间隔类 3.10添加噪声类 3.11基本变换log(1x), 数据变换 3.12 改变维度类
4. 总结 1. dataset文件 1.1初始化网络 初始化参数注释: anno注解文件的路径 preload是否将整个数据集加载到内存中 sample_ratio地震数据的下采样率(时间域每个几个数据采样, 一般为1) file_size每个 NPY 文件中的样本 # transform_data|label应用于数据或标签的转换 将anno文件打开, 里面存放的是数据的地址, 用f.readlines(读取文件,每一行作为列表的一个元素)打开. 如果preload选择为true则将数据全部加载到内存中, 接着构造两个列表用于存放数据和标签. 用for读取batches中每一个列表元素(文件的地址), 接着读取文件返回给data_list, label_list def __init__(self, anno, preloadTrue, sample_ratio1, file_size500,transform_dataNone, transform_labelNone):if not os.path.exists(anno):print(fAnnotation file {anno} does not exists)self.preload preloadself.sample_ratio sample_ratioself.file_size file_sizeself.transform_data transform_dataself.transform_label transform_labelwith open(anno, r) as f:self.batches f.readlines()if preload: self.data_list, self.label_list [], []for batch in self.batches[:-1]: data, label self.load_every(batch)self.data_list.append(data)if label is not None:self.label_list.append(label) 1.2load_every函数 我们将传入的batch打开,用\t作为中间分隔, batch batch.split(\t), 返回的是一个列表,里面是用\t分隔的元素. 接着判断是否有标签,找到data的路径和labels的路径,将其转换为float32(label.astype(float43)). def load_every(self, batch):batch batch.split(\t)data_path batch[0] if len(batch) 1 else batch[0][:-1]data np.load(data_path)[:, :, ::self.sample_ratio, :]data data.astype(float32)if len(batch) 1:label_path batch[1][:-1] label np.load(label_path)label label.astype(float32)else:label Nonereturn data, label 1.3 getitem函数 拿到数据的索引batch_inx, sample_idx. 若是全部加载到内存里面(preload true), 直接选取就行. 若没有加载到内存, 读取batches中索引,返回到数据data, label里面. self.transform_data和self.transform_labels将数据转换为对应的格式(标准化之类的) def __getitem__(self, idx):batch_idx, sample_idx idx // self.file_size, idx % self.file_sizeif self.preload:data self.data_list[batch_idx][sample_idx]label self.label_list[batch_idx][sample_idx] if len(self.label_list) ! 0 else Noneelse:data, label self.load_every(self.batches[batch_idx])data data[sample_idx]label label[sample_idx] if label is not None else Noneif self.transform_data:data self.transform_data(data)if self.transform_label and label is not None:label self.transform_label(label)return data, label if label is not None else np.array([]) 1.4测试函数
if __name__ __main__:transform_data Compose([T.LogTransform(k1),T.MinMaxNormalize(T.log_transform(-61, k1), T.log_transform(120, k1))])transform_label Compose([T.MinMaxNormalize(2000, 6000)])dataset FWIDataset(fdata_and_labels.txt, transform_datatransform_data, transform_labeltransform_label, file_size1)data, label dataset[0]print(data.shape)print(label.shape) 这一段没什么讲的---完成数据的读取啦!
2. transforms文件 2.1裁切函数和翻转函数 注释即说明了一切
def crop(vid, i, j, h, w):裁剪大小,vid是图像数据, i,j为裁剪起点,h,w为需要保留的大小:param vid::param i::param j::param h::param w::return:return vid[..., i:(i h), j:(j w)]def center_crop(vid, output_size):中心裁剪, vid-数据,outsize-中心裁剪的大小:param vid::param output_size::return:h, w vid.shape[-2:]th, tw output_sizei int(round((h - th) / 2.))j int(round((w - tw) / 2.))return crop(vid, i, j, th, tw)def hflip(vid):水平翻转图像, dim必须为元组(若dim (-2,-1), 则不仅水平翻转,竖直也翻转):param vid::return:return vid.flip(dims(-1,)) 2.2上\下采样函数 代码注释一目了然(通过插值实现)
def resize(vid, size, interpolationbilinear):# NOTE: using bilinear interpolation because we dont work on minibatches# at this level用于上下采样(通过插值改变图像大小),:param vid: 图像数据N,C,H,W:param size: 改变到size大小,size为整数或者元祖(元组:就是将数据缩小到元组大小)(整数:将数据放大或者缩小到整数大小倍):param interpolation: 选择插值模式-bilinear,nearest,linear,bilinear,bicubic,trilinear,area.需要再去查一般默认(bilinear):return:返回修改之后的数据scale Noneif isinstance(size, int):scale float(size) / min(vid.shape[-2:])size Nonereturn torch.nn.functional.interpolate(vid, sizesize, scale_factorscale, modeinterpolation, align_cornersFalse) 2.3加入随机因子的上\下采样函数
def random_resize(vid, size, random_factor, interpolationbilinear):# NOTE: using bilinear interpolation because we dont work on minibatches# at this level:param vid:数据N,C,H,W:param size:可以是int形,则直接返回size*随机因子的大小;也可以是元祖,返回(tuple[0],tuple[1])*随机因子大小:param random_factor:放大因子:param interpolation:双线性插值:return:返回N,C,H1,W1scale Noner 1 random.random() * (random_factor - 1)if isinstance(size, int):scale float(size) / min(vid.shape[-2:]) * rsize Noneelse:size tuple([int(elem * r) for elem in list(size)])return torch.nn.functional.interpolate(vid, sizesize, scale_factorscale, modeinterpolation, align_cornersFalse) 2.4填充函数
mode填充模式默认为 padding_modeconstant。可选的模式包括 constant使用常数值填充。reflect以边界为轴镜像反射填充。replicate以边界为轴复制边界值填充。circular以边界为轴循环填充。
def pad(vid, padding, fill0, padding_modeconstant)::param vid: 数据:param padding: 元祖或者整数,在原本数据上填充的维度大小:param fill:填充值(默认为0):param padding_mode:填充模式:return:数据结果# NOTE: dont want to pad on temporal dimension, so let as non-batch# (4d) before padding. This works as expectedreturn torch.nn.functional.pad(vid, padding, valuefill, modepadding_mode) 2.5标准图像函数
def to_normalized_float_tensor(vid):数据标准化:param vid:数据:return: 通常用于将像素值从 0-255 范围映射到 0-1 之间return vid.permute(3, 0, 1, 2).to(torch.float32) / 255 2.6标准化函数 这里有点没搞懂的是它的mean和std的维度是什么?还有对应的数据维度,下来到具体示例代码中再看看
def normalize(vid, mean, std):这里没有理解:param vid: 数据:param mean:均值:param std:标准差:return:shape (-1,) (1,) * (vid.dim() - 1)mean torch.as_tensor(mean).reshape(shape)std torch.as_tensor(std).reshape(shape)return (vid - mean) / std 2.7归一化函数
def minmax_normalize(vid, vmin, vmax, scale2):将像素缩放到0~1 scale 2;将像素缩放到-1~1 scale else:param vid: :param vmin: :param vmax: :param scale: :return: vid - vminvid / (vmax - vmin)return (vid - 0.5) * 2 if scale 2 else vid 2.8反归一化
def minmax_denormalize(vid, vmin, vmax, scale2):用于反归一化:param vid: :param vmin: :param vmax: :param scale: :return: if scale 2:vid vid / 2 0.5return vid * (vmax - vmin) vmin 2.9添加噪声的函数 信噪比, 噪声功率, 信号功率等知识详见---博客
def add_noise(data, snr):用于给输入数据添加噪声的函数:param data::param snr::return:sig_avg_power_db 10*np.log10(np.mean(data**2))noise_avg_power_db sig_avg_power_db - snrnoise_avg_power 10**(noise_avg_power_db/10)noise np.random.normal(0, np.sqrt(noise_avg_power), data.shape)noisy_data data noisereturn noisy_data 2.10转换函数
def log_transform(data, k1, c0):转换函数,log(1(|data|c))*sign(data):param data: :param k: :param c: :return: return (np.log1p(np.abs(k * data) c)) * np.sign(data)
def log_transform_tensor(data, k1, c0):给予torch的转换函数:param data: :param k: :param c: :return: return (torch.log1p(torch.abs(k * data) c)) * torch.sign(data)
def exp_transform(data, k1, c0):数据转换 (e^(|data|-c)-1)*sign(data)/k:param data::param k::param c::return:return (np.expm1(np.abs(data)) - c) * np.sign(data) / k 2.11反归一化函数(全)
def tonumpy_denormalize(vid, vmin, vmax, expTrue, k1, c0, scale2):对数据进行反归一化, 这里的反归一化和之前minmax_denormalize不同在于 考虑到了vmax和vmin是否为变换过的数据 若vmax和vmin是变换过的数据则修改相应的参数:param vid: :param vmin: :param vmax: :param exp: :param k: :param c: :param scale: :return: if exp:vmin log_transform(vmin, kk, cc) vmax log_transform(vmax, kk, cc) vid minmax_denormalize(vid.cpu().numpy(), vmin, vmax, scale)return exp_transform(vid, kk, cc) if exp else vid
3. 类 3.1随机裁剪函数:
class RandomCrop(object):本质上是关于随机作为像素起点的裁剪ex :randomcrop RandomCrop(size)result randomcrop(vid)def __init__(self, size)::param size:裁剪结果的大小self.size sizestaticmethoddef get_params(vid, output_size):Get parameters for crop for a random crop.h, w vid.shape[-2:]th, tw output_sizeif w tw and h th:return 0, 0, h, wi random.randint(0, h - th)j random.randint(0, w - tw)return i, j, th, twdef __call__(self, vid):i, j, h, w self.get_params(vid, self.size)return crop(vid, i, j, h, w) 3.2中心裁剪类
class CenterCrop(object):def __init__(self, size):self.size sizedef __call__(self, vid):return center_crop(vid, self.size) 3.3上\下采样类
class Resize(object):def __init__(self, size):self.size sizedef __call__(self, vid):return resize(vid, self.size) 3.4随机上\下采样类:
class RandomResize(object):def __init__(self, size, random_factor1.25):self.size sizeself.factor random_factordef __call__(self, vid):return random_resize(vid, self.size, self.factor) 3.5标准图像函数
class ToFloatTensorInZeroOne(object):def __call__(self, vid):return to_normalized_float_tensor(vid)
class Normalize(object):def __init__(self, mean, std):self.mean meanself.std stddef __call__(self, vid):return normalize(vid, self.mean, self.std) 3.6归一化图像类
class MinMaxNormalize(object):def __init__(self, datamin, datamax, scale2):self.datamin dataminself.datamax datamaxself.scale scaledef __call__(self, vid):return minmax_normalize(vid, self.datamin, self.datamax, self.scale) 3.7随机翻转类
class RandomHorizontalFlip(object):def __init__(self, p0.5):self.p pdef __call__(self, vid):if random.random() self.p:return hflip(vid)return vid 3.8 填充类
class Pad(object):def __init__(self, padding, fill0):self.padding paddingself.fill filldef __call__(self, vid):return pad(vid, self.padding, self.fill) 3.9采样间隔类
class TemporalDownsample(object):def __init__(self, rate1):self.rate ratedef __call__(self, vid):return vid[::self.rate] 3.10添加噪声类
class AddNoise(object):def __init__(self, snr10):self.snr snrdef __call__(self, vid):return add_noise(vid, self.snr) 3.11基本变换log(1x), 数据变换
class LogTransform(object):def __init__(self, k1, c0):self.k kself.c cdef __call__(self, data):return log_transform(data, kself.k, cself.c)class ToTensor(object):Convert ndarrays in sample to Tensors.# def __init__(self, device):# self.device devicedef __call__(self, sample):return torch.from_numpy(sample) 3.12 改变维度类 这段代码没有搞明白 后面涉及到用法的时候再看看.
class PCD(object):def __init__(self, n_comp8):self.pca PCA(n_componentsn_comp)def __call__(self, data):data data.reshape((data.shape[0], -1))feat_mean data.mean(axis0)data - np.tile(feat_mean, (data.shape[0], 1))pc self.pca.fit_transform(data)pc pc.reshape((-1,))pc pc[:, np.newaxis, np.newaxis]return pcclass StackPCD(object):def __init__(self, n_comp(32, 8)):self.primary_pca PCA(n_componentsn_comp[0])self.secondary_pca PCA(n_componentsn_comp[1])def __call__(self, data):data np.transpose(data, (0, 2, 1))primary_pc []for sample in data:feat_mean sample.mean(axis0)sample - np.tile(feat_mean, (sample.shape[0], 1))primary_pc.append(self.primary_pca.fit_transform(sample))primary_pc np.array(primary_pc)data primary_pc.reshape((data.shape[0], -1))feat_mean data.mean(axis0)data - np.tile(feat_mean, (data.shape[0], 1))secondary_pc self.secondary_pca.fit_transform(data)secondary_pc secondary_pc.reshape((-1,))secondary_pc pc[:, np.newaxis, np.newaxis]return secondary_pc
4. 总结 主要是open-FWI文件中dataset类和transforms类. 两个类的任务分别是加载数据, 和对数据进行一定的转换(裁剪,分割,函数变换等) 存在的问题:有两个函数没弄明白3.12和2.6, 具体等到用法的时候再回来看看
