Pytorch中的图像数据库

摘要：在 PyTorch中存在有很多预先收集好的数据集合，比如在 Vision中就包含有很多图片训练集合，下面下载 FASHION MNIST 数据集合到本地，检查一下对应的数据格式。

一、前言

在 PyTorch中存在有很多预先收集好的数据集合，比如在 Vision中就包含有很多图片训练集合，下面下载 FASHION MNIST 数据集合到本地，检查一下对应的数据格式。

二、下载过程

下载Pytorch 中的 datasets 中存储的 Fashion MNIST数据库，其中包括有 60000个训练数据以及10000个测试数据。下载参数包括有四个，root 标明下载的目录，这里将数据库下载到 D 盘 temp中data 目录下。train表示用于训练。download表示是否下载到本地。如果在前面本地目录中已经有下载的数据库，就不再进行下载了。最后一个参数表明对数据和标号所进行的转换。这里将其转换成 PyTorch中的张量。下面看一下运行结果。第一次下载，需要花费一定的时间。如果已经下载，这个过程就没有了。

在指定的下载目录中，可以找到下载的文件。其中包括有四个数据文件，以及它们对应的压缩文件。这四个文件中，前面是10000个测试图像与对应的类别标号，后面是60000个训练图像以及类别标号。

Fashion MNIST的数据格式与 MNIST 格式是一致的。对于 10000个测试集合的标号，根据MNIST格式说明，文件前面有两个整形数字，之后是10000个字节。所以标号文件的长度分别是 10008，60008个字节。这说明下载的文件格式与MNIST说明的是一致的。对于图像文件，应该是在包含有28乘以28的图像基础上，还多出了16个字节的文件头数据。具体定义可以参见 MNIST文件格式说明。

▲ 图1.3.1 测试集合中前面25个图片及其标号

下面，读取下载的数据集合中的图像进行显示。通过二进制打开标号文件，省略前面8个字节。读取图像文件，省略去前面16 个字节。将图像数据，按照字节，转换成 28×28的矩阵，形成图像，绘制出来，同时给出相应的标号。下面，可以看到，测试集合前面25个图片及其标号。这说明下载的图像数据文件格式的确非常简单。

本文测试了在 Pytorch中下载 Vision中的数据库的过程。对下载的 FASHION MNIST数据文件，检查了对应的数据格式。