Keras内置数据集

目录

1、MNIST数字分类数据集

2、CIFAR10小图像分类数据集??

3、CIFAR100小图像分类数据集

?4、IMDB电影评论情感分类数据集

?参数说明

imdb_word_index.json

示例

?5、路透社新闻专线分类数据集

reuters_word_index.json

6、Fashion MNIST数据集

7、加州房价回归数据集?

参数说明?

---

1、MNIST数字分类数据集

包含60000个10位数的28x28灰度图像的数据集，以及10000个图像的测试集

1、加载本地mnist.npz格式数据

keras.datasets.mnist.load_data(path="mnist.npz")

2、?使用keras.datasets.mnist.load_data()函数加载MNIST数据集

(x_train, y_train), (x_test, y_test) = keras.datasets.mnist.load_data()

#检查训练集和测试集的形状
assert x_train.shape == (60000, 28, 28)
assert x_test.shape == (10000, 28, 28)
assert y_train.shape == (60000,)
assert y_test.shape == (10000,)

2、CIFAR10小图像分类数据集??

这是一个由50000张32x32彩色训练图像和10000张测试图像组成的数据集，标记为10个类别。

标签	类别
0	airplane
1	automobile
2	bird
3	cat
4	deer
5	dog
6	frog
7	horse
8	ship
9	truck

使用?keras.datasets.cifar10.load_data()加载数据集

(x_train, y_train), (x_test, y_test) = keras.datasets.cifar10.load_data()

#检查训练集和测试集的形状
assert x_train.shape == (50000, 32, 32, 3)
assert x_test.shape == (10000, 32, 32, 3)
assert y_train.shape == (50000, 1)
assert y_test.shape == (10000, 1)

3、CIFAR100小图像分类数据集

该数据集与 CIFAR-10 类似，不同之处在于它有 100 个类，每个类包含 600 张图像。每类有 500 张训练图像和 100 张测试图像。CIFAR-100 中的 100 个类分为 20 个超类。每个图像都带有一个“精细”标签（它所属的类）和一个“粗略”标签（它所属的超类）

超类	类别
aquatic mammals	beaver, dolphin, otter, seal, whale
fish	aquarium fish, flatfish, ray, shark, trout
flowers	orchids, poppies, roses, sunflowers, tulips
food containers	bottles, bowls, cans, cups, plates
fruit and vegetables	apples, mushrooms, oranges, pears, sweet peppers
household electrical devices	clock, computer keyboard, lamp, telephone, television
household furniture	bed, chair, couch, table, wardrobe
insects	bee, beetle, butterfly, caterpillar, cockroach
large carnivores	bear, leopard, lion, tiger, wolf
large man-made outdoor things	bridge, castle, house, road, skyscraper
large natural outdoor scenes	cloud, forest, mountain, plain, sea
large omnivores and herbivores	camel, cattle, chimpanzee, elephant, kangaroo
medium-sized mammals	fox, porcupine, possum, raccoon, skunk
non-insect invertebrates	crab, lobster, snail, spider, worm
people	baby, boy, girl, man, woman
reptiles	crocodile, dinosaur, lizard, snake, turtle
small mammals	hamster, mouse, rabbit, shrew, squirrel
trees	maple, oak, palm, pine, willow
vehicles 1	bicycle, bus, motorcycle, pickup truck, train
vehicles 2	lawn-mower, rocket, streetcar, tank, tractor

?使用?keras.datasets.cifar100.load_data()加载数据集?

(x_train, y_train), (x_test, y_test) = keras.datasets.cifar100.load_data()

#检查训练集和测试集的形状
assert x_train.shape == (50000, 32, 32, 3)
assert x_test.shape == (10000, 32, 32, 3)
assert y_train.shape == (50000, 1)
assert y_test.shape == (10000, 1)

?4、IMDB电影评论情感分类数据集

这是来自IMDB的25000条电影评论的数据集，按情绪（积极/消极）进行标记。评论已经过预处理，每个评论都被编码为单词索引（整数）列表。

keras.datasets.imdb.load_data(
    path="imdb.npz",
    num_words=None,
    skip_top=0,
    maxlen=None,
    seed=113,
    start_char=1,
    oov_char=2,
    index_from=3,
    **kwargs
)

?参数说明

• path：数据存储的位置。
• num_words:integer或None。单词根据它们出现的频率（在训练集中）进行排名，并且只保留最频繁的num_Words单词。任何不太频繁的单词都将在序列数据中显示为oov_char值。如果“无”，则保留所有单词。默认为“无”。
• skip_top：跳过前N个最频繁出现的单词（可能没有信息）。这些单词将在数据集中显示为oov_char值。当为0时，不跳过任何单词。默认值为0。
• maxlen:int或None。最大序列长度。任何较长的序列都将被截断。无，意味着没有截断。默认为“无”。
• seed:int，用于可再现数据混洗的种子。
• start_char：int。序列的开头将用这个字符标记。0通常是填充字符。默认值为1。
• oov_char:int，词汇表外的字符。由于num_Words或skip_top限制而被剪切掉的单词将被替换为此字符。
• index_from:int，使用此索引或更高的索引实际单词。

imdb_word_index.json

单词索引词典。键是字符串，值是它们的索引

使用keras.datasets.imdb.get_word_index函数加载imdb_word_index.json

keras.datasets.imdb.get_word_index(path="imdb_word_index.json")

示例

# 导入Keras库中的IMDB数据集
import keras.datasets.imdb

# 设置起始字符的索引为1
start_char = 1

# 设置未知字符的索引为2
oov_char = 2

# 设置索引从3开始
index_from = 3

# 使用默认参数加载IMDB数据集的训练数据，并只获取训练序列（不获取测试序列）
(x_train, _), _ = keras.datasets.imdb.load_data(
    start_char=start_char, oov_char=oov_char, index_from=index_from
)

# 获取单词到索引的映射文件
word_index = keras.datasets.imdb.get_word_index()

# 反转单词索引，得到一个将索引映射到单词的字典
# 并将`index_from`添加到索引中，以与`x_train`同步
inverted_word_index = dict(
    (i + index_from, word) for (word, i) in word_index.items()
)

# 更新`inverted_word_index`，包含`start_char`和`oov_char`
inverted_word_index[start_char] = "[START]"
inverted_word_index[oov_char] = "[OOV]"

# 解码数据集中的第一个序列
decoded_sequence = " ".join(inverted_word_index[i] for i in x_train[0])

?5、路透社新闻专线分类数据集

这是一个由路透社11228条新闻专线组成的数据集，标签超过46个主题。

keras.datasets.reuters.load_data(
    path="reuters.npz",
    num_words=None,
    skip_top=0,
    maxlen=None,
    test_split=0.2,
    seed=113,
    start_char=1,
    oov_char=2,
    index_from=3,
)

?参数说明

• path：指定了保存数据的npz文件路径，这里设置为"reuters.npz"。
• num_words：用于指定要保留的单词数量，设置为None表示保留所有单词。
• skip_top：用于指定要跳过的最常见的单词数量，设置为0表示不跳过任何单词。
• maxlen：用于指定每个输入序列的最大长度，设置为None表示使用默认值。
• test_split：参数用于指定测试集所占的比例，设置为0.2表示测试集占20%。
• seed：参数用于指定随机数生成器的种子，设置为113以确保结果可重复。
• start_char和oov_char：分别用于指定未知单词的起始字符和未知单词的输出字符，设置为1和2。
• index_from：参数用于指定索引的起始值，设置为3表示从3开始编号。

reuters_word_index.json

检索一个dict，将单词映射到路透社数据集中的索引。实际的单词索引从3开始，保留了3个索引：0（填充）、1（开始）、2（oov）。例如，“the”的单词索引为1，但在实际的训练数据中，“the”的索引将为1+3=4。反之亦然，要使用此映射将训练数据中的单词索引翻译回单词，索引需要减去3。

使用keras.datasets.reuters.get_word_index加载imdb_word_index.json

keras.datasets.reuters.get_word_index(path="reuters_word_index.json")

6、Fashion MNIST数据集

这是一个由10个时尚类别的60000张28x28灰度图像组成的数据集，以及10000张图像的测试集

标签	类别
0	T-shirt/top
1	Trouser
2	Pullover
3	Dress
4	Coat
5	Sandal
6	Shirt
7	Sneaker
8	Bag
9	Ankle boot

?使用fashion_mnist.load_data()加载

(x_train, y_train), (x_test, y_test) = fashion_mnist.load_data()

#检查测试集和训练集
assert x_train.shape == (60000, 28, 28)
assert x_test.shape == (10000, 28, 28)
assert y_train.shape == (60000,)
assert y_test.shape == (10000,)

7、加州房价回归数据集?

这是一个连续回归数据集，包含20640个样本，每个样本有8个特征。目标变量是一个标量：加利福尼亚地区的房屋中值，单位为美元。

使用keras.datasets.california_housing.load_data加载

keras.datasets.california_housing.load_data(
    version="large", path="california_housing.npz", test_split=0.2, seed=113
)

参数说明?

• version：“小”或“大”。小版本包含600个样本，大版本包含20640个样本。
• path：本地数据集的路径。
• testsplit：作为测试集保留的数据的一部分。
• seed：在计算测试分割之前对数据进行混洗的随机种子。