
深層学習ノートブック TensorFlow 公式の5-flowersで深層学習 ~LM(線形モデル)
1. はじめに
TensorFlow公式から花のデータを取得して深層学習を行います。
・TensorFlow公式からなのでデータ取得が容易
・ファイル形式が確認しやすい
・マルチクラス分類を試すのによい
・画像サイズや枚数が適度(約 3,600 枚、各クラス 700 枚前後)
自分で猫や自動車など画像を集めて学習を行うときにも使えると思います。
ラベルについて一続きのインデックスとするため訓練用データとテスト用データに分割する前にラベルとインデックスを取得する形にしました。
(実行環境:Google Colaboratory )
更新:
TensorBoardを追加
訓練用とテスト用データとの分割を9:1とし、学習時に訓練用データから検証用データを分割
テスト用データでモデルを評価
今後のモデルとの比較のため、batch size を32、epochを20 に設定
2. ライブラリのインポート
(もとはTensorFlow 1.x がインポート されていたが2.x に変更、from six.moves import urllib から import urllib に変更)
import os
import random
import urllib
import numpy as np
import matplotlib.pyplot as plt
import tensorflow as tf3. 花のデータのダウンロード
花のデータをダウンロードする関数を作成する。
FLOWERS_DIR = './flower_photos'
def download_images():
"""If the images aren't already downloaded, save them to FLOWERS_DIR."""
if not os.path.exists(FLOWERS_DIR):
DOWNLOAD_URL = 'http://download.tensorflow.org/example_images/flower_photos.tgz'
print('Downloading flower images from %s...' % DOWNLOAD_URL)
urllib.request.urlretrieve(DOWNLOAD_URL, 'flower_photos.tgz')
!tar xfz flower_photos.tgz
print('Flower photos are located in %s' % FLOWERS_DIR)os.path.exist ファイルやディレクトリ(フォルダ)が存在するかどうか調べる関数。 パスが存在しているか(有効なパスか)を確認し、ファイルでもディレクトリでも、存在していればTrue、存在していなければFalseを返す。
花のデータファイルのディレクトリ名(FLOWERS_DIR)を flower_photos とする。 if not os.path.exists(FLOWERS_DIR): としているので、flower_photos というディレクトリがなければこの名前で展開。
urllib.request.urlretrieve URLを指定してファイルをダウンロードする。 第一引数にURL、第二引数に保存先のパスを指定。
!tar xfz flower_photos.tgz シェルコマンドtar xfzでflower_photo.tgz ファイルを展開する。
作成した download_images関数を使用して花のデータをダウンロードする。
download_images()4. ラベルを取得
含まれているディレクトリとファイルを確認
print(os.listdir(FLOWERS_DIR))
# -> ['sunflowers', 'LICENSE.txt', 'daisy', 'dandelion', 'tulips', 'roses']
ルートディレクトリ(./flower_photos)の下で、LICENCE.txt以外のディレクトリ(フォルダ)名がラベル名となっている
ラベル名=クラス名を取得を取得
class_names = sorted([d for d in os.listdir(FLOWERS_DIR) if os.path.isdir(os.path.join(FLOWERS_DIR, d))])
print("class name:", class_names)
# -> class name: ['daisy', 'dandelion', 'roses', 'sunflowers', 'tulips']5. 画像とラベルを取得
画像のパスと数値化したラベルを取得する
flower_filename = []
labels = []
for class_name in class_names:
class_dir = os.path.join(FLOWERS_DIR, class_name)
for fname in os.listdir(class_dir):
if fname.lower().endswith((".jpg", ".jpeg", ".png")):
flower_filename.append(os.path.join(class_dir, fname))
labels.append(class_names.index(class_name))NumPy配列に変換する
flower_filename = np.array(flower_filename)
labels = np.array(labels)6. 訓練用データとテスト用データに分割
scikit-learn の train_test_split を使用
TensorFlowには訓練用とテスト用にデータを分割する関数はない。分割する関数を自作することもできるがよく使われているscikit-learnの関数を使用。
test_size=0.1 で、訓練用とテスト用を 9:1 とした。またデータ数が比較的少ないため stratify=labels として種類ごとの著しい偏りがないよう設定している。
from sklearn.model_selection import train_test_split
filename_train,filename_test, label_train_idx, label_test_idx = train_test_split(
flower_filename, labels, test_size=0.1, stratify=labels, random_state=42
)
# 確認
print("例: ", filename_train[0], "→ クラス:", class_names[label_train_idx[0]])
# -> 例: ./flower_photos/sunflowers/7721658400_0dec46d225.jpg → クラス: sunflowers7. 画像データを処理
画像を読み込み、テンソルに変換してTensorFlowの学習モデルで使用できる形に処理する関数を作成
def read_and_decode(filename, reshape_dims):
img = tf.io.read_file(filename)
img = tf.image.decode_jpeg(img, channels=3)
img = tf.image.convert_image_dtype(img, tf.float32)
img = tf.image.resize(img, reshape_dims)
return imgtf.io.read_file 関数
画像データをファイルからバイト列として読み込む。tf.io.read_file関数関数で読み込んだ時点でテンソル型となる。
tf.image.decode_jpeg 関数
バイトデータをピクセルデータに変換する。channels=3で3つのカラーチャンネルだけを使用し4つ目の透明度は使わないよう指定している。データ型は[0, 255]の範囲のuint8となる。
tf.image.convert_image_dtype 関数
uint8を[0, 1]の範囲の浮動小数点数に変換する。
tf.image.resize 関数
画像を指定したサイズにリサイズする。
8. データの可視化
上で作ったdef read_and_decode関数を使って画像を表示する関数を作成
Matplotlibで表示するためnumpy()メソッドでNumPyの配列に変換
def show_image(filename):
img = read_and_decode(filename, [IMG_HEIGHT, IMG_WIDTH])
plt.imshow(img.numpy())9. 画像サイズの指定
学習で読み込ませる画像のサイズを指定
IMG_HEIGHT = 224
IMG_WIDTH = 224
IMG_CHANNELS = 310. 画像データをテンソルに変換
作成した関数に画像データを読み込ませるために、tf.convert_to_tensorで画像データをNumpy配列からテンソルに変換
filename_train = tf.convert_to_tensor(filename_train)
filename_test = tf.convert_to_tensor(filename_test)11. 画像データを処理
訓練用とテスト用の画像データを作成した関数で処理
tf.map_fnで画像データに関数を逐次適用していく
img_train = tf.map_fn(lambda x: read_and_decode(x, [IMG_HEIGHT, IMG_WIDTH]), filename_train, dtype=tf.float32)
img_test = tf.map_fn(lambda x: read_and_decode(x, [IMG_HEIGHT, IMG_WIDTH]), filename_test, dtype=tf.float32)12. 画像とラベルの表示
ランダムに選んだデータについて画像とラベルを表示
num = np.random.choice(len(img_train))
plt.imshow(img_train[num].numpy())
print(class_names[label_train_idx[num]])dandelion

13. ラベルをテンソルに変換
tf.convert_to_tensorでラベルをNumpy配列からテンソルに変換
label_train_idx = tf.convert_to_tensor(label_train_idx)
label_test_idx = tf.convert_to_tensor(label_test_idx)14. モデルを作成
最もシンプルな線形モデルを作成
Sequential APIを使用
tf.keras.layers.Flattenで入力データを一次元化
出力はラベルの数
多クラス分類にて出力層の関数はsoftmax
model = tf.keras.Sequential(
[
tf.keras.layers.Flatten(
input_shape=(IMG_HEIGHT, IMG_WIDTH, IMG_CHANNELS)
),
tf.keras.layers.Dense(5, activation="softmax"),
]15. モデルを確認
summaryでモデルを確認
model.summary()
plot_modelでもモデルを確認
tf.keras.utils.plot_model(model, show_shapes=True, show_layer_names=False)
16. 学習を設定
compileで学習を設定
最適化アルゴリズムはadam
ラベルは整数のインデックスなので損失関数はSparseCategoricalCrossentropy
評価指標はaccuracy
model.compile(
optimizer="adam",
#loss='categorical_crossentropy',
loss='sparse_categorical_crossentropy',
metrics=["accuracy"],
)17. 学習を実行
fitで学習を実行
訓練に img_train、label_train_idx、validation_split=0.1として検証データを分割
batch sizeは32に設定
処理の回数epochは20に設定
学習可視化ツール TensorBoardを動かすコードを追加
from tensorflow.keras.callbacks import TensorBoard
# Load the TensorBoard notebook extension
%load_ext tensorboard
tsb=TensorBoard(log_dir='./logs')
history = model.fit(img_train, label_train_idx, batch_size=32, epochs=20, validation_split=0.1, callbacks=[tsb])
18. TensorBoardを表示
TensorBoardを使って学習の推移を可視化
%tensorboard --logdir logs
19. モデルの評価
testデータを使用してモデルを評価
evaluateを使用
test_loss, test_accuracy = model.evaluate(img_test, label_test_idx, verbose=2)
print("test_accuracy: {}".format(test_accuracy))
print("test_loss: {}".format(test_loss))
シンプルな線形モデルなので精度は高くない
(今後のモデルとの比較とする)
参考:
TensorFlow 転移学習で花を分類する
https://www.tensorflow.org/hub/tutorials/image_feature_vector?hl=ja