
深層学習ノートブック TensorFlow 公式の 5-flowers で深層学習 ~ CNN
はじめに
TensorFlow公式から取得した花のデータを対象として、CNN(畳み込みニューラルネットワーク)を適用しました。
CNNでは画像データの特徴を抽出するための畳み込みフィルターを使用します。
2 ~ 13 はデータの取得と変換のコードで、 5-flowers 線形モデルと同じです。各関数などの詳細は下記を参照してください。
https://note.com/mgktaq/n/nf25a06bccdc6
(実行環境:Google Colaboratory )
1. 畳み込みニューラルネットワーク(CNN)について
畳み込み層では、画像のある領域(例えば3×3)に対して重みの行列(フィルタ)を掛ける演算を行う。
このフィルタ(畳み込みフィルタ)を適用する位置スライドさせていき、画像全体に対して処理を行う。
次に、プーリング層で、ある領域に対して特徴量を抽出する操作を行う。
畳み込み層とプーリング層をワンセットとする。
2. ライブラリのインポート
import os
import random
import urllib
import numpy as np
import matplotlib.pyplot as plt
import tensorflow as tf3. 花のデータのダウンロード
FLOWERS_DIR = './flower_photos'
def download_images():
"""If the images aren't already downloaded, save them to FLOWERS_DIR."""
if not os.path.exists(FLOWERS_DIR):
DOWNLOAD_URL = 'http://download.tensorflow.org/example_images/flower_photos.tgz'
print('Downloading flower images from %s...' % DOWNLOAD_URL)
urllib.request.urlretrieve(DOWNLOAD_URL, 'flower_photos.tgz')
!tar xfz flower_photos.tgz
print('Flower photos are located in %s' % FLOWERS_DIR)作成した download_images関数を使用して花のデータをダウンロード
download_images()4. ラベルを取得
print(os.listdir(FLOWERS_DIR))
# -> ['sunflowers', 'LICENSE.txt', 'daisy', 'dandelion', 'tulips', 'roses']ラベル名=クラス名を取得を取得
class_names = sorted([d for d in os.listdir(FLOWERS_DIR) if os.path.isdir(os.path.join(FLOWERS_DIR, d))])
print("class name:", class_names)
# -> class name: ['daisy', 'dandelion', 'roses', 'sunflowers', 'tulips']5. 画像とラベルを取得
flower_filename = []
labels = []
for class_name in class_names:
class_dir = os.path.join(FLOWERS_DIR, class_name)
for fname in os.listdir(class_dir):
if fname.lower().endswith((".jpg", ".jpeg", ".png")):
flower_filename.append(os.path.join(class_dir, fname))
labels.append(class_names.index(class_name))NumPy配列に変換
flower_filename = np.array(flower_filename)
labels = np.array(labels)6. 訓練用データとテスト用データに分割
from sklearn.model_selection import train_test_split
filename_train,filename_test, label_train_idx, label_test_idx = train_test_split(
flower_filename, labels, test_size=0.2, stratify=labels, random_state=42
)
# 確認
print("例: ", filename_train[0], "→ クラス:", class_names[label_train_idx[0]])
# -> 例: ./flower_photos/roses/16374919860_4e445de29f_n.jpg → クラス: roses7. 画像データを処理
def read_and_decode(filename, reshape_dims):
img = tf.io.read_file(filename)
img = tf.image.decode_jpeg(img, channels=3)
img = tf.image.convert_image_dtype(img, tf.float32)
img = tf.image.resize(img, reshape_dims)
return img8. データの可視化
def show_image(filename):
img = read_and_decode(filename, [IMG_HEIGHT, IMG_WIDTH])
plt.imshow(img.numpy())9. 画像サイズの指定
IMG_HEIGHT = 224
IMG_WIDTH = 224
IMG_CHANNELS = 310. 画像データをテンソルに変換
filename_train = tf.convert_to_tensor(filename_train)
filename_test = tf.convert_to_tensor(filename_test)11. 画像データを処理
img_train = tf.map_fn(lambda x: read_and_decode(x, [IMG_HEIGHT, IMG_WIDTH]), filename_train, dtype=tf.float32)
img_test = tf.map_fn(lambda x: read_and_decode(x, [IMG_HEIGHT, IMG_WIDTH]), filename_test, dtype=tf.float32)12. 画像とラベルの表示
num = np.random.choice(len(img_train))
plt.imshow(img_train[num].numpy())
print(class_names[label_train_idx[num]])13. ラベルをテンソルに変換
label_train_idx = tf.convert_to_tensor(label_train_idx)
label_test_idx = tf.convert_to_tensor(label_test_idx)14. モデルを作成
tf.Sequential で学習モデルの layer を構築
畳み込み→MaxPooling を2回行う。
畳み込み層、フィルター数は1回目が32、2回目が62、カーネルサイズはどちらも 3×3 で、活性化関数はReLU
Flattenで一次元化後に、全結合層、活性化関数はReLU
ドロップアウトを0.4 で設定
出力はラベルの数、多クラス分類にて出力層の関数はsoftmax
model = tf.keras.Sequential(
[
tf.keras.Input(shape=(IMG_HEIGHT, IMG_WIDTH, IMG_CHANNELS)),
tf.keras.layers.Conv2D(32,(3, 3), activation="relu", padding="same"),
tf.keras.layers.MaxPooling2D((2, 2)),
tf.keras.layers.Conv2D(64,(3, 3), activation="relu", padding="same"),
tf.keras.layers.MaxPooling2D((2, 2)),
tf.keras.layers.Flatten(),
tf.keras.layers.Dense(128, activation="relu"),
tf.keras.layers.Dropout(0.4),
tf.keras.layers.Dense(5, activation="softmax"),
]
)15. モデルを確認
summaryでモデルを確認
ユニット数は 150528(入力)→512(全結合層1)→batch normalization →活性化関数 →dropout →128(全結合層2)→batchnormalization →活性化関数 →dropout →5(出力)の流れ
(150528は 224×224×3 の一元化)
model.summary()
plot_modelでもモデルを確認
tf.keras.utils.plot_model(model, show_shapes=True, show_layer_names=False)
16. 学習を設定
最適化アルゴリズムはadam
compileで学習を設定 ラベルは整数のインデックスなので損失関数はSparseCategoricalCrossentropy
評価指標はaccuracy
optimizer = tf.keras.optimizers.Adam(learning_rate=0.0001)
model.compile(
optimizer=optimizer,
loss='sparse_categorical_crossentropy',
metrics=["accuracy"],
)17. 学習を実行
fitで学習を実行
訓練に img_train、label_train_idx、validation_split=0.1として検証データを分割
batch sizeは32に設定
epochは40に設定
TensorBoardを使用
from tensorflow.keras.callbacks import TensorBoard
# Load the TensorBoard notebook extension
%load_ext tensorboard
tsb=TensorBoard(log_dir='./logs')
history = model.fit(img_train, label_train_idx, batch_size=32, epochs=40, validation_split=0.1, callbacks=[tsb])学習の結果
18. TensorBoardを表示
%tensorboard --logdir logs
19. モデルの評価
testデータを使用してモデルを評価
evaluateを使用
test_loss, test_accuracy = model.evaluate(img_test, label_test_idx, verbose=2)
print("test_accuracy: {}".format(test_accuracy))
print("test_loss: {}".format(test_loss))
畳み込みニューラルネットワークで訓練の精度は著しく向上したが、検証、評価の精度改善は限定的
参考:
TensorFlow 転移学習で花を分類する
https://www.tensorflow.org/hub/tutorials/image_feature_vector?hl=ja