メインコンテンツへスキップ
見出し画像

深層学習ノートブック TensorFlow 公式の 5-flowers で深層学習 ~ CNN

    はじめに

    TensorFlow公式から取得した花のデータを対象として、CNN(畳み込みニューラルネットワーク)を適用しました。
    CNNでは画像データの特徴を抽出するための畳み込みフィルターを使用します。

    2 ~ 13 はデータの取得と変換のコードで、 5-flowers 線形モデルと同じです。各関数などの詳細は下記を参照してください。

    https://note.com/mgktaq/n/nf25a06bccdc6

    (実行環境:Google Colaboratory )

    1. 畳み込みニューラルネットワーク(CNN)について

    • 畳み込み層では、画像のある領域(例えば3×3)に対して重みの行列(フィルタ)を掛ける演算を行う。

    • このフィルタ(畳み込みフィルタ)を適用する位置スライドさせていき、画像全体に対して処理を行う。

    • 次に、プーリング層で、ある領域に対して特徴量を抽出する操作を行う。

    • 畳み込み層とプーリング層をワンセットとする。

    2. ライブラリのインポート

    import os
    import random
    import urllib
    import numpy as np
    import matplotlib.pyplot as plt
    import tensorflow as tf

    3. 花のデータのダウンロード

    FLOWERS_DIR = './flower_photos'
    
    def download_images():
      """If the images aren't already downloaded, save them to FLOWERS_DIR."""
      if not os.path.exists(FLOWERS_DIR):
        DOWNLOAD_URL = 'http://download.tensorflow.org/example_images/flower_photos.tgz'
        print('Downloading flower images from %s...' % DOWNLOAD_URL)
        urllib.request.urlretrieve(DOWNLOAD_URL, 'flower_photos.tgz')
        !tar xfz flower_photos.tgz
      print('Flower photos are located in %s' % FLOWERS_DIR)

    作成した download_images関数を使用して花のデータをダウンロード

    download_images()

    4. ラベルを取得

    print(os.listdir(FLOWERS_DIR))
    
    # -> ['sunflowers', 'LICENSE.txt', 'daisy', 'dandelion', 'tulips', 'roses']

    ラベル名=クラス名を取得を取得

    class_names = sorted([d for d in os.listdir(FLOWERS_DIR) if os.path.isdir(os.path.join(FLOWERS_DIR, d))])
    print("class name:", class_names)
    
    # -> class name: ['daisy', 'dandelion', 'roses', 'sunflowers', 'tulips']

    5. 画像とラベルを取得

    flower_filename = []
    labels = []
    
    for class_name in class_names:
        class_dir = os.path.join(FLOWERS_DIR, class_name)
        for fname in os.listdir(class_dir):
            if fname.lower().endswith((".jpg", ".jpeg", ".png")):
                flower_filename.append(os.path.join(class_dir, fname))
                labels.append(class_names.index(class_name))

    NumPy配列に変換

    flower_filename = np.array(flower_filename)
    labels = np.array(labels)

    6. 訓練用データとテスト用データに分割

    from sklearn.model_selection import train_test_split
    
    filename_train,filename_test, label_train_idx, label_test_idx = train_test_split(
        flower_filename, labels, test_size=0.2, stratify=labels, random_state=42
    )
    
    # 確認
    print("例: ", filename_train[0], "→ クラス:", class_names[label_train_idx[0]])
    
    # -> 例:  ./flower_photos/roses/16374919860_4e445de29f_n.jpg → クラス: roses

    7. 画像データを処理

    def read_and_decode(filename, reshape_dims):
        img = tf.io.read_file(filename)
        img = tf.image.decode_jpeg(img, channels=3)
        img = tf.image.convert_image_dtype(img, tf.float32)
        img = tf.image.resize(img, reshape_dims)
        return img

    8. データの可視化

    def show_image(filename):
        img = read_and_decode(filename, [IMG_HEIGHT, IMG_WIDTH])
        plt.imshow(img.numpy())

    9. 画像サイズの指定

    IMG_HEIGHT = 224
    IMG_WIDTH = 224
    IMG_CHANNELS = 3

    10. 画像データをテンソルに変換

    filename_train = tf.convert_to_tensor(filename_train)
    filename_test = tf.convert_to_tensor(filename_test)

    11. 画像データを処理

    img_train = tf.map_fn(lambda x: read_and_decode(x, [IMG_HEIGHT, IMG_WIDTH]), filename_train, dtype=tf.float32)
    img_test = tf.map_fn(lambda x: read_and_decode(x, [IMG_HEIGHT, IMG_WIDTH]), filename_test, dtype=tf.float32)

    12. 画像とラベルの表示

    num = np.random.choice(len(img_train))
    
    plt.imshow(img_train[num].numpy())
    
    print(class_names[label_train_idx[num]])

    13. ラベルをテンソルに変換

    label_train_idx = tf.convert_to_tensor(label_train_idx)
    label_test_idx = tf.convert_to_tensor(label_test_idx)

    14. モデルを作成

    tf.Sequential で学習モデルの layer を構築
    畳み込み→MaxPooling を2回行う。
    畳み込み層、フィルター数は1回目が32、2回目が62、カーネルサイズはどちらも 3×3 で、活性化関数はReLU
    Flattenで一次元化後に、全結合層、活性化関数はReLU
    ドロップアウトを0.4 で設定
    出力はラベルの数、多クラス分類にて出力層の関数はsoftmax

    model = tf.keras.Sequential(
        [
            tf.keras.Input(shape=(IMG_HEIGHT, IMG_WIDTH, IMG_CHANNELS)),
    
            tf.keras.layers.Conv2D(32,(3, 3), activation="relu", padding="same"),
            tf.keras.layers.MaxPooling2D((2, 2)),
            tf.keras.layers.Conv2D(64,(3, 3), activation="relu", padding="same"),
            tf.keras.layers.MaxPooling2D((2, 2)),
    
            tf.keras.layers.Flatten(),
            tf.keras.layers.Dense(128, activation="relu"),
            tf.keras.layers.Dropout(0.4),
            tf.keras.layers.Dense(5, activation="softmax"),
        ]
    )

    15. モデルを確認

    summaryでモデルを確認

    ユニット数は 150528(入力)→512(全結合層1)→batch normalization →活性化関数 →dropout →128(全結合層2)→batchnormalization →活性化関数 →dropout →5(出力)の流れ
    (150528は 224×224×3 の一元化)

    model.summary()
    画像

    plot_modelでもモデルを確認

    tf.keras.utils.plot_model(model, show_shapes=True, show_layer_names=False)
    画像

    16. 学習を設定

    最適化アルゴリズムはadam
    compileで学習を設定 ラベルは整数のインデックスなので損失関数はSparseCategoricalCrossentropy
    評価指標はaccuracy

    optimizer = tf.keras.optimizers.Adam(learning_rate=0.0001)
    
    model.compile(
        optimizer=optimizer,
        loss='sparse_categorical_crossentropy',
        metrics=["accuracy"],
    )

    17. 学習を実行

    fitで学習を実行
    訓練に img_train、label_train_idx、validation_split=0.1として検証データを分割
    batch sizeは32に設定
    epochは40に設定
    TensorBoardを使用

    from tensorflow.keras.callbacks import TensorBoard
    
    # Load the TensorBoard notebook extension
    %load_ext tensorboard
    
    tsb=TensorBoard(log_dir='./logs')
    
    history = model.fit(img_train, label_train_idx, batch_size=32, epochs=40, validation_split=0.1, callbacks=[tsb])

    学習の結果

    18. TensorBoardを表示

    %tensorboard --logdir logs
    画像

    19. モデルの評価

    testデータを使用してモデルを評価
    evaluateを使用

    test_loss, test_accuracy = model.evaluate(img_test, label_test_idx, verbose=2)
    print("test_accuracy: {}".format(test_accuracy))
    print("test_loss: {}".format(test_loss))
    画像

    畳み込みニューラルネットワークで訓練の精度は著しく向上したが、検証、評価の精度改善は限定的

    参考:
    TensorFlow 転移学習で花を分類する
    https://www.tensorflow.org/hub/tutorials/image_feature_vector?hl=ja


     
     

    mgktaq

     
     
    Python独学 / 画像処理・機械学習・統計 / 非エンジニアです🍀 TensorFlow / Mayavi Always Be Learning💐

    あなたへのおすすめ