メインコンテンツへスキップ
見出し画像

AI・深層学習の学習•評価に使われてるデータセットにもミスはある!?AIやるなら、知っておくべき!

    今回の内容は、AIのベンチマークに使われているデーセットって、100%の精度でラベリング(アノテーション)できてるのか?について書こうと思います。(ベンチマークとは、共通のデータを使ってAIの精度を評価する評価基準のことです。)
    AI•機械学習•深層学習に興味がある人、AIを使って実際に何かを学習させようとしてる人、AI系の論文を読んでる人、AIのデータセット作成をしている人、画像認識や自然言語処理をやりたい人に読んでいただきたいです。

    どのAIがどのくらい凄いのかを評価するために、統一したデータセットで学習させて評価することがあります。どのAIがどのくらい凄いのか、COCOやVOCと言われるデータセットを使って評価したグラフなどを見たことがある方もいらっしゃると思います!
    このデータセットも、手動でラベリング(アノテーション)しているので、人為的ミスも起こりますよ!という記事で、以降はこのラベリングミスについて詳細を書いています。今回は、画像認識に着目しています。
    AIを勉強し始めた人には、盲点だった人もいるかもしれません。

    (以降、論文の画像を添付しておりますが、CC BYなどのライセンスを確認してから添付してます。出典も記載。)

    画像認識・物体検出等のデータアノテーション

    いきなりですが、以下の画像を見てください。

    画像に写っているのは犬ですが、対応づけられているのは猫であることが分かります。
    この画像は、◯◯と呼ばれる画像認識のAIを評価する際に使われているデータセットになります。一般的には、◯◯のような統一したデータセットを使うことで、平等にAIの精度を比較評価しています。このようなAIを統一したデータセットで評価する指標をベンチマークと言います。
    このような重要なデータセットにも、ラベリングミスがあるのです。学習データにこのようなラベリングミスが含まれれば、ノイズとなり学習が上手くできなくなり精度が落ちてしまうことが考えられますし、評価データに含まれていれば、正しく評価できなくなってしまいます。
    これは、AIを学習•評価する上で重要な問題の1つです。

    画像認識におけるデータセットのラベリングミスの種類

    Quality over quantity: a data-centric survey of annotation errors in object detection datasets | Artificial Intelligence Review | Springer Nature Link

    Hussain, A., et al. (2026). Quality over quantity: a data-centric survey of annotation errors in object detection datasets. Artificial Intelligence Review.

    ①ラベル欠損

    これは、本来画像にある物体に対して、アノテーションが付いていないミスです。
    例)
    ・画像中に犬が映っているのに、バウンディングボックスが無い。
    ・画像の奥の背景に車があるのに、アノテーションされてない。
    ・小さい物体が無視されている。

    ②クラスラベル誤り

    バウンディングボックスは正しいが、クラス名が間違っているパターンです。
    例)
    ・画像に映っているのが犬なのに、猫とラベリング
    ・画像に映っているのがトラックなのに、自動車とラベリング
    ・画像に映っているのが羊なのに、牛とラベリング

    画像
    ゾウではないのに、ゾウとラベリング
    画像
    浴槽をボウルとラベリング

    ③位置誤り

    バウンディングボックスの位置が正しくないパターンです。これらにもいろいろな種類があります。
    例)
    ・バウンディングボックスが対象から少しだけズレている。
    ・バウンディングボックスが大きすぎて、対象の周りの背景も含んでしまう。人物の周りの背景も含まれる。(四角形で囲むので、多少はしょうがないが、明らかに大きく囲んでいるものを指します。)
    ・バウンディングボックスが小さすぎて、対象の一部しか囲まれていない。
    犬の頭だけ。車のタイヤだけ。

    画像
    電車の先頭がバウンディングボックスから外れている。

    ④重複アノテーション

    同じ物体に対して、複数のバウンディングボックスが付いている問題です。
    例)
    ・一台の車に2個のバウンディングボックス
    ・一個のテーブルに2個のバウンディングボックス

    画像
    二つのバウンディングボックスがある。

    ⑤グループアノテーションエラー

    複数の物体が、1つのバウンディングボックスで囲まれている。
    例)
    ・複数の人をまとめて1つのバウンディングで囲っている。

    画像
    3匹まとめて1つのバウンディングボックス

    ⑥曖昧アノテーション

    これは、人間同士でも判断が分かれるケースです。今までのミスとは異なり、難しい問題です。今までのミスはミスにさえ気づければ修正できますが、このケースは人によって意見が分かれてしまうので、間違っているのかどうか、どのように修正すればよいのか非常に難しいです。
    例)
    ・この画像は犬なのか、オオカミなのか。
    ・この画像は崖なのか、谷なのか。
    ・画像の背景に移っている画面は、PCなのか、モニターなのか。
    ・セグメンテーションでいうと、どこからが道で、どこからが路肩なのか。

    画像

    画像に映る情報からは読み解けないものや、そもそも人によって意見が分かれるようなものが存在します。これらも、考えを統一してラベリングできていればよいですが、複数人で手分けして手動でアノテーションしているとどうしてもズレが生じてしまいます。

    これらのミスは、正しく出力できても誤りとなるため、各クラスの概念があいまいになってしまいます。そして、評価時、出力に対する損失・IoU・APなどが正しくなくなってしまいます。学習精度妨げ、モデルの評価精度低下につながります。

    アノテーションミスの影響

    学習時の影響

    間違ったラベルを使ってモデルを学習させると、モデルは誤った情報を正解として学習してしまう可能性があります。

    例えば、本当は犬なのに猫とラベル付けされた画像を学習すると、モデルの判断能力に悪影響を与える可能性があります。

    評価時の影響

    モデルが正しい予測をしていても、評価用データセットの正解ラベルが間違っていれば、不正解と判定されてしまいます。その結果、本来のモデル性能よりも低い評価結果になる可能性があります。
    さらに、モデル間の性能順位が逆転するケースも報告されています。

    近年の研究では、著名なベンチマークデータセットにも無視できない量のアノテーションミスが存在することが報告されています。例えばCIFAR-10では約3%、CIFAR-100では約10%、ImageNetでは約6%程度のラベル誤りが指摘されています。また、物体検出データセットを対象とした大規模調査では、MS COCOやPascal VOCなどにもラベル欠落やバウンディングボックスの位置ずれが広く存在することが確認されています。

    データセットの品質を改善する研究も進んでいる

    こうした問題に対して、研究者たちはアノテーションエラーを自動的に検出・修正する方法を研究しています。

    代表的なアプローチは以下のとおりです。
    ・Lossによる検出
    Lossが大きいデータを調査し、ラベルミスを発見する方法
    ・不確実性推定
    モデルの予測の不確実性から問題のあるデータを特定する方法
    ・人手による検証
    アノテーションを人間が再確認する方法

    まとめ

    いかがでしたでしょうか。
    実は、我々がよく目にするベンチマークのデータセットにも様々な種類のアノテーションミスがあります。
    そして、「AIの性能を正しく評価するためには、評価に使う正解データ自体の信頼性も確認しなければならない」ということです。
    今後のAI学習のヒントにもなるかもしれません。
    これからも、AIについての興味深い内容や手法などについて記載していこうと思っています。


    1. Northcutt, C. G., Athalye, A., & Mueller, J. (2021). Pervasive Label Errors in Test Sets Destabilize Machine Learning Benchmarks. Advances in Neural Information Processing Systems (NeurIPS 2021).

    2. Beyer, L., Hénaff, O. J., Kolesnikov, A., Zhai, X., & van den Oord, A. (2020). Are we done with ImageNet? arXiv preprint arXiv:2006.07159.

    3. Tong, K., & Wu, Y. (2023). Rethinking PASCAL-VOC and MS-COCO dataset for small object detection. Journal of Visual Communication and Image Representation.

    4. Schubert, M., et al. (2024). Identifying Label Errors in Object Detection Datasets by Loss Inspection. Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV 2024).

    5. Murrugarra-Llerena, J., & Jung, C. R. (2025). Noise-Aware Evaluation of Object Detectors. Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV 2025).

    6. Rottmann, M., & Reese, M. (2023). Automated Detection of Label Errors in Semantic Segmentation Datasets via Deep Learning and Uncertainty Quantification. Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV 2023).

    7. Hussain, A., et al. (2026). Quality over quantity: a data-centric survey of annotation errors in object detection datasets. Artificial Intelligence Review.

    (論文の画像を添付しておりますが、CC BYなどのライセンスを確認してから添付してます。出典も記載。そのままの転載ができないものは、直接ご確認ください。今回は、CC BY 4.0の「Quality over quantity: a data-centric survey of annotation errors in object detection datasets」を中心に書いてみたいと思います。)

    この記事が参加している募集

     
     
    「人生の最適化とエンタメ化」 こんにちは。機械学習やAI(約5年)・英語(約1年半)・筋トレ(約4年半)頑張ってきました。そこで、機械学習系、英語系、筋トレ系の情報をメインに書いていこうと思います。 1つでも読んでもらえたら最高に嬉しいです。絶対にフォロー返します。

    あなたへのおすすめ