メインコンテンツへスキップ
見出し画像

tensorflow が 176秒 → 20秒で入った。1個の 1 GB のDLLだけ、倒せなかった

    先に言っとく 勝ったけど、負けた

    前フリ

    pip-auto っていうツールを作ってる import したのに入ってないやつを、その場で勝手に PyPI から入れてくれるやつ

    pip install pip-auto

    何が違うの? たとえ話で説明する

    引っ越しで考えてほしい

    • pip:荷物を、ぜんぶ新居に運んで、箱を開けて、部屋に並べる。ぜんぶ終わってから「どうぞ」

    • pip-auto:荷物は、倉庫に1回だけ置く。新居には「ここにあるよ」の目印だけ置く。使うものだけ、使うときに出す

    だから、入れるのが速い ただし、デカくて重い家具(1 GB のファイル)は、目印だけじゃ済まなくて、結局、運ぶ

    これが、このあと出てくる話の全部です

    これまで測ってたのは、numpy とか pandas とか、まあ、重いけど常識の範囲のやつ だから思った 一番重いやつ、ぶつけてみたくない?

    tensorflow を呼んだ

    Windows 1台、まっさらな環境、回線は制限なし ヨーイ、ドン

    pippip-auto入れる時間175.9秒20.4秒ファイルの数16,338個1,442個

    pip が 3分近く、ガリガリ書いてる間に、pip-auto はもう終わってた ファイルの数、約11分の1 「書かなくていいものは書かない」を、ちゃんとやってる

    この時点の私 天才では?

    最初の import で、地獄を見た

    入れた直後に、すぐ import tensorflow してみた

    • pip:21.6秒

    • pip-auto:40.2秒

    は?

    pip-auto の方が、倍、遅い さっきまでの、天才の顔を返してほしい

    犯人は、お前か

    調べたら、犯人がいた tensorflow の中に、1個で 1 GB の DLL が入ってる

    1個で、1 GB ファイル1個で、1 GB ゲームのインストーラーかな?

    これを、import の最中に、まだ書いてた pip-auto は、書くのを後回しにしてたから、import が「まだ?」って待たされてた そりゃ、遅い

    ちなみに、入れてから 90秒待ってから import したら、4.4秒だった 2回目は、pip が 5.2秒、pip-auto が 3.7秒 待ってくれれば、勝つ せっかちな人にだけ、負ける

    じゃあ、速くしよう(しなかった)

    案1:1 GB の DLL を、細かく切って、4人で並列に書けば速いのでは?

    測った

    書き方時間展開して書く20.2秒普通のコピー13.7秒4つに分けて並列で書く28.7秒

    遅くなった

    並列にすれば速くなるって、誰が言ったんだ(私だ)

    時間のほとんどは、ディスクに書く時間だった 4人で書いても、ディスクは1つ 4人でトイレに並んでも、トイレは1つなのと同じ

    案2:コピーを使えば、書かなくていいのでは? → コピーは、書くこと

    案3:先に読んでおいて、まとめてコピー → 先に読む「その先」が、最初の1回は、ない

    ぜんぶ、物理に負けた 書く量を減らすしかないのに、この DLL は、動かすとき丸ごと読まれるから、減らせない 縮められるのは、解凍の6秒だけ これは、まだ作ってない

    あと、起動が遅かった

    autopip と打ってから動くまでに、0.40秒かかってた 素の Python は 0.13秒

    0.27秒、何してたの? 使わないものを、最初に全部読んでた 「念のため」で、カバンに、辞書を3冊入れて出かけるやつ

    使う瞬間まで読まないようにしたら、0.23秒になった さらに、この環境だと、毎回、自分のコードをコンパイルし直してた(約50ms)のも、直した

    次の版、1.3.3 で入れる

    今日の結論

    • 入れるのは、pip の約9倍速い(176秒 → 20秒)

    • 入れてすぐ import すると、1 GB の DLL のせいで、負けることがある

    • 並列にしても、ディスクは速くならない(当たり前)

    • 私は、測るまで、天才だと思っていた

    メリットとデメリット

    メリット

    • 入れるのが速い(tensorflow で 176秒 → 20秒)

    • ディスクに書くファイルが少ない(16,338個 → 1,442個)

    • 2つ目以降の環境は、ほぼ一瞬(同じ tensorflow を、もう1回入れたら 1.4秒)

    • 足りないものは、勝手に入る(スクリプトは、1文字も変えなくていい)

    • 本番では、自動インストールを止められる

    デメリット

    • 入れてすぐの最初の import は、遅いことがある(40.2秒。pip は 21.6秒)

    • 巨大なファイルがあるパッケージは、とくに遅くなりやすい

    • ファイルが全部そろうのは、入れた「あと」(裏で書いてる)

    • ほかの Python ツールが、「ファイルが全部ある」前提だと、困るかもしれない

    • Linux と macOS は、確かめられてない

    まだできてない

    • Linux と macOS では、確かめられてない。 Windows 2台だけ

    • 測ったのは 1台で、各 1回ずつ。PC が忙しいと、数字は動く

    仲間がほしい

    自分の PC で、これを1回だけ動かして、結果を教えてほしい

    autopip selftest

    84個のチェックが走る 全部通ったか、落ちたやつがいたか、それだけでいい 特に、Linux と macOS の人 Windows の人も、大歓迎

    連絡は、この記事のコメントでお願い

    AI(Claude)に手伝ってもらいながら作った おかしいところがあったら、教えてほしい

    読んでくれて、ありがとう

    pip install pip-auto

    あなたへのおすすめ