
tensorflow が 176秒 → 20秒で入った。1個の 1 GB のDLLだけ、倒せなかった
先に言っとく 勝ったけど、負けた
前フリ
pip-auto っていうツールを作ってる import したのに入ってないやつを、その場で勝手に PyPI から入れてくれるやつ
pip install pip-auto何が違うの? たとえ話で説明する
引っ越しで考えてほしい
pip:荷物を、ぜんぶ新居に運んで、箱を開けて、部屋に並べる。ぜんぶ終わってから「どうぞ」
pip-auto:荷物は、倉庫に1回だけ置く。新居には「ここにあるよ」の目印だけ置く。使うものだけ、使うときに出す
だから、入れるのが速い ただし、デカくて重い家具(1 GB のファイル)は、目印だけじゃ済まなくて、結局、運ぶ
これが、このあと出てくる話の全部です
これまで測ってたのは、numpy とか pandas とか、まあ、重いけど常識の範囲のやつ だから思った 一番重いやつ、ぶつけてみたくない?
tensorflow を呼んだ
Windows 1台、まっさらな環境、回線は制限なし ヨーイ、ドン
pippip-auto入れる時間175.9秒20.4秒ファイルの数16,338個1,442個
pip が 3分近く、ガリガリ書いてる間に、pip-auto はもう終わってた ファイルの数、約11分の1 「書かなくていいものは書かない」を、ちゃんとやってる
この時点の私 天才では?
最初の import で、地獄を見た
入れた直後に、すぐ import tensorflow してみた
pip:21.6秒
pip-auto:40.2秒
は?
pip-auto の方が、倍、遅い さっきまでの、天才の顔を返してほしい
犯人は、お前か
調べたら、犯人がいた tensorflow の中に、1個で 1 GB の DLL が入ってる
1個で、1 GB ファイル1個で、1 GB ゲームのインストーラーかな?
これを、import の最中に、まだ書いてた pip-auto は、書くのを後回しにしてたから、import が「まだ?」って待たされてた そりゃ、遅い
ちなみに、入れてから 90秒待ってから import したら、4.4秒だった 2回目は、pip が 5.2秒、pip-auto が 3.7秒 待ってくれれば、勝つ せっかちな人にだけ、負ける
じゃあ、速くしよう(しなかった)
案1:1 GB の DLL を、細かく切って、4人で並列に書けば速いのでは?
測った
書き方時間展開して書く20.2秒普通のコピー13.7秒4つに分けて並列で書く28.7秒
遅くなった
並列にすれば速くなるって、誰が言ったんだ(私だ)
時間のほとんどは、ディスクに書く時間だった 4人で書いても、ディスクは1つ 4人でトイレに並んでも、トイレは1つなのと同じ
案2:コピーを使えば、書かなくていいのでは? → コピーは、書くこと
案3:先に読んでおいて、まとめてコピー → 先に読む「その先」が、最初の1回は、ない
ぜんぶ、物理に負けた 書く量を減らすしかないのに、この DLL は、動かすとき丸ごと読まれるから、減らせない 縮められるのは、解凍の6秒だけ これは、まだ作ってない
あと、起動が遅かった
autopip と打ってから動くまでに、0.40秒かかってた 素の Python は 0.13秒
0.27秒、何してたの? 使わないものを、最初に全部読んでた 「念のため」で、カバンに、辞書を3冊入れて出かけるやつ
使う瞬間まで読まないようにしたら、0.23秒になった さらに、この環境だと、毎回、自分のコードをコンパイルし直してた(約50ms)のも、直した
次の版、1.3.3 で入れる
今日の結論
入れるのは、pip の約9倍速い(176秒 → 20秒)
入れてすぐ import すると、1 GB の DLL のせいで、負けることがある
並列にしても、ディスクは速くならない(当たり前)
私は、測るまで、天才だと思っていた
メリットとデメリット
メリット
入れるのが速い(tensorflow で 176秒 → 20秒)
ディスクに書くファイルが少ない(16,338個 → 1,442個)
2つ目以降の環境は、ほぼ一瞬(同じ tensorflow を、もう1回入れたら 1.4秒)
足りないものは、勝手に入る(スクリプトは、1文字も変えなくていい)
本番では、自動インストールを止められる
デメリット
入れてすぐの最初の import は、遅いことがある(40.2秒。pip は 21.6秒)
巨大なファイルがあるパッケージは、とくに遅くなりやすい
ファイルが全部そろうのは、入れた「あと」(裏で書いてる)
ほかの Python ツールが、「ファイルが全部ある」前提だと、困るかもしれない
Linux と macOS は、確かめられてない
まだできてない
Linux と macOS では、確かめられてない。 Windows 2台だけ
測ったのは 1台で、各 1回ずつ。PC が忙しいと、数字は動く
仲間がほしい
自分の PC で、これを1回だけ動かして、結果を教えてほしい
autopip selftest84個のチェックが走る 全部通ったか、落ちたやつがいたか、それだけでいい 特に、Linux と macOS の人 Windows の人も、大歓迎
連絡は、この記事のコメントでお願い
AI(Claude)に手伝ってもらいながら作った おかしいところがあったら、教えてほしい
読んでくれて、ありがとう
pip install pip-auto