メインコンテンツへスキップ
見出し画像

Google Colab CLI を試す

    「Google Colab CLI」を試したのでまとめました。

    1. Google Colab CLI

    「Google Colab CLI」は、Google Colab のランタイムをターミナルから操作するためのCLIです。

    通常のColabは、ブラウザでノートブックを開いて使います。一方、「Colab CLI」を使うと、ローカルのターミナルからColabのVMを作成し、Pythonスクリプトを実行し、ファイルのアップロード・ダウンロードもできます。

    主に次のようなことができます。

    ・CPU / GPU / TPU ランタイムの作成
    ・ローカルのPythonスクリプトの実行
    ・Jupyter Notebookの実行
    ・標準入力からのコード実行
    ・対話REPLやリモートTTYシェルの利用
    ・Colab VM上のファイル操作
    ・Google Driveのマウント
    ・パッケージのインストール
    ・実行ログのNotebook / Markdown / JSONL出力
    ・一時的なGPUジョブの実行

    対応OSは、現時点ではLinuxとmacOSです。Windowsは未対応とされています。

    2. Google Colab CLI のインストール

    (1) Google Colab CLI のインストール。

    uv tool install google-colab-cli

    (2) 確認。

    colab version

    3. Colabランタイムの開始と停止

    (1) Colabランタイムの開始。

    colab new

    (2) Pythonコードの実行。

    echo "print('Hello from Google Colab!')" | colab exec
    

    (3) Colabランタイムの停止。

    colab stop

    アクティブなセッションが1つだけの場合は、-s または --session を省略できます。複数のセッションを使う場合は、名前を付けて管理します。

    colab new -s test
    echo "print('Hello')" | colab exec -s test
    colab stop -s test

    4. セッションの確認

    (1) 現在のセッション一覧の確認。

    colab sessions

    (2) セッションの状態やハードウェア情報の確認。

    colab status

    (3) 現在のセッションをブラウザのColab画面で開く。

    colab url --open

    5. GPUの使用

    (1) GPUを使いたい場合は、--gpu を指定。

    colab new -s gpu-test --gpu T4

    対応GPUとしては、T4、L4、G4、H100、A100などを指定できます。

    (2) GPUが使えるか確認。

    echo "import torch; print(torch.cuda.is_available()); print(torch.cuda.get_device_name(0))" | colab exec -s gpu-test
    True
    Tesla T4

    (3) 停止。

    colab stop -s gpu-test

    実際に使えるGPUは、アカウントのプランや空き状況に依存します。

    6. TPUの使用

    (1) TPUを使いたい場合は、--tpu を指定。

    colab new -s tpu-test --tpu v5e1

    READMEでは、TPUとして v5e1 や v6e1 が紹介されています。

    7. ローカルのPythonファイルの実行

    Colab CLIの便利なところは、ローカルのPythonファイルをそのままColab VM上で実行できることです。

    (1) Pythonファイルの準備。

    import platform
    
    print("Hello from Colab VM")
    print(platform.platform())

    (2) PythonファイルをColab上で実行。

    colab exec -s test -f hello.py
    Hello from Colab VM
    Linux-6.6.122+-x86_64-with-glibc2.35

    Notebookも実行できます。

    colab exec -s test -f report.ipynb

    8. パッケージのインストール

    (1) パッケージのインストール。

    colab install -s test torch transformers

    (2) requirements.txt によるパッケージのインストール。

    colab install -s test -r requirements.txt

    パッケージ管理には uv が使われ、必要に応じて pip にフォールバックします。

    9. ファイル操作

    (1) ファイルのアップロード。

    colab upload -s test ./data.txt /content/data.txt

    (2) ファイルの確認。

    colab ls -s test /content
    

    (3) ファイルのダウンロード。

    colab download -s test /content/result.txt ./result.txt

    (4) ファイルの削除。

    colab rm -s test /content/data.txt

    (5) リモートファイルをローカルのエディタで編集。

    colab edit -s test /content/main.py

    10. Google Driveのマウント

    (1) Google Driveのマウント。
    デフォルトでは、/content/drive にマウントされます。

    colab drivemount -s test

    Notebookを実行して、ログをMarkdownとして残す場合は、次のような流れになります。

    colab new -s analysis
    colab drivemount -s analysis
    colab exec -s analysis -f report.ipynb
    colab log -s analysis -o execution_log.md
    colab stop -s analysis

    11. 1回だけGPUジョブを実行

    毎回 new、exec、stop を書くのが面倒な場合は、colab run が便利です。

    colab run --gpu T4 train.py

    colab run は、新しいVMを作成し、ローカルスクリプトを実行し、終わったらVMを停止します。

    引数も渡せます。

    colab run --gpu T4 train.py --epochs 3 --batch-size 8
    

    セッションを残したい場合は、--keep を付けます。

    colab run --gpu T4 --keep train.py

    12. REPLやコンソールの使用

    (1) Pythonの対話REPLの使用。

    colab repl -s test

    (2) リモートVM上のTTYシェルに接続。

    colab console -s test

    ただし、repl や console はローカルTTYを必要とします。自動化スクリプトやパイプラインで使う場合は、標準入力をパイプするなど、非対話実行に合わせた使い方が必要です。

    13. 実行ログの保存

    (1) 実行ログの保存。

    colab log -s test

    (2) 実行ログをMarkdownとして保存。

    colab log -s test -o execution_log.md

    (3) 実行ログをNotebookとして保存。

    colab log -s test -o execution_log.ipynb

    他にも、.txt や .jsonl 形式での出力に対応しています。

    14. GCP認証

    Colab VM上でBigQueryやGCSなどのGCPサービスを使いたい場合は、次のコマンドを使います。

    colab auth -s test

    これは、Colab VM側でGCPサービスを使うための認証です。

    CLIがColab APIを操作するための認証方式は、グローバルオプションの --auth で指定できます。デフォルトは adc です。

    colab --auth adc sessions

    15. 注意点

    使う上で重要なのは、まず colab stop を忘れないことです。

    colab new で作成したVMは、停止しない限り残ります。GPUやTPUを使う場合は、特に注意が必要です。
    また、アクティブなセッションが複数ある場合は、-s で対象セッションを明示した方が安全です。

    colab exec -s trainer -f train.py
    colab stop -s trainer

    セッション情報は、ローカルの設定ファイルに保存されます。READMEでは、セッションメタデータは ~/.config/colab-cli/sessions.json、グローバル設定は ~/.config/colab-cli/settings.json に保存されます。



     
     

    npaka

     
     
    プログラマー。iPhone / Android / Unity / ROS / AI / AR / VR / RasPi / ロボット / ガジェット。年2冊ペースで技術書を執筆。アニソン / カラオケ / ギター / 猫 twitter : @npaka123

    あなたへのおすすめ