docker_ros-desktop-vnc docker内でgazebo起動時にハードウェアアクセラレーションする方法について質問があります。 通常、docker内ではgpuは使えないと認識しています。そのため、docker内でgazeboを使うと、docker外でgazeboを使う場合と比べてrealtimefatorが低く出る傾向があると認識しています。 nvidia dockerを使えばこれが解決できるかもと考えているのですが、何かご存知ありませんでしょうか。。
Activity
Tiryoh commentedon Aug 13, 2020
ハードウェアアクセラレーションについて考えたことはありませんでした。確認してみます。
Tiryoh commentedon Aug 23, 2020
とりあえず思いつくのは、このDockerイメージでベースとしている
dorowu/ubuntu-desktop-lxde-vncのベースを、NVIDIA Container Toolkitに対応したGPUを使用するイメージに置き換えることです。とりあえず
tiryoh/ubuntu-desktop-lxde-vnc:bionic-cuda-10.2(Dockefile)としてnvidia/cudaベースのCUDA対応版dorowu/ubuntu-desktop-lxde-vncを作りました。そして、とりあえず
tiryoh/ros-desktop-vnc:melodic-cuda-10.2(Dockerfile)としてtiryoh/ubuntu-desktop-lxde-vnc-cudaベースのtiryoh/ros-desktop-vncを作ってみました。一応手元のMX150入りのノートパソコンでは動いているようですが、GPUを有効にできたことをどうやって確認したらよいのか、というところでちょっと悩んでいます。
Tiryoh commentedon Aug 23, 2020
この件について、Twitterにてinata39さんより以下のアドバイスをいただきました。
確認してみます。
Tiryoh commentedon Aug 23, 2020
以下のコマンドでNVIDIA Container Toolkitを利用したコンテナを起動してみました。
デスクトップ環境がGPUを利用できてないようで、X11やgzclientが
nvidia-smiコマンドの出力結果に出てきませんでした。スクリーンショットの撮影方法がよくなかったのでちょっと見づらいですが、
Processes:のところにプロセス名は何も出ていません。参考までに以下がGPUが有効になっているPC上で(Docker上ではなく)、Gazeboを起動した際の
nvidia-smiコマンドの実行結果です。GazeboがGPUを利用できているので
gzserverとgzclientがプロセス名として出てきます。また、デスクトップ環境がGPUを利用しているので
/usr/bin/gnome-shellや/usr/lib/xorg/Xorgが同様にプロセス名として列挙されていることを確認できます。seigot commentedon Sep 14, 2020
回答が遅れまして申し訳ありません。上記お試し頂きありがとうございます。
確認なのですが、上記は以下どちらの理解とすればよろしいでしょうか。
A. そもそも、「VIDIA Container Toolkitに対応したGPUを使用するイメージ」でも、GPUを有効にできていない(nvidia-smiコマンドの出力結果に出てこない)
B.「VIDIA Container Toolkitに対応したGPUを使用するイメージ」ではGPUを有効にできるが、今回試行頂いたnvidia/cudaベースのCUDA対応版では、GPUを有効にできていない
また、本件について色々調べていたところ以下記事を見つけました。直接のLinuxPC環境ではないですが、何か私の方でも確認できましたら共有させて頂きます。
https://qiita.com/yamamo-to/items/51bfb92a00033257f02a
seigot commentedon Sep 19, 2020
以下を参考にしてnvidia-dockerをインストールした後、
https://medium.com/nvidiajapan/nvidia-docker-%E3%81%A3%E3%81%A6%E4%BB%8A%E3%81%A9%E3%81%86%E3%81%AA%E3%81%A3%E3%81%A6%E3%82%8B%E3%81%AE-20-09-%E7%89%88-558fae883f44
同サイトの「GPU 付きコンテナの起動方法」を試しましたが、
nvidia-smiコマンド実行時にプロセスが出力されませんでした。
Tiryohさんに用意頂いたコマンドでも同様です。
他サイトをみると、「コンテナの中でnvidia-smiが実行できたら成功」みたいな表現はあるので、
GPU自体は使えるがアプリ側の対応が要るのかな?と考えています。
http://verifiedby.me/adiary/0137
更に他サイトをみると、
「NVIDIA_VISIBLE_DEVICES を指定しただけでは、nvidia-smi コマンドは使えても OpenGL や CUDA を利用することができない。
これらを利用するためには、用途に応じて環境変数 NVIDIA_DRIVER_CAPABILITIES を指定する必要がある。」
みたいな記述もあるので色々試したいと考えています。(手詰まってきてる感はあります)
https://qiita.com/hoto17296/items/be34849412e7ae9db6ff
ちなみに、用意頂いたコマンドを実行すると、ブラウザからlocalhost:6080 で入れなくなるのですが何かご存知でしょうか、、?
$ docker run --gpus all -p 6080:80 --shm-size=512m --rm tiryoh/ros-desktop-vnc:melodic-cuda-10.2
Tiryoh commentedon Sep 19, 2020
バタバタしててお返事できてませんでした
上記の質問、解決したようですが、記録のためコメントしておきます。
ABどちらでもなく、GPU自体は使えているものの、使いたいアプリケーションがGPUを利用せずCPUを利用しているという状況です。
具体的には
という状況です。
はい、同じように考えています。
先のコメントにて書いたように、デスクトップ (x11)をGPU対応させることが次にためせることだと思われますが、現在取りかかれていない状況です。
こちらでは特にWebブラウザからアクセスできなくなることはありませんでした。何かエラー等は出ていますか?
すでに6080番ポートを別のコンテナが使用していると、アクセスできなくなるとは思います。
Tiryoh commentedon Oct 17, 2020
ちょっと時間があいてしまいましたが、GPUを利用したイメージの作成について調べてみました。
Xvfbでデスクトップアプリケーションを起動していますが、これがGPUを利用できていないようです。
Xvfbを呼び出している場所:https://github.com/Tiryoh/docker-ubuntu-vnc-desktop/blob/07244b4af28044e267c9abf752d9b217b5e0b547/rootfs/etc/supervisor/conf.d/supervisord.conf#L50
普段利用しているデスクトップアプリケーションとは別に、Docker内でGPUを利用してデスクトップアプリケーションを実行する例はあまりないようです。
多くはX11転送を使ってGUIのアプリケーションを起動しているようです。この方法はこのDockerfileで実現したい「Webブラウザ内で操作が完結するデスクトップ環境」とは異なります。
少し調べてみると以下の資料にたどり着きました。
ryought/glx-docker-headless-gpuやwillkessler/nvidia-docker-novncのようにGCPやAWS上の仮想マシンで実行している例はあるようですが、これはそのまま手元のマシンで実行するには不向きでした。
コードを読めばなんとなくわかりますが、気になってつい実行してみたので後のために記録しておくと、
実行すると普段利用しているデスクトップアプリケーションであるGNOMEではなく、Docker内部のデスクトップがモニタに表示されるようになってしまいました。
キーボードもモニタも繋がないクラウド上の仮想マシンならこれでよいですが、普段のPC上で使用するのには向いていませんでした。
--allow-empty-initial-configurationをつけてnvidia-xconfigを実行するとよいようですが、2020年10月17日現在、nvidia/cudaglにはnvidia-xconfigが入っていないようでした。https://7me.nobiki.com/2019/11/11/xorg-virtual-screen-with-nvidia-gpu/
そのためryought/glx-docker-headless-gpuのDockerfile#L54-L77のようにDockerfile内でnvidia-installerを実行する必要がありそうで、汎用的に使うのは難しそうです。
また機会があれば調べてみますが、難しそうというのがわかったところでこの件は一旦保留にしたいと思います。
seigot commentedon Oct 20, 2020
すみません、丁寧に回答頂きありがとうございます。
せっかく調べてまとめて頂いたのですが、私の知識では2割未満の理解度です。。
汎用的な解決はないとの事で、使うデバイスを統一したり、AWS等クラウドの場合は運用ルールに準拠するといった配慮が要りそうですね。
(細かいオプションは理解できていないです)
また、docker内のGPUを利用してる方はもっと多いと思っていたのですがあまり事例がないのですね。
docker内GPU有無で処理速度がどう変わるかベンチマークとってる方も見かけないです。
また何か分かりましたらアップデートさせて頂きますが、一旦保留で問題ございません。
Tiryoh commentedon Oct 20, 2020
レスポンスありがとうございます。ご質問頂いて私も気になったので調べた結果をメモしてみました。
もう少しわかりやすく説明できればよかったのですが、理解が曖昧なところも多くて説明が難しく、歯がゆいです……
ツールを色々組み合わせているからだと思いますが、私もそれぞれのツールの使い方をなんとなくわかった程度です。
探せばもっといろんなオプションやもっと賢いやり方があるかもしれませんし、どこかで誰かの参考になるかもしれないので、とりあえずこのissueはこのまま残しておきます。