GPU_Donkey3_1_5_Sample(TensorFlow_1_13_1).ipynb

{"nbformat":4,"nbformat_minor":0,"metadata":{"colab":{"name":"GPU_Donkey3_1_5_Sample(TensorFlow_1_13_1).ipynb","provenance":[{"file_id":"https://github.com/FaBoPlatform/DonkeyColab/blob/master/GPU_Donkey3_1_5_Sample(TensorFlow_1_13_1).ipynb","timestamp":1637231835643}],"collapsed_sections":[]},"kernelspec":{"name":"python3","display_name":"Python 3"},"accelerator":"GPU"},"cells":[{"cell_type":"markdown","metadata":{"id":"BlmQIFSLZDdc"},"source":["# Donkey Colab 3.1.5 with GPU(TensorFlow 1.13.1)\n","\n","Donkey Colab with GPU.\n","- Version 20200826(2020年8月26日)\n","- DonkeyCar version 3.1.5(2020年8月25日時点)\n","- TensorFlow 1.13.1\n","\n","## 概要\n","Google Colabを使用し、Donkey Carの学習を行います\n","\n","上からコードをを実行することで、以下のことができます\n","- Google Colabの環境設定\n","- 学習\n","- 学習結果の取得  \n","\n","\n"]},{"cell_type":"markdown","metadata":{"id":"liQZb4cDmZgy"},"source":["# TensorFlowのインストール\n","\n","TensorFlowのVersionは、DonkeyCarのRaspberryPi3にはいっているバージョンと同じバージョンをインストールします。  \n","Google Colabはデフォルトでtensorflow-2.3.0、CUDA 10.1が入っています（2020年8月24日）。  \\\n","なので一度アンインストールし、バージョンを揃えています。"]},{"cell_type":"code","metadata":{"id":"QSX76iKYmd_V"},"source":["!pip uninstall -y tensorflow\n","!pip install tensorflow-gpu==1.13.1"],"execution_count":null,"outputs":[]},{"cell_type":"markdown","metadata":{"id":"G7OYRZhiBisA"},"source":["# TensorFlowのバージョン確認"]},{"cell_type":"code","metadata":{"id":"1lNo7WukBc-Y"},"source":["!pip freeze | grep -i -e tensorflow"],"execution_count":null,"outputs":[]},{"cell_type":"markdown","metadata":{"id":"arsH-DhLcihq"},"source":["# GPUの確認\n","\n","\"Found GPU at: /device:GPU:0\"と表示されれば、GPUが使用できる状態です。"]},{"cell_type":"code","metadata":{"id":"uQgEhuoTcg0N"},"source":["import tensorflow as tf\n","device_name = tf.test.gpu_device_name()\n","if device_name != '/device:GPU:0':\n","  raise SystemError('GPU device not found')\n","print('Found GPU at: {}'.format(device_name))"],"execution_count":null,"outputs":[]},{"cell_type":"markdown","metadata":{"id":"Ba2oPDIrsDFg"},"source":["# DonkeyCarのインストール\n","Raspberry PiにインストールしてあるDonkeyCarとバージョンを合わせておきます。"]},{"cell_type":"code","metadata":{"id":"oOxd9PFUyNxI"},"source":["!git clone https://github.com/autorope/donkeycar.git \n","%cd donkeycar\n","!git checkout be45ae038cb00d81c5450b9a481dbf5aaa03e688\n","!pip3 install -e .[pc]"],"execution_count":null,"outputs":[]},{"cell_type":"markdown","metadata":{"id":"syCctLq2r4Wk"},"source":["# DonkeyCarのProjectを作成"]},{"cell_type":"code","metadata":{"id":"8MCHlAop6mES"},"source":["!donkey createcar --path /content/mycar"],"execution_count":null,"outputs":[]},{"cell_type":"markdown","metadata":{"id":"8OitNFcuPtTE"},"source":["## myconfig.pyを編集します。\n","* CACHE_IMAGESをFalseにします。これは学習中のメモリ消費量を抑えるための設定です。\n","* GYM_CONF[\"guid\"]をコメントアウトします。これは20200825現在、バーチャルレースを主体に開発が進んでいるために有効化しているようですが、学習時には不要です。"]},{"cell_type":"code","metadata":{"id":"dG9bYRklPuZC"},"source":["!sed -i 's/# CACHE_IMAGES = True/CACHE_IMAGES = False/g' /content/mycar/myconfig.py\n","!sed -i 's/use_multiprocessing = False/use_multiprocessing = True/g' /content/mycar/train.py\n","!sed -i 's/^GYM_CONF/# GYM_CONF/g' /content/mycar/myconfig.py"],"execution_count":null,"outputs":[]},{"cell_type":"markdown","metadata":{"id":"dnUy1Z1zro77"},"source":["# data.zipのアップロードとデータの解凍\n","Google Driveを経由しない場合のdata.zipのアップロード方法になります。  \n","この方法はGoogle Chromeで動作します。  \n","data.zip（DonkeyCarで集めた学習用データ）をアップロードします。  \n","下記コードを実行すると、ファイルのアップロード フォームが出現します。\n","\n","ファイルは`/content/mycar/`以下に送信され、data.zipの解凍を行っています。\\\n","データセットのディレクトリ構造は、`/content/mycar/data/tub_1_xxxx`のようになります。\n","\n","Google Drive経由でアップロードを早く完了させることも出来ます。\\\n","参考\n","* その他：Google Drive経由でdata.zipをアップロードする場合"]},{"cell_type":"code","metadata":{"id":"nqB_I9dsxBoA"},"source":["%cd /content/mycar/\n","\n","import os\n","import shutil\n","from google.colab import files\n","\n","if(os.path.exists(\"/content/mycar/data.zip\")):\n","   os.remove(\"/content/mycar/data.zip\")\n","if(os.path.exists(\"/content/mycar/data\")):\n","   shutil.rmtree(\"/content/mycar/data\")\n","\n","uploaded = files.upload()\n","file_name = list(uploaded.keys())[0]\n","file_path = \"/content/mycar/\" + file_name\n","print(\"-----------------------------------------------------\")\n","print(\"【処理結果】%sにデータをアップロードしました。\" % file_path)\n","print(\"-----------------------------------------------------\")\n","!unzip -o data.zip"],"execution_count":null,"outputs":[]},{"cell_type":"markdown","metadata":{"id":"e-4fu_vD1j25"},"source":["#学習の開始\n","\n","Colabの環境構築が出来たので、DonkeyCarの学習を行います。\n","<br>\n","<br>\n","学習の対象は、/content/mycar/data/に存在するフォルダ全部になります。\n"]},{"cell_type":"code","metadata":{"id":"K747mFXW1e7H"},"source":["type = \"linear\"\n","trained_mode = \"/content/mycar/models/mypilot.h5\"\n","\n","%cd /content/mycar\n","!python manage.py train --model={trained_mode} --type={type}"],"execution_count":null,"outputs":[]},{"cell_type":"markdown","metadata":{"id":"pZVvR7JXaMcd"},"source":["# 学習結果の確認\n","DonkeyCarは学習済みモデルを解析して動画に出力する機能があります。\n","\n","学習したモデルがどのようになったのかを確認します。\n","\n","モデル毎にレイヤーが全く異なるため、makemovieを使えるモデルはlinearモデルのみです。  \n","\n","h5pyのバージョンも2.xが必要になるので、ここでインストールしておきます。  \n","**`【RESTART RUNTIME】`ボタンは無視してください！**"]},{"cell_type":"markdown","metadata":{"id":"pBDeOcVyaRlX"},"source":["### モデル可視化用パッケージをインストール"]},{"cell_type":"code","metadata":{"id":"M2Af9pMDaYe7"},"source":["!pip uninstall -y keras-vis\n","!pip install git+https://github.com/sctse999/keras-vis\n","!apt install -y ffmpeg\n","!pip install h5py==2.10.0"],"execution_count":null,"outputs":[]},{"cell_type":"markdown","metadata":{"id":"y3IVmrgOaaen"},"source":["### 動画ファイルの作成\n","\n","複数のtubには対応していないため、`--tub=tub_xxxx`オプションを使って1つのデータディレクトリを指定する必要があります。"]},{"cell_type":"code","metadata":{"id":"craA2Lffap0F"},"source":["!ls /content/mycar/data"],"execution_count":null,"outputs":[]},{"cell_type":"markdown","metadata":{"id":"pvv5VL55auDb"},"source":["表示されたデータディレクトリのうち、1つを決めて`tub_xxxx`の部分に書き換えます。\\\n","データ件数がそれほど多くないディレクトリだとすぐに確認できます。"]},{"cell_type":"code","metadata":{"id":"wxbuiLzcafeU"},"source":["mp4_path = 'tub_movie.mp4'\n","!donkey makemovie --tub=data/tub_1_xxxx --model models/mypilot.h5 --type linear --salient --out=$mp4_path"],"execution_count":null,"outputs":[]},{"cell_type":"markdown","metadata":{"id":"64udf_29b2VF"},"source":["### 動画のダウンロード\n","作成した解析動画をPCにダウンロードします。\\\n","ダウンロードした動画をPCで再生すると、モデルがどこに反応しているのか確認することができます。\\\n","緑色の線：人の操作。青色の線：AIの判断。"]},{"cell_type":"code","metadata":{"id":"-p4qAbqzbz5h"},"source":["from google.colab import files\n","\n","files.download('/content/mycar/'+mp4_path)"],"execution_count":null,"outputs":[]},{"cell_type":"markdown","metadata":{"id":"iWtc6q3LPHqP"},"source":["# 学習結果の転送\n","学習結果は、/content/mycar/models/mypilot.h5に保存されます。  下記セルを実行し、H5ファイルをダウンロードします。\n","\n","RaspberryPiの~/mycar/models/mypilot.h5に学習結果をコピーすることで、DonkeyCarの自動走行ができるようになります。"]},{"cell_type":"code","metadata":{"id":"SmI6Vv0gEiZF"},"source":["from google.colab import files\n","\n","files.download('/content/mycar/models/mypilot.h5')"],"execution_count":null,"outputs":[]},{"cell_type":"markdown","metadata":{"id":"maQOc8foxCTN"},"source":["# その他：Google Drive経由でdata.zipをアップロードする場合\n","ブラウザ経由でデータをアップロードすると、とても遅いため、Google Drive経由でアップロードを早く完了させたい場合に使います。  \n","下記コードを実行すると、認証コードを使用してランタイム上に Google ドライブをマウントします。  \n","`Go to this URL in a browser: http://...`と出ているので、まずはこのリンクをクリックして、アクセスの許可をおこないます。  \n","許可後に`このコードをコピーし、アプリケーションに切り替えて貼り付けてください。`という表示と共に文字列が表示されているので、それを`Enter your authorization code:`に入力してリターンキーを押します。"]},{"cell_type":"code","metadata":{"id":"T-_XCjfFxtPf"},"source":["from google.colab import drive\n","drive.mount('/content/drive')\n","!ls '/content/drive/My Drive' | grep data "],"execution_count":null,"outputs":[]},{"cell_type":"markdown","metadata":{"id":"K8pcQf39l6ec"},"source":["Google Driveは、/content/drive/MyDriveにマウントされます。\n","\n","data.zipファイルを/content/mycar/以下にコピーして、解凍をおこないます。\n","\n","Google Driveの任意のフォルダにアップロードした場合は、'/content/drive/MyDrive/任意のフォルダ名/data.zip' のように置き換えてください。"]},{"cell_type":"code","metadata":{"id":"Q9SoZkGCxwUE"},"source":["%cd /content/mycar/\n","\n","import os\n","import shutil\n","\n","if(os.path.exists(\"/content/mycar/data.zip\")):\n","   os.remove(\"/content/mycar/data.zip\")\n","if(os.path.exists(\"/content/mycar/data\")):\n","   shutil.rmtree(\"/content/mycar/data\")\n","\n","!ls -l '/content/drive/MyDrive/data.zip'\n","!cp '/content/drive/MyDrive/data.zip' /content/mycar/data.zip\n","!unzip data.zip"],"execution_count":null,"outputs":[]},{"cell_type":"markdown","metadata":{"id":"CX3I0ODMRhZR"},"source":["# その他：特定のデータディレクトリのみを指定して学習させる場合\n","\n","特定のデータディレクトリのみを指定して学習させることも出来ます。\\\n","lsコマンドで、/content/mycar/dataに存在するデータセットのディレクトリを確認します。\n","\n","tub_xxxxの部分を、指定したいディレクトリ名に変更してください。カンマ「,」で複数のディレクトリを指定することが出来ます。"]},{"cell_type":"code","metadata":{"id":"H20sa9bQSPfk"},"source":["!ls /content/mycar/data"],"execution_count":null,"outputs":[]},{"cell_type":"code","metadata":{"id":"nynV4n0DEq3n"},"source":["model_type = \"linear\" # linear|categorical|rnn|imu|behavior|3d|localizer|latent\n","trained_mode = \"/content/mycar/models/mypilot.h5\"\n","tub_path = \"/content/mycar/data/tub_1_xxxx,/content/mycar/data/tub_2_xxxx\"\n","\n","%cd /content/mycar\n","!python manage.py train --model={trained_mode} --type={model_type} --tub={tub_path}"],"execution_count":null,"outputs":[]},{"cell_type":"markdown","metadata":{"id":"jF-0vA9OVDFZ"},"source":["# その他：CUDAバージョンに問題がある場合\n","Colabは突然パッケージバージョンが変更されていることがあります。\\\n","CUDAバージョンが変更になると、Tensorflow 1.13.1が利用出来なくなるため、そのような状況になった場合は以下を実行して既存のCUDAをアンインストール後、適切なCUDAをインストールします。"]},{"cell_type":"code","metadata":{"id":"eXZEobC3SXjH"},"source":["!apt uninstall -y cuda\n","!apt autoremove -y\n","!apt update\n","!apt install -y cuda-10-0"],"execution_count":null,"outputs":[]}]}