レーシングゲーム「vcracing」チュートリアル

English available.

Car-racing game "vcracing" tutorial

vcracingOverviewYou can drive it manually, and also with machine learning. "vcracing" is a ...

vigne-cla.com

2020/06/03

vcracing、爆誕

概要

手動で運転してもよし、機械学習で運転してもよし。「vcracing（ぶいしーれーしんぐ）」は機械学習向けレーシングゲームです。OpenAI Gym の CarRacing とは異なり、以下のように機械学習向けの設計となっています。

• コースの状態（環境）が取得可能
• 環境の保存と複製が可能

OpenAI Gym の CarRacing （→本家サイト）を機械学習向けに魔改造していましたが（→参照記事）、気がつくと原型を留めていなかったため、僭越ながら別名でリリースいたしました。

本家は「即時報酬」と「ゲーム終了判定」のみを取得可能だったため、機械学習による自律走行はほとんど不可能な設計でした。vcracing はコースや車体の状態が取得可能であるため、ランダムなコースに対する汎化性の高い学習が望めます。

また、本家は「環境の保存」と「複製」が不可能のため、途中で分岐して分散探索することができず、結果として無駄な学習時間を費やすことになります。vcracing は copy.deepcopy() によって環境の保存と複製が可能なため、多様な学習戦略に応えます。

インストール方法

pip install vcracing

サンプルコード

from vcracing import vcracing

# Load game
env = vcracing()

# See starting image
env.render()

# Drive
for i in range(30):
    # Chose action
    # [Steer, Accel] where Steer in [-1, +1], Accel in [-1, +1]
    # Note that Steer>0 turns LEFT, Accel<0 reverse gear
    action = [0.1, 1] #[Steer, Accel]
    
    # Step
    state, reward, over, done = env.step(action)
    #env.render() # See every step image

# See current image
env.render()

遊び方

action は [0, 1] で加速、 [0.2, 1] で左旋回です。道路は n 枚のパネルで構成され、各パネルを踏むと (100/n) 点の reward が得られます。state[‘rewards’]==100 または done==True でコース制覇となります。

env = vcracing(track_seed=1) のようにシード値を指定すると決められたコースが生成されます。state = reset() でコースを変えずにリセットできます。

急旋回は速度を大きく減少させますので、良いタイムを目指すには緩やかな旋回を心がける必要があります。

手動での走行例

このようにスタートから順に play() を探っていきます。最後の２フレームを確認しながら play() を調整・積み上げることで、比較的かんたんに手動でゴールを目指すことができるでしょう。

#コース指定
env = vcracing(track_len=200, track_seed=5, car=None)

#あるactionであるstep進める関数
def play(action, step):
    for i in range(step):
        _, _, _, _ = env.step(action)
        #env.render()

#順にプレイ
play([0, 1], 10)
play([0.35, 1], 8)
play([0, 1], 20)
play([0.8, 1], 12)
play([0, 1], 75)
play([0.35, 1], 65)
play([0, 1], 95)
play([0.35, 1], 60)
play([0, 1], 24)

#最後の2フレームを確認
for i in range(2):
    action = [0, 1]
    _, _, _, done = env.step(action)
    print(done)
    env.render()

仕様

ゲームの読み込み＋リセット

ここではコースの自動生成と車種の選択が行われます。コースはおおよその長さと生成シードが指定できます。

ゲームのリセットの際にコースを変更しない場合は、後述する reset() によるリセットを行うことを推奨します。

env = vcracing(track_len=200, track_seed=None, car='BT46')

car は次から選ぶことができます。

ゲームのリセット

コースはそのままに、ゲームをリセットすることができます。オプションはありません。返り値はさまざまな情報が詰まった辞書型の配列です（後述）。

state = env.reset()

アクションの選択

ハンドルとアクセルの２値から成ります。

action = [0, 0] #[Steer, Accel]

ステップを進める

アクションを入力してゲームを１フレーム進めます。返り値は４つあり、特に state には機械学習に用いることができる情報が詰まっています。

state, reward, over, done = env.step(action)

state は以下から成ります。

画像の確認

※アップデートが期待されます

ゲーム中のコース全体図が確認できます。処理速度が遅いため、数フレームに１度だけ確認することを推奨します。

env.render(mode='plt', dpi=100)

画像の一例です。

環境の保存や複製

次のように、copy.deepcopy() を用いて手軽に複製が可能です。

from vcracing import vcracing
from copy import deepcopy

#コース指定
env = vcracing(track_len=200, track_seed=5)

#20フレーム前進
for i in range(20):
    action = [0, 1]
    _, _, _, _ = env.step(action)

#確認
print('env')
env.render()

#環境を「環境２」としてコピー
env2 = deepcopy(env)

#環境１は左旋回
for i in range(10):
    action = [1, 1]
    _, _, _, _ = env.step(action)

#環境２は右旋回
for i in range(10):
    action = [-1, 1]
    _, _, _, _ = env2.step(action)

#確認
print('env')
env.render()
print('env2')
env2.render()

（開発者向け）走行記録の取得

クリア後は次のように走行記録を取得できます。

record = env.get_record()

# 全入力
print(record['input_all'])
# 車体の全位置
print(record['position_all'])
# 車体の全方位
print(record['radian_all'])
# ラップタイム
print(record['lap_time'])

ライセンス

Reference source

本パッケージは OpenAI Gym CarRacing-v0 を参照して作成されました。関係者のすべての努力に敬意を表するとともに、厚く感謝申し上げます。

https://gym.openai.com/envs/CarRacing-v0/

gym.openai.com

Short description

Private Use, Commercial Use are permitted. Don’t forget Copyright notice (e.g. https://vigne-cla.com/vcracing-tutorial/) in any social outputs. Thank you.

For Educational Use, Copyright notice is NOT necessary.

Required: Copyright notice in any social outputs.
Permitted: Private Use, Commercial Use, Educational Use
Forbidden: Sublicense, Modifications, Distribution without pip install, Patent Grant, Use Trademark, Hold Liable.

著作権表示

vcracingを使用してできた著作物（商品、論文、設計、プログラム、ブログ記事等）を不特定多数の人々が閲覧できる場所に公開する際には、vcracingが直接的または間接的に貢献したかにかかわらず、必ず著作権表示をしなければなりません。ただしこれは、

• vcracingがビネット＆クラリティ（＝ビネクラ）によって作られたことが明示されていること
• ビネット＆クラリティのURL（https://vigne-cla.com/ または同/vcracing-tutorial/）が明示されていること

の両方が満たされていれば良いこととし、端的には

※vcracingはビネクラ（https://vigne-cla.com/）のソフトです

といった注釈を、十分な視認性を保って記載すれば良いこととします。また、二次的な営利利用にも本ライセンスを適用しなければなりません。例外として、vcracingの名称や機能のみを紹介した場合や、vcracingの名称や機能のみをデータベースの一要素として列挙した場合はこの限りではありません。また教育目的での利用に限り、著作権表示を省略することができます。

できること

個人利用、商用利用、教育での利用、創作物（商品、論文、設計、プログラム、ブログ記事等）の公開

禁止事項

ソースコードの修正・複製、pipを経由しないソースコードの配布、vcracingそのものやvcracingを利用した技術にかかる特許の出願・取得、トレードマークの主張、サブライセンス

免責事項

vcracingを用いたことで生じたいかなる損害の補償もしかねます。

更新予定

render()の改善

更新