9-3. 遺伝的アルゴリズム（vcopt）でスーパーマリオ1-1をクリアする

!pip install gym-super-mario-bros
!pip install vcopt

#マリオ関連のimport
from nes_py.wrappers import BinarySpaceToDiscreteSpaceEnv
import gym_super_mario_bros
from gym_super_mario_bros.actions import SIMPLE_MOVEMENT
env = gym_super_mario_bros.make('SuperMarioBros-1-1-v0')
env = BinarySpaceToDiscreteSpaceEnv(env, SIMPLE_MOVEMENT)

#プロット関連のimport
import matplotlib.pyplot as plt
from matplotlib import animation, rc

#vcopt関連のimport
import numpy as np
import numpy.random as nr
from vcopt import vcopt

#ゲーム環境のリセット
env.reset()

#画像の準備
fig = plt.figure()
ims = []

#繰り返し操作して画面を表示
for i in range(100):
    #0:
    #1:→
    #2:→＋ジャンプ
    #3:→→
    #4:→→＋ジャンプ
    #5:ジャンプ
    #6:←
    command = nr.randint(1, 7)
    state, reward, done, info = env.step(command)

    plt.imshow(env.render(mode='rgb_array'))
    plt.show()
    
    if done == True:
        break

#ゲーム環境のリセット
env.reset()

#動画の準備
fig = plt.figure()
ims = []

#繰り返し操作してimsに追加
for i in range(100):
    #0:
    #1:→
    #2:→＋ジャンプ
    #3:→→
    #4:→→＋ジャンプ
    #5:ジャンプ
    #6:←
    command = nr.randint(1, 7)
    state, reward, done, info = env.step(command)
    
    #imsに追加
    im = plt.imshow(env.render(mode='rgb_array'))
    ims.append([im])
    
    if done == True:
        break
        

#imsを表示
ani = animation.ArtistAnimation(fig, ims, interval=15, blit=True)
rc('animation', html='jshtml')
ani

#保存用
#ani.save('mario.gif', writer='imagemagick')
#ani.save('mario.mp4', writer="ffmpeg")

#マリオの評価関数
def mario_score(para):
    #ゲーム環境のリセット
    env.reset()
    
    #各paraを4フレームずつ実行し、ゲームオーバーまでプレイ
    end = False
    for p in para:
        #3:→→
        #4:→→＋ジャンプ
        for i in range(4):
            state, reward, done, info = env.step(p)
            #ゲームオーバーチェック
            if done == True:
                end = True
                break

        if end == True:
            break
    
    #遠くまで進むほど（x座標）、かつ、ジャンプ割合が少ないほど高スコアとする
    return (info['x_pos']) * (np.sum(para == 3) / len(para))

#poolの可視化（ベストの表示）
def mario_show_pool(pool, **info):
    
    #GA中の諸情報はinfoという辞書に格納されて渡されます
    #これらを受け取って使用することができます
    gen = info['gen']
    best_index = info['best_index']
    best_score = info['best_score']
    mean_score = info['mean_score']
    mean_gap = info['mean_gap']
    time = info['time']
    
    #ゲーム環境のリセット
    env.reset()

    #エリートだけ、各paraを4フレームずつ実行し、ゲームオーバーまでプレイ
    end = False
    for p in pool[best_index]:
        #3:→→
        #4:→→＋ジャンプ
        for i in range(4):
            state, reward, done, info = env.step(p)
            #ゲームオーバーチェック
            if done == True:
                end = True
                break

        if end == True:
            break
    
    #情報の表示
    print(gen, mean_score, best_score, info['x_pos'], time)
    print(pool[best_index])
    
    #最後の1コマだけ表示
    plt.imshow(env.render(mode='rgb_array'))
    plt.show()

#パラメータ範囲
para_range = [[3, 4] for j in range(500)]

#GAで最適化
para, score = vcopt().dcGA(para_range,                      #para_range
                           mario_score,                     #score_func
                           999999,                          #aim
                           show_pool_func=mario_show_pool,  #show_para_func=None
                           seed=1,                          #seed=None
                           pool_num=10)
#結果の表示
print(para)
print(score)