9-10. 誤差逆伝播法 vs 遺伝的アルゴリズム、ニューラルネットの学習アルゴリズム比較

#Colabに初期装備されていないパッケージのインストール
!pip install vcopt

#深層学習関連のimport
from keras.models import Sequential
from keras.layers.core import Dense
from keras.optimizers import Adam
from keras.callbacks import Callback
from sklearn.model_selection import train_test_split

#プロット関連のimport
import matplotlib.pyplot as plt

#GA関連のimport
from vcopt import vcopt

#その他のimport
import math
import numpy as np
import numpy.random as nr

#========================================================
#教師データの用意（sin波）
#========================================================
#乱数シードの固定
nr.seed(0)

#教師データの用意（sin波）
pi = math.pi
x, y = [], []
for i in np.arange(0, 2*pi, 0.02):
    x.append(i)
    y.append(math.sin(i) + nr.normal(0, 0.15))
x = np.array(x)
y = np.array(y)

#xは[0, 1]、yは[-0.8, 0.8]くらいに規格化
x = x / (2*pi)
y = y * 0.8

#教師データの数
print(len(x))
print(len(y))

#教師データの表示
plt.scatter(x, y, s=4, c='k')
plt.xlabel('x'); plt.ylabel('y'); plt.ylim([-1, 1]); plt.show()


#教師データを訓練データとテストデータに分割
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.3, random_state=0)

#訓練データの表示
print(len(x_train))
print(len(y_train))
plt.scatter(x_train, y_train, s=4, c='b')
plt.xlabel('x'); plt.ylabel('y'); plt.ylim([-1, 1]); plt.show()

#テストデータの表示
print(len(x_test))
print(len(y_test))
plt.scatter(x_test, y_test, s=4, c='r')
plt.xlabel('x'); plt.ylabel('y'); plt.ylim([-1, 1]); plt.show()

#========================================================
#深層学習
#========================================================

#ニューラルネットの用意
model = Sequential()

#入力値→中間層
model.add(Dense(5, input_dim=1, activation='tanh'))

#中間層→出力値
model.add(Dense(1, activation='tanh'))

#損失関数と最適化関数を指定してコンパイル
model.compile(loss='mse' , optimizer=Adam(lr=0.005))

#モデルの表示
model.summary()


#学習
hist = model.fit(x_train, y_train, validation_data=(x_test, y_test), batch_size=10, epochs=300)


#学習曲線の表示
plt.plot(hist.history['loss'], label='train')
plt.plot(hist.history['val_loss'], label='test')
plt.xlabel('epoch'); plt.ylabel('mse loss'); plt.legend(); plt.show()

#予測結果の表示
plt.scatter(x_test, y_test, s=3, c='r', label='test')
plt.scatter(x_test, model.predict(x_test), s=3, c='g', label='predict')
plt.xlabel('x'); plt.ylabel('y'); plt.legend(); plt.ylim([-1, 1]); plt.show()

#========================================================
#GA用のニューラルネット（paraを重みとして、xからyを予測する）
#========================================================

def neural_vcopt(x, para):
  
  #入力層（１ユニット）
  now = x
  
  #print('入力層\n{}'.format(now))
  
  #入力層→中間層
  #全結合（１ユニット→５ユニット）
  weight = para[:5].reshape(1, 5)
  now = np.sum(np.array([now]).T *  np.array(weight), axis=0)
  #バイアスを足す
  bias = para[5:10]
  now = now + bias
  #活性化関数（tanh関数）
  now = np.tanh(now)
  
  #print('中間層\n{}'.format(now))
  
  #中間層→出力層
  #全結合（５ユニット→１ユニット）
  weight = para[10:15].reshape(5, 1)
  now = np.sum(np.array([now]).T *  np.array(weight), axis=0)
  #バイアスを足す
  bias = para[15:16]
  now = now + bias
  #活性化関数（tanh関数）
  now = np.tanh(now)
  
  #print('出力層\n{}'.format(now))
  
  return now[0]


#動作確認
x_tmp = nr.rand(1)
para_tmp = nr.rand(16) * 10 - 5

print(neural_vcopt(x_tmp, para_tmp))

#========================================================
#評価関数（paraを受け取って、220個の学習データをニューラルネットに通してyを予測し、平均二乗誤差を返す）
#========================================================

def sin_mse(para):
  
  #二乗誤差を用意
  mse = 0
  
  #220個のx_trainをニューラルネットに通して、y_trainとの二乗誤差を計算
  for i in range(len(x_train)):
    
    #ニューラルネットでyを予測
    y_tmp = neural_vcopt(x_train[i], para)

    #y_trainとの二乗誤差
    mse += (y_train[i] - y_tmp)**2
  
  #平均二乗誤差を返す
  return mse /len(x_train)


#動作確認
para_tmp = nr.rand(16) * 10 - 5

print(sin_mse(para_tmp))

#========================================================
#GAで最適化
#========================================================

#パラメータの初期範囲（16パラメータとも[-5, 5]の範囲）
para_range = np.ones((16, 2)) * 5
para_range[:, 0] *= -1

#print(para_range)

#GAで最適化
para, score = vcopt().rcGA(para_range,
                           sin_mse,
                           0.0,
                           show_pool_func='print',
                           pool_num=None)

print(para)
print(score)


#予測結果の表示
y_predict = []
for i in range(len(x_test)):
  y_tmp = neural_vcopt(x_test[i], para)
  y_predict.append(y_tmp)

plt.scatter(x_test, y_test, s=3, c='r', label='valid')
plt.scatter(x_test, y_predict, s=3, c='g', label='predict')
plt.xlabel('x'); plt.ylabel('y'); plt.legend(); plt.ylim([-1, 1]); plt.show()