16-15. 「MatrixFlow」有料版で過去ツイートのワードクラウドの作成備忘録

import numpy as np
import os

#この階層にあるcsvを読む
files = os.listdir('./')
print('files:\n{}'.format(files))

data = []
for file in files:
    if file[-4:] == '.csv':
        print(file)
        with open(file, 'r', encoding='utf_8') as f:
            #１行目はラベルなのでカラ読み
            f.readline()
            #一時行
            line = ''
            while 1:
                #真の1行を見極める処理
                #改行コードまで読む
                tmp = f.readline()
                #空なら終了
                if len(tmp) < 1:
                    break
                #一時行に合体
                line += tmp
                #カンマを数えて39個あれば
                if line.count(',') >= 39:
                    #改行コードを置き換える
                    line = line.replace('\n', ' ')
                    #ツイート部分を取得
                    line = line.split(',')
                    data.append(line[2])
                    #一時行をリセット
                    line = ''
                else:
                    #39個なければさらに読み進める
                    pass
data = np.array(data)
print('len(data):\n{}'.format(len(data)))
print('data[:5]:\n{}'.format(data[:5]))

#保存ディレクトリ作成
if not os.path.isdir('text_train/'):
    os.makedirs('text_train/')
if not os.path.isdir('text_train/texts/'):
    os.makedirs('text_train/texts/')
if not os.path.isdir('text_train/texts/twitter/'):
    os.makedirs('text_train/texts/twitter/')

#保存
count = 0
for i in range(len(data)):
    path = 'text_train/texts/twitter/{}.txt'.format(count)
    with open(path, mode='w', encoding='utf-8') as f:
        text = data[i].split('"')[1]
        print(text)
        f.write(text)
    count += 1