30-16. 音声会話できるRAGチャットシステムを作る（後編）

やること

先日作った「音声会話RAGチャットシステム」を

30-15. 音声会話できるRAGチャットシステムを作る（前編）

やること音声だけでやり取りできるRAGチャットシステムを作ります！※RAG（検索拡張生成）：ネット上にない知識を回答してもらう専門家チャットAIChatGPT、Gemini、...

vigne-cla.com

2024/07/10

2024/7/13(土)～15(月) J-WAVE presents INSPIRE TOKYO（＠代々木第一体育館）で試乗会を行う自動運転車に搭載していただきました。課題をメモしておきたいと思います。

試乗会の様子

館内でライブが行われている間こそ少なかったですが、ライブの前後は絶えず行列ができていました。同じルートで人力車の試乗会も行われていたので、お客さんの希望をできるだけ叶えられるように協力しました。「自動運転車 vs 人力車」「人力車 vs ベビーカー」のバトルも発生していました^^

自動運転車の試乗会（INSPIRE TOKYO 2024＠原宿） #shorts

車にこのようにボタンとマイクを設置しました。配線を行ってくださったエンジニアの方に感謝です。

まず、この会話システムがよく落ちる。1時間くらいで落ちるので再起動が必要でした。おそらくノートPCの性能のせいかなと思います。（あとWindowsアップデート）

次に、会話システムのレスポンスが遅かった要因がいくつかあります。

1. 全体的にストリーミング対応ではない
2. AIの回答をもらう無線LANが遅い
3. 音声合成がノートPCのCPU依存

3が一番影響が大きかったです。GPU付きの小型デスクトップを置きましょう。1と2は優先度が低めです。

そして致命的なのが、500円くらいの激安マイクでは風の音しか拾わないことです。「ｺﾞｰｰｰｰｰｰｰｯｯ!!」という質問に対して「えーっと、ヤドカリドライブについて聞きたいんだね？」と珍妙に空気を読んだ回答が返ってきていました。マイクはちゃんとしたものを選びましょう。

おわりに

これらを改良して、さらに3Dアバターと合体させた音声会話システムを秋の展示会で置きましょう。ぜひ遊びに来てください。

ちゃっかりライブも楽しみました↓