「まっすぐ行って、右！」って言ってラズパイカーを動かしたい 〜生成AI × Raspberry Pi Pico × Gradioの試作メモ〜

本ポスターでは、音声や画像といったマルチモーダルな入力から、Raspberry Pi Picoで動く小型カーを制御する試みを紹介します。 構成としては、Gradioで音声や手描きルートを入力し、それをLangChainを使って「前進」「右折」などを意味するコマンドに変換。Picoは簡易的なHTTPサーバとして動作し、Wi-Fi経由で指示を受けてカーを制御します。 本ポスターでは、この構成と技術要素を共有しながら、「こうしたらもっと面白くなるかも？」といった皆さんのアイデアも頂ければと思っています。ゆるく楽しく「生成AI × IoT」の可能性を探る取り組みです！

音声指示や手描きルートを使って小型カーを操作できたら面白そう！ そんな発想から始まった、生成AIとIoTを組み合わせたゆるい実験を紹介します。

現在の構成は以下の通りです。

• 車体は市販のPicoカーキット＋Raspberry Pi Pico WHを使用
• Gradioで音声入力やルート画像を入力
• LangChainでユーザの指示を「前進」「右折」などを意味するコマンドに変換し、Picoカーに送信
• Pico上でmicrodotを使ってHTTPサーバを動かし、Wi-Fi経由でコマンドを受信
• コマンドに従ってPicoカーが動く

ポスターでは構成図やコード断片を共有しつつ、「こうしたらもっと面白くなるかも？」というアイデア交換の場にできればと思っています。お気軽にお立ち寄りください！

※ 紹介している技術はプロポーザル提出時のものです。使用するライブラリ・フレームワークは変わる可能性があります。

マルチモーダルな入力（音声や画像）と生成AIを組み合わせた実験的なネタを考えていたとき、「自然言語で小型カーに指示が出せたら、ちょっとペットっぽくて面白いかも？」と思ったのがきっかけです。

プロンプトや構成を試作するうちに、「まっすぐ行って右！」といった指示のほか、「おはよう！」「踊ってみて！」といった言葉もモーターの動きやLEDの色に変換できることがわかり、さまざまな応用例が思い浮かびました。「これは人に共有したい！」という気持ちが強くなったのが、本題材をまとめようと思ったきっかけです。

まだ試作段階ですが、構成や動かし方を共有しつつ、同じように「自分も何か作ってみたい！」と思う方が増えたら嬉しいです。

• Gradioで音声入力や手描き画像を受け付けるUIの作り方
• 音声からテキストへの変換方法（文字起こし）
• LangChainを使って自然言語や画像を構造化データ（コマンド）に変換する方法
• 音声や画像の入力をコマンドに変換してPicoカーを制御する構成例
• 「生成AIとIoTをどうつなげるか？」というプロトタイピング的発想のヒント

• Pythonの基本的な文法や構文（if、for、リスト、辞書、関数、クラスなど）
• 生成AI（ChatGPTなど）に触れたことがある、または興味がある
• 以下について知っていると理解がスムーズですが、なくても大丈夫です
  • requestsを使った簡単なHTTP通信の経験
  • yieldや非同期処理について何となく知っている
  • Raspberry Pi Picoについて何となく概要を知っている