初心者向け：ゼロから作る自作LLM ― PyTorch実装とRAG連携入門

LLM は私たちの身近な存在になりましたが、その「中身」はブラックボックスのまま使われがちです。 本セッションでは、PyTorch と Python だけを用いて Transformer ベースの小さな LLM を自作し、さらに RAG（検索＋生成） と組み合わせる方法を紹介します。

外部 API や商用モデルには依存せず、仕組みを理解しながら実装力を鍛えることができます。

本セッションは、LLM の仕組みを基礎から理解したい方向けに、Python と PyTorch だけで Transformer ベースの小さな自作 LLM をゼロから構築し、RAG（検索＋生成）の基本的な組み合わせ方を解説します。外部 API や商用モデルに頼らず、トークナイズ → 埋め込み → 因果 Self-Attention → MLP → 損失計算までの流れを、コードと図で段階的に追体験します。さらに最小構成の実装、Retriever による文脈検索、ハイパーパラメータ設定のコツを共有し、図解と最小コードも用意して理解を深めます。小規模データでも動かせる実践志向の内容で、学びを現場に生かせます。

「中身を知らないまま使う」状態に疑問を持ち、実際に小さな LLM を自作して仕組みを追体験した経験を共有します。 自作してみることで、Transformer の動きを具体的に理解できるようになりました。

• PyTorch で作るシンプルな自作 LLM の手順
• RAG の仕組みと自作 LLM とのつなげ方
• 「AIを使う」から「AIを作る」への視点

• Python 基本文法（if／関数／クラス）
• PyTorch 入門があると理解が速い（なくても参加OK）
• Transformer/LLM の高度な知識は不要。仕組みを知りたい意欲があれば十分です。