ゼロから作る自作LLM：AIを根本から理解し、業務に活かすRAG構成

ChatGPTをはじめとする大規模言語モデル（LLM）が普及したことで、AIはより身近な存在となりました。しかし、その仕組みを根本から理解する機会は意外と少なく、ブラックボックスのまま活用している方も多いのではないでしょうか。

本セッションでは、TransformerアーキテクチャをベースにしたLLMをPyTorchとPythonのみでゼロから実装し、それをRAG（Retrieval-Augmented Generation）と組み合わせて、社内Q&Aボットとして実用化する方法を紹介します。

外部APIや既存の商用モデルには頼らず、自作LLMだけで完結することで、AIの「中身」に踏み込みながら、実装力も鍛えられる構成となっています。

発表では、自作LLMの構成、RAGとの連携、実務での活用例までをステップごとに解説し、PythonユーザーがAIを「使う側」から「創る側」へ進むためのヒントを提供します。

AIの仕組みを根本から理解したい方、自作に挑戦したい方におすすめの内容です。

本セッションでは、大規模言語モデル（LLM）の仕組みを根本から理解したい方を対象に、PythonとPyTorchのみを用いてTransformerベースの自作LLMをゼロから構築し、それをRAG（Retrieval-Augmented Generation）と組み合わせて社内Q&Aボットを実現する方法を解説します。ChatGPTなどの商用モデルや外部APIに依存せず、あえて自作で完結させることによって、AIの内部構造を学び、実装力と応用力の両方を身につけられる構成となっています。発表では、LLMの最小構成モデルの実装、Retrieverによる文脈検索、プロンプト統合による回答生成までを段階的に紹介し、初心者でも再現可能な内容としてまとめます。業務への応用も視野に入れ、実践的なヒントも提供します。