［VOD/data］大規模言語モデルLLMによる生成AIプログラミング入門
ラズパイに軽量実装！ネット接続不要のスタンドアロン・エッジ開発
2024年12月12日
 |
|---|
-
- 型名：z-llmai-on2
- 仕様：講義240分，解説73頁，実習用ソースコード
- 定価：19,800円（税込・送料無料）
- 著者・講師： 井上 祐寛/Takuhiro Inoue（株式会社クレスコ）
- 企画編集・主催： ZEPエンジニアリング株式会社
- 1人当たり1ライセンスです
-
- 姉妹製品（ラズパイ5あり）：［VOD/Pi5 KIT/data］大規模言語モデルLLMによる生成AIプログラミング入門
- 関連製品：［VOD］ARM/GPU/FPGA/RISC-Vで作る AIカメラ＆IoTエッジ開発 100の要点
- 関連製品：［VOD/KIT］ ラズベリー・パイで学ぶエッジAIプログラミング入門
- 関連製品：［VOD/KIT］人工知能カメラM5StickVで作って学ぶ画像解析AI開発入門
- 関連製品：［VOD/Pi4 KIT］世界の航空機を同時追跡！Flightradar24 ラズパイ・キット
 |
 |
 |
|---|
概要
本VODでは，通常クラウド環境で動作する大規模言語モデル（LLM，Large Language Models）を，ローカル環境であるPCやラズベリー・パイで実際に動かすための具体的な手順と知識を学びます．従来の自然言語処理（NLP，PNatural Language Processing）と比較して，LLMはTransformerアーキテクチャを採用し，文章全体の意味を一度に把握できるため，長文の処理や多様なタスクに対応する能力が格段に向上しています．しかし，LLMは膨大な計算リソースを必要とします．
講義を通じて，限られたリソースの環境でもLLMを利用するための軽量化技術に焦点を当て，軽量製済みモデルを使用して，手軽に自身の環境で動作させる方法を実践的に体験できます．
キットに加え，4時間を超える解説動画と，73頁の講義キストが同梱されています．
同梱の説明書(下記)には，講義ビデオや講義テキストの視聴を可能にするパスワードが記載されています．
本製品のすべての映像，画像，文書テキスト，ソースコードは著作権法によって厳格に守られています．無許可の転載，複製，転用は法律により罰せられます．
Raspberry Pi 5 / 8GBを含む実習キットが必要な方は，下記の製品がおすすめです．
［VOD/Pi5 KIT/data］大規模言語モデルLLMによる生成AIプログラミング入門
講義ビデオ(240分)＆テキスト(73頁)
- セミナの概要と目的
大規模言語モデルのいま，LLMの進化とそのローカル実行の価値，ローカル環境でLLMを動作させる利点 - 大規模言語モデルの基礎知識
ChatGPTなどのテキスト生成に関するモデルの基本知識と，そのほかの生成AIについても学ぶ．技術的な詳細情報ではなく，生成AIとはどういうものなのかについて例を示しながら解説する - モデル軽量化の技術
コンピュータ・リソースが限られた環境で，LLMを動作させるためのモデル軽量化手法として蒸留，枝刈り，量子化について解説する - LLMの導入方法
PCとラズベリー・パイの両方にLLMをインストールし，動かすための手順を体験する - チャット機能の開発
PC上でLLMを使ってチャット機能を構築し，ユーザ・インターフェースを通じて対話を行う方法を学ぶ．ラズベリー・パイではコマンド・ラインからの打ち込みによりチャット機能を動作させる - Appendix ローカルLLMの用途
実習用ソースコード
自分の手でソースコードを入力することはとても重要ですが，慣れるまでは，なかなか思うように動いてくれないものです．Llamaライブラリを使った対話型チャット・アプリケーション，REST API形式でAI応答を処理するスクリプト，ローカルAIチャット・サービスへのリクエストと応答の整形スクリプト，さらにマルチモーダル・モデルを使用し、画像に対する説明(英語)を行うスクリプトなどのソースコードを提供します．
講演の目標
- モデル軽量化技術の理解
- 軽量化済みモデルの導入
- LLMのローカル実行
- LLMのローカル・アプリケーション開発(PCが対象です)
受講対象
- 情報漏洩の心配なくLLMを利用したい方
- ラズベリー・パイでのLLM動作を試したい方
- ローカル環境での構築について知りたい方
実習に必要なパソコンや周辺機器
(1)Googleアカウント
(2)パソコン環境
Windows10以降，ブラウザはGoogle Chromeが必須．GPUは不要
(2)インターネット接続環境
(3)ラズベリー・パイで使用するパーツ
- 有線キーボード(USB TypeA)
- 有線マウス(USB TypeA)
- モニタ(HDMI接続)
本製品を購入された方へ
講義ビデオと講義テキストの視聴方法は，下記リンク先(青字)をクリックし，本製品同梱の説明書に書かれたパスワードを入力してください．
240分の講義ビデオ(著作権保護のためパスワードがかけられています)
講義動画_大規模言語モデルLLMによる生成AIプログラミング入門.mp4
- 0:00:10 イントロダクション
- 0:05:00 セミナの概要と目的
- 0:10:45 大規模言語モデルの基本知識
- 0:50:20 モデル軽量化の技術
- 1:04:26 大規模モデルを動かす
- 2:38:52 チャット機能の実装
- 3:31:10 Appendix ローカルLLMの用途
講義テキスト(著作権保護のためパスワードがかけられています)
実習用ソースコード(著作権保護のためパスワードがかけられています)
※実習には32GB以上のマイクロSDカードが必要です．実習開始前に，「イメージ・ファイルの入手先.pdf」を参照し，イメージ・ファイルの書き込んでおいてください．
紹介動画
大規模言語モデルの内部動作と予測メカニズム