今更ですが、ローカルでLLMを実行できるようにするために、無料で使えるOllamaをローカルのUbuntuにインストールしていきます。
Ollama
Get up and running with large language models.
ollama.com
この記事のゴール
- OllamaをUbuntuにインストールして使えるようにする
- LLMを実行する
環境情報
- Ubuntu24.04.2 LTS(WSL2 on Windows11)
- プロセッサ：AMD Ryzen 7 7730U with Radeon Graphics 2.00 GHz
- 実装RAM：16.0 GB (15.4 GB 使用可能)
- システムの種類：64 bit OS、x64 ベース プロセッサ
- GPU：AMD Radeon (TM) Graphics 512MB / 共有7.7GB
Ollamaダウンロード
ollamaのLinux用インストーラーシェルスクリプトをダウンロードします。
wget https://ollama.com/install.sh
インストーラーを実行します。
bash install.sh
sudo権限を求められるので、パスワードを入力するとインストールが続行されます。
「ollama」がサービス登録され起動されたので、状態を確認してみます。
systemctl status ollama
インストールされた「ollama」のバージョンを確認してみます。
ollama --version
利用可能な言語モデル
ollamaで利用可能な言語モデルは次のURLで探すことができます。（コマンドで見れればいいのに）
Ollama Search
Search for models on Ollama.
ollama.com
今回は、サイズの小さい「llama3.1:8b」を使ってみます。
llama3.1:8b
Llama 3.1 is a new state-of-the-art model from Meta available in 8B, 70B and 405B parameter sizes.
ollama.com
ollama run llama3.1:8b
モデルのダウンロードが完了したら、LLMのプロンプトが表示されます。
簡単な質問をしてみます。
日本語を解釈して日本語で返答が返ってきました。
ヘルプを表示してみます。
/?
終了するには「/bye」と入力すれば良いようです。
/bye
やっぱり、ローカルLLMはハイスペックな専用マシンを用意したいところですね。
でもそこまでいくなら、初期費用＋ランニングコスト（電気代＋空間維持費）で考えると、
使い方次第ですがClaude Max $200/月の方がコスパは良いのかもしれません。。
次回は、Open WebUI を使えるようにしていきます。
参考サイト
第825回 ローカルLLMの実行ツールであるOllamaをUbuntuで動かす | gihyo.jp
今回はLLMのうち個人でも利用可能で軽量なモデルの入門として、まずはUbuntu上で動かす方法について紹介します。LLMの実行環境としてOllamaを使い、Llama 3.1やGemma 2を動かしてみましょう。
gihyo.jp
コメント