カテゴリー: LLM

軽量のプラットホームであれば、パソコンでも動作可能とのことなので、M1 Mac(16GB)でポピュラーと思われるOllamaを動かしてみました、メモリは16GBはないと動きません、遅くても良いからとラズパイ５（8GB）で動かそうとしたらメモリ不足で動きませんでした

インスト方法は、モデルの変換も記述されています

https://qiita.com/s3kzk/items/3cebb8d306fb46cabe9f

OllamaはLLMのフレームワークなので実際に使うためにはモデルのインストが必要になります

<コマンドラインでのやり取りの例>

起動方法は、

% ollama run elyza:jp8b

一方APIを使う場合には、

% ollama serve 

でollamaを起動しておいて、

https://highreso.jp/edgehub/machinelearning/ollamapython.html

を参考にスクリプトを作成して、

import requests
import json

url = 'http://localhost:11434/api/chat'

data = {
    "model":"elyza:jp8b",
    "messages": [
        {
            "role": "user",
            "content": "千葉県の名産品を教えて、"
        }
    ],
    "stream": False
}

response = requests.post(url, data=json.dumps(data))
response_data = response.json()
print(response_data)

このスクリプトを実行すると、

のようなjson形式のレスポンスが返ってきます、コンソールの対話モードに比較するとMacが考えている時間がかなり長い、おそらく10秒ちょっとかな、

リソースの消費状況は、

こんな感じなので、やはりラズパイ５では実用上は無理かな、

admin

公開されてからいくつかの質問をしていますが、無回答というのはなくてとりあえずハズレでも良いから回答するという特性があります。

ネットの記事にあった、円周率は3.05以上であることを証明しなさいというのを入力すると、円周率は3.14…だから3.05以上だという無意味な回答が出てきます。

内接する正多角形で考えると正六角形で３以上、正八角形でおよそ3.06、正十二角形でおよそ3.1というのが最大平方根の計算だけで求まるからというのがおそらく正しい回答で今の設問ならば正八角形で回答すれば良い。

下の手書きの絵は正十二角形での計算過程ですが、角度が60/45/30度ならば最大でも平方根の計算だけで求まります。

多分人間の思考とは違うので、こういう問題は苦手だろうと思います、簡単なアルゴリズムのコード化などはそれらしい結果が出てくるので。

だんだん賢くはなるだろうけれども、少なくとも創造はできないだろうから人間の思考の補助としての使い道でしょう。

admin

ここ一年ぐらい話題になっている言語モデルAPI、解説によれば「深層学習を使用して人間のようなテキストを生成する自己回帰言語モデル」です。

具体的にはいくつかのキーワードを与えると関連した文章を自動で自動作成でき、出力は文章に限らずWebページを作成するとか、プログラムコードを自動生成するなどもあるらしいですが、申請すれば個人でもAPIを使えるようになっているようだから一度使ってみたら面白そうです。最初の三ヶ月は無料クーポン付きで以降は有料とのこと。

言ってみれば、文章版のローコードツールというふうにも言えそうですが。だんだん賢くなれば文章作成やコード生成で標準的な人間の能力を超えていくんだろうと思う。

admin