Ollamaを使用してLLMをセルフホストする

現在LLMのセルフホストはProプランでのプレビュー機能です。使用を希望される場合はダッシュボード上からProプランに更新の上ウェイトリストにお申し込みください。

MorphではOllamaによるLLMのセルフホスト機能を提供しています。 ダッシュボード上で使用したいモデルを選択しデプロイすることでAPIとして呼び出し可能なURLが発行されPythonのコード上から呼び出すことができます。

LLMを利用する

1

LLMをデプロイする

ダッシュボードのLLMタブを押下しLLM作成画面に遷移します。

任意のLLM Nameを入力し、使用するModel Nameを選択します。

現在以下のモデルが使用可能です。

Model	Parameters
deepseek-r1	1.5b, 7b, 8b, 14b
llama3.2	8b
phi4	14b
qwen	0.5b, 1.8b, 4b, 7b, 14b

2

作成したモデルを確認する

LLMタブから作成したLLMを選択します。

Logsの欄で選択したモデルのステータスがDeployment Succeededであれば作成が成功しています。まだ進行中の場合は作成完了までお待ちください。

App URLはMorphにホストされたLLMのURLです。このURLとMorphのAPI Keyを使用してLLMにリクエストを送ることが可能です。

3

LLMにリクエストを送る

先ほどのApp URLとMorphのAPI Keyを使用してLLMにリクエストを送ります。

以下はPythonとcURLによるリクエストのサンプルです。

Pythonで使用する場合はlangchain-ollamaパッケージをインストールする必要があります。

pip

pip install langchain-ollama

Python

from langchain_ollama import ChatOllama

llm = ChatOllama(
    model="{MODEL_NAME_YOU_DEPLOYED}",
    base_url="{YOUR_MORPH_LLM_APP_URL}",
    client_kwargs={
        "headers": {
            "x-api-key": "{YOUR_MORPH_API_KEY}",
        }
    },
)
for token in llm.stream("Hello"):
    yield token.content