現在LLMのセルフホストはProプランでのプレビュー機能です。使用を希望される場合はダッシュボード上からProプランに更新の上ウェイトリストにお申し込みください。
MorphではOllamaによるLLMのセルフホスト機能を提供しています。 ダッシュボード上で使用したいモデルを選択しデプロイすることでAPIとして呼び出し可能なURLが発行されPythonのコード上から呼び出すことができます。

​
LLMを利用する

1

LLMをデプロイする

ダッシュボードのLLMタブを押下しLLM作成画面に遷移します。任意のLLM Nameを入力し、使用するModel Nameを選択します。Create LLM現在以下のモデルが使用可能です。
ModelParameters
deepseek-r11.5b, 7b, 8b, 14b
llama3.28b
phi414b
qwen0.5b, 1.8b, 4b, 7b, 14b
2

作成したモデルを確認する

LLMタブから作成したLLMを選択します。Create LLMLogsの欄で選択したモデルのステータスがDeployment Succeededであれば作成が成功しています。まだ進行中の場合は作成完了までお待ちください。App URLはMorphにホストされたLLMのURLです。このURLとMorphのAPI Keyを使用してLLMにリクエストを送ることが可能です。
3

LLMにリクエストを送る

先ほどのApp URLとMorphのAPI Keyを使用してLLMにリクエストを送ります。以下はPythonとcURLによるリクエストのサンプルです。
Pythonで使用する場合はlangchain-ollamaパッケージをインストールする必要があります。
pip install langchain-ollama

from langchain_ollama import ChatOllama

llm = ChatOllama(
    model="{MODEL_NAME_YOU_DEPLOYED}",
    base_url="{YOUR_MORPH_LLM_APP_URL}",
    client_kwargs={
        "headers": {
            "x-api-key": "{YOUR_MORPH_API_KEY}",
        }
    },
)
for token in llm.stream("Hello"):
    yield token.content