跳至主要內容

19. 本地大模型对接（Ollama、LM Studio）

Ran原创2025/11/10...大约 33 分钟

此处可以回忆对战游戏里接入 API 模型的操作，那么 main.py 函数是否还需要修改？—— 不需要修改，只要保证 main.py 可以正常的接收大模型返回的特定结果即可。

我们只需要保证，使用任何大模型时返回的结果、类型与先前的大模型一致，即可无损实现！

1. 安装 Ollama、LM Studio

2. Ollama 实现

2.1 本地实现

  1. 安装 Ollama 库：

    pip install ollama
    成功安装
    成功安装

    通过终端输入 ollama 查看功能：

    通过上面显示的命令 ollama list 查看已下载模型。

  2. 开始和模型基础聊天

    from ollama import chat
from ollama import ChatResponse

# 模型可以更改成自己已经下载的模型
response: ChatResponse = chat(model='gemma3', messages=[
  {
    'role': 'user',
    'content': 'Why is the sky blue?',
  },
])
print(response['message']['content'])
# or access fields directly from the response object
print(response.message.content)

    自己操作如下：

2.2 局域网方法

便于后期在其他设备上运行本地大模型，从而节省自己电脑的算力。

  1. 获取 IP 地址

    在安装了 Ollama 的电脑上找，首先需要打开如下选项：

    方法一：

    因为电脑不同，有时会找不到网络属性，还可以直接查看连接的 WiFi ，右侧圆形里面带 i 的标志直接找到。

    方法二：

    打开终端输入 ipconfig 即可。（windows 终端是搜索 cmd 即可）

    ​

  2. 参考官网教程 API 方法

    https://docs.ollama.com/api

    找 python 专用代码

    from ollama import Client
client = Client(
  host='http://localhost:11434',      # 冒号后面的这个代码是固定且唯一的
  headers={'x-some-header': 'some-value'}
)
response = client.chat(model='gemma3', messages=[
  {
    'role': 'user',
    'content': 'Why is the sky blue?',
  },
])

    个人操作：

    注释：

    ip 地址冒号后面的是固定的，比如 http://localhost:8080 是自己网站的地址，那么 http://localhost:11434 就会显示 Ollama is running 因此，上面代码 host 部分修改，需要在同一WiFi下（校园网不能用），将 localhost 更换为 → 安装并要使用 ollama 的那台电脑的 ip 地址，并保留冒号后面的 11434。

2.3 封装成函数

可以将这个代码封装成函数，像 deepseek 一样进行调用了。

  1. 本地方法

  2. 局域网方法

和主程序对接的时候，只需要导入时修改为 from battle_game_with_AI.ollama_big_model import llm_enemy_decide 即可使用。

2.4 扩展实现

扩展实现 1：

自足选择使用本机模型（ollama_local_code）or 本地服务器模型（ollama_api_code）。

基础版实现（个人尝试）

扩展实现2：

尝试让用户选择需要的模型（Ollama，deepseek，LM Studio）

简略实现
# 缺点是不用的也会导入，浪费资源

import random
from faker import Faker

from battle_game_with_AI.deepseek_big_model import llm_enemy_decide
from battle_game_with_AI.ollama_big_model import llm_enemy_decide

3. LM Studio 实现

安装 LM 的库

pip install lmstudio

3.1 本地实现

快速开始：

convenience API
import lmstudio as lms

model = lms.llm("qwen/qwen3-4b-2507")
result = model.respond("What is the meaning of life?")

print(result)

代码解析：

line 1 中 import lmstudio as lms 指下面代码中用 lms 来替代 lmstudio 。

with lms.Client() as client 通过 with 实现文件的自动打开和关闭。

3.2 局域网实现

  1. 配置局域网
convenience API
import lmstudio as lms
SERVER_API_HOST = "192.168.31.215:1234"

# This must be the *first* convenience API interaction (otherwise the SDK
# implicitly creates a client that accesses the default server API host)
lms.configure_default_client(SERVER_API_HOST)

# Note: the dedicated configuration API was added in lmstudio-python 1.3.0
# For compatibility with earlier SDK versions, it is still possible to use
# lms.get_default_client(SERVER_API_HOST) to configure the default client
  1. 检查 LM Studio 是否正常运行
import lmstudio as lms
SERVER_API_HOST = "192.168.31.215:1234"

if lms.Client.is_valid_api_host(SERVER_API_HOST):
    print(f"An LM Studio API server instance is available at {SERVER_API_HOST}")
else:
    print("No LM Studio API server instance found at {SERVER_API_HOST}")
    
# -------output-------
An LM Studio API server instance is available at 192.168.31.215:1234
  1. 进行对话
convenience API
import lmstudio as lms
SERVER_API_HOST = "192.168.31.215:1234"

lms.configure_default_client(SERVER_API_HOST)

# 开始对话
model = lms.llm("openai_gpt-oss-20b")
print(model.respond("生命的意义是什么?"))

流式的代码可以参考官方文档

3.3 探究多轮对话记忆实现

参考官方文档 REPL Usage 部分。

更多教程信息，参见 https://bornforthis.cn/column/Python-Programming-Course/P05-AI-large-model/05-LMStudio.html

3.4 自定义推理参数

非流式
# The `chat` object is created in the previous step.
result = model.respond(chat, config={
    "temperature": 0.6,             # 随机性，活跃性(值越高答案越活跃，越低答案越保守)
    "maxTokens": 50,
})

3.5 多回合聊天

3.5.1 基础实现

官方示例

3.5.2 去除思维链

3.5.2.1 流式

从上述代码的输出我们不难发现，输出的内容包含的了很多无关内容，我们需要对输出的结果控制。

先去除无关输出：

不需要输出 Bot 这个字符串。

# 删除下面一行代码
print("Bot: ", end="", flush=True)

最终输出：

#-------output-------
用户输入(空格退出): 请给我列举三个水果
<|channel|>analysis<|message|>The user wants three fruits in Chinese presumably. According to instructions: "direct answer, no thinking process". Just list three fruits. We can just output e.g., 苹果、香蕉、橙子.

We should comply with the instruction not to include explanation. The final answer: "苹果、香蕉、橙子".

<|end|><|start|>assistant<|channel|>final<|message|>苹果、香蕉、橙子
研究方法

从代码可以看出，官方给出的多回合聊天是流式的，因此输出的答案是多片段拼接，也可以从代码中的 for 循环看出。

如果我们使用 time 函数加个延迟来观察，会更加明显：

除了使用 time ，还可以恢复 print 本身的功能，删除 end="" 每次输出都换行即可。此外，time 和 print 方法结合，才能发挥更大的作用。

结论： <|channel|>analysis<|message|> 和 <|channel|>final<|message|> 都是成块出现的，在回答中，这个结构一定重复出现 2 次。

3.5.2.2 非流式-字符串方法

非流式输出，必然是一整个结果。意味着：我能要操作的对象是一个完整的大模型回答。

我们可以使用 type 检查输出的类型，便于我们后续的操作。

此时我们发现输出的结果不是字符串 ，可以强制转换成字符串。

对比流式的代码，流式的有 fragment.content 这种表达，可以再尝试一下输出 prediction.content 。发现这个的类型是字符串，就可以进行 split() 分割操作了。

split 方法
3.5.2.3 非流式-regex方法

regex 适合结构有规律的。regex 可以让我们写出规则，接着 regex 就会按照这个规则去匹配符合规则结构的数据。

简单版（只保留 final 部分）

函数部分代码：

完整代码：

3.6 封装成函数

完整代码：

​

更新日志

2025/12/1 02:34
查看所有更新日志
  • 6acec-Add Python and Pycharm installation guide with detailed steps and images于
  • 1e57b-feat: Add complete implementation for local LLM integration with LM Studio, including function encapsulation and example usage于
  • 6ab22-Add literature review on the impact of auditory attention decoding accuracy on noise reduction systems for hearing aids于
  • 75d62-fix: Remove unnecessary whitespace in local LLM integration code于
  • 92b8d-feat: Update local LLM integration with LM Studio, adding non-streaming and simplified output examples于
  • 3eb7e-feat: Enhance multi-turn chat implementation with LM Studio integration and output optimization于
  • f0d6d-feat: Add LM Studio integration with examples for local and LAN usage于
  • 322b2-Add local LLM integration guide with Ollama and LM Studio于
  • 39cab-feat: Implement turn-based monster fighting game in Python于
  • ac641-Implement code changes to enhance functionality and improve performance于
  • f6865-Add documentation for local LLM integration with Ollama and LM Studio于
默认页脚
Copyright © 2025 Ran