taolib.testing.multi_agent.llm.ollama_provider

taolib.testing.multi_agent.llm.ollama_provider#

Ollama本地模型提供商。

集成Ollama本地运行的大模型,无需API KEY。

Classes#

OllamaProvider

Ollama本地模型提供商。

Module Contents#

class taolib.testing.multi_agent.llm.ollama_provider.OllamaProvider(config: taolib.testing.multi_agent.models.ModelConfig)#

Bases: taolib.testing.multi_agent.llm.protocols.BaseLLMProvider

Ollama本地模型提供商。

_base_url#
_client: httpx.AsyncClient | None = None#
async _get_client() → httpx.AsyncClient#

获取HTTP客户端。

返回:

HTTP客户端

返回类型:

httpx.AsyncClient

async health_check() → bool#

检查Ollama服务是否健康可用。

返回:

服务是否健康

返回类型:

bool

async generate(prompt: str, *, temperature: float | None = None, max_tokens: int | None = None, system_prompt: str | None = None, **kwargs) → str#

使用Ollama生成文本。

参数:

  • prompt -- 用户输入的提示词

  • temperature -- 温度参数

  • max_tokens -- 最大生成token数

  • system_prompt -- 系统提示词

  • **kwargs -- 其他参数

返回:

生成的文本

返回类型:

str

抛出:
async generate_stream(prompt: str, *, temperature: float | None = None, max_tokens: int | None = None, system_prompt: str | None = None, **kwargs) → AsyncGenerator[str, None]#

使用Ollama流式生成文本。

参数:

  • prompt -- 用户输入的提示词

  • temperature -- 温度参数

  • max_tokens -- 最大生成token数

  • system_prompt -- 系统提示词

  • **kwargs -- 其他参数

生成器:

str -- 生成的文本片段

抛出:
async close() → None#

关闭HTTP客户端。