taolib.testing.multi_agent.llm.manager

taolib.testing.multi_agent.llm.manager#

LLM模型管理器。

统一管理所有LLM模型提供商,提供统一的接口。

Attributes#

_default_manager

Classes#

LLMManager

LLM模型管理器。

Functions#

get_llm_manager(→ LLMManager)

获取全局LLM管理器。

set_llm_manager(→ None)

设置全局LLM管理器。

Module Contents#

class taolib.testing.multi_agent.llm.manager.LLMManager(load_balance_config: taolib.testing.multi_agent.models.LoadBalanceConfig | None = None)#

LLM模型管理器。

_load_balancer#
_default_provider: taolib.testing.multi_agent.llm.protocols.BaseLLMProvider | None = None#
add_model(config: taolib.testing.multi_agent.models.ModelConfig, instance_id: str | None = None) → str#

添加一个模型。

参数:

  • config -- 模型配置

  • instance_id -- 实例ID,如果为None则自动生成

返回:

实例ID

返回类型:

str

async generate(prompt: str, *, temperature: float | None = None, max_tokens: int | None = None, system_prompt: str | None = None, instance_id: str | None = None, **kwargs) → str#

生成文本。

参数:

  • prompt -- 用户输入的提示词

  • temperature -- 温度参数

  • max_tokens -- 最大生成token数

  • system_prompt -- 系统提示词

  • instance_id -- 指定实例ID,如果为None则使用负载均衡选择

  • **kwargs -- 其他参数

返回:

生成的文本

返回类型:

str

抛出:
async generate_stream(prompt: str, *, temperature: float | None = None, max_tokens: int | None = None, system_prompt: str | None = None, instance_id: str | None = None, **kwargs) → AsyncGenerator[str, None]#

流式生成文本。

参数:

  • prompt -- 用户输入的提示词

  • temperature -- 温度参数

  • max_tokens -- 最大生成token数

  • system_prompt -- 系统提示词

  • instance_id -- 指定实例ID,如果为None则使用负载均衡选择

  • **kwargs -- 其他参数

生成器:

str -- 生成的文本片段

抛出:
async health_check(instance_id: str | None = None) → bool#

健康检查。

参数:

instance_id -- 指定实例ID,如果为None则检查所有

返回:

是否健康

返回类型:

bool

get_available_models() → list[str]#

获取所有可用的模型实例ID。

返回:

可用的模型实例ID列表

返回类型:

list[str]

get_model_stats(instance_id: str)#

获取模型统计信息。

参数:

instance_id -- 实例ID

返回:

模型实例信息

返回类型:

Optional[ModelInstance]

get_all_models()#

获取所有模型实例信息。

返回:

模型实例列表

返回类型:

list[ModelInstance]

taolib.testing.multi_agent.llm.manager._default_manager: LLMManager | None = None#
taolib.testing.multi_agent.llm.manager.get_llm_manager() → LLMManager#

获取全局LLM管理器。

返回:

LLM管理器

返回类型:

LLMManager

taolib.testing.multi_agent.llm.manager.set_llm_manager(manager: LLMManager) → None#

设置全局LLM管理器。

参数:

manager -- LLM管理器