taolib.testing.data_sync.pipeline.transformer

数据转换器。

实现字段映射和自定义 Python 函数转换。

Attributes

logger

Classes

TransformChain

数据转换链。

Module Contents

taolib.testing.data_sync.pipeline.transformer.logger

class taolib.testing.data_sync.pipeline.transformer.TransformChain(field_mapping: dict[str, str] | None = None, transform_module_path: str | None = None)

数据转换链。

按顺序应用： 1. 字段映射 2. 自定义转换函数（如果有） 3. 验证

_field_mapping

_transform_fn: collections.abc.Callable | None = None

async transform(documents: list[dict[str, Any]], context: taolib.testing.data_sync.pipeline.protocols.TransformContext) → taolib.testing.data_sync.pipeline.protocols.TransformResult

转换文档批次。

参数:

• documents -- 文档列表

• context -- 转换上下文

返回:

转换结果

_apply_field_mapping(doc: dict[str, Any]) → dict[str, Any]

应用字段映射。

_load_transform_fn(module_path: str) → collections.abc.Callable | None

动态加载转换函数。