taolib.testing.data_sync.pipeline.utils

taolib.testing.data_sync.pipeline.utils#

Pipeline 工具函数。

提供文档快照截断等通用工具。

Attributes#

logger

_DEFAULT_MAX_BYTES

Functions#

truncate_snapshot(→ dict[str, Any])

将文档快照截断至指定字节限制。

Module Contents#

taolib.testing.data_sync.pipeline.utils.logger#
taolib.testing.data_sync.pipeline.utils._DEFAULT_MAX_BYTES = 4096#
taolib.testing.data_sync.pipeline.utils.truncate_snapshot(doc: dict[str, Any], max_bytes: int = _DEFAULT_MAX_BYTES) → dict[str, Any]#

将文档快照截断至指定字节限制。

保留 _id 字段，逐步移除其余键值对直到序列化后 的 JSON 字节数在 max_bytes 以内。

参数:

  • doc -- 原始文档字典

  • max_bytes -- 最大字节数（默认 4096）

返回:

截断后的文档字典，若发生截断则包含 __truncated__: True