局限性与开放问题：诚实面对不足#
MiniT2I团队在论文中主动、明确地指出了模型的四个未解问题。这种坦诚面对局限的科学态度本身就是研究价值的重要组成部分——所有局限都被准确定位为工程性或数据性问题，而非动摇MM-JiT核心洞察的原理性缺陷。
1. 像素空间的patch伪影问题#
现象描述#
在像素空间直接训练的MiniT2I存在可测量的patch边界不连续问题：
patch边界处的图像梯度比非边界区域高出17-22%
这种梯度差异在视觉上可能表现为patch拼接处的细微块状伪影
尤其是在平滑区域或高CFG引导系数生成时更为明显
潜在空间模型由于经过VAE解码器的"平滑"处理，不存在这一问题
原因分析#
这是patch化操作的固有归纳偏置导致的：
不重叠切分：Vision Transformer将图像切分为不重叠的patch进行独立token化，在patch边界处人为引入了空间不连续性
感受野限制：每个patch token的感受野严格限制在patch内部，浅层网络中跨patch信息融合不充分
平移不变性破坏：与CNN天然的滑动窗口和平移等变性不同，patch化操作破坏了图像的局部平移不变性，边界处缺乏平滑约束
缺少解码器缓冲：潜在空间模型中VAE解码器本质上是卷积上采样网络，天然修复了token化引入的不连续性；MiniT2I缺少这一天然后处理步骤
潜在解决方向#
方向 |
说明 |
|---|---|
重叠patch设计 |
使用重叠的patch切分，在边界区域提供平滑过渡 |
patch边界感知损失 |
在损失函数中增加边界平滑项，惩罚梯度突变 |
卷积增强模块 |
在Transformer前后插入轻量卷积模块，补充局部平滑性 |
轻量级解码器refinement |
在输出端增加一个极小的卷积refinement网络，专门修复边界伪影 |
改进卷积式patch embedding |
使用卷积式patch embedding替代线性投影，天然保留局部连续性 |
问题定位#
这是像素空间patch化架构的工程实现问题，而非原理性缺陷。梯度差17-22%是可量化、可修复的，不影响MM-JiT架构核心洞察的正确性。
2. CFG在像素空间的副作用#
现象描述#
当Classifier-Free Guidance（CFG）引导系数较高时（约w=6左右），生成图像会出现明显的视觉瑕疵：
局部token被推离数据流形
在没有VAE解码器"平滑"的情况下直接暴露为可见伪影
具体表现：色彩过饱和、纹理畸变、物体边缘破碎等
原因分析#
这是无解码器缓冲导致离流形token直接暴露的结果：
CFG的本质是外推：CFG的预测公式为
ε_pred = ε_uncond + w·(ε_cond - ε_uncond)，当w>1时，本质上是沿着条件方向的线性外推，预测结果必然被推离训练数据所在的流形神经网络在流形外行为未定义：神经网络在流形内插值表现良好，但外推到流形外的行为是未定义的、不可靠的
VAE解码器的缓冲作用：潜在空间模型中，VAE解码器作为在真实图像上训练过的生成模型，倾向于将异常潜在向量"拉回"自然图像流形，起到缓冲和修复作用
MiniT2I缺乏缓冲：MiniT2I直接预测像素值，离流形的预测没有任何修复缓冲，直接呈现为视觉瑕疵
潜在解决方向#
方向 |
说明 |
|---|---|
动态CFG调度 |
在去噪过程中动态调整引导系数，早期高后期低，避免高步长下过度外推 |
CFG残差截断 |
对CFG的残差项做范数截断，限制外推幅度 |
轻量级像素refinement |
增加小的refinement网络，将离流形预测拉回自然图像流形 |
改进引导策略 |
探索更稳健的引导方式，替代纯线性外推的CFG |
流形约束去噪 |
在去噪过程中加入流形约束，确保预测始终在数据流形附近 |
降低对CFG的依赖 |
通过训练端改进（如更好的文本对齐、更大模型）减少推理时对高CFG的需求 |
问题定位#
这是像素空间直出架构与CFG引导机制的架构权衡问题，反映了"去掉VAE"这一激进设计选择的trade-off，是一个需要工程手段调和的权衡点。
3. 分辨率天花板问题#
现象描述#
MiniT2I当前在512×512分辨率上工作良好，但推向更高分辨率（如1024、2048、4K及以上）时面临根本性挑战：token序列长度随分辨率呈平方增长，标准全注意力机制的计算和内存成本将变得不可承受。
token数量随分辨率增长#
使用16×16 patch时，不同分辨率对应的token数量：
分辨率 |
token数量 |
相对512倍数 |
注意力计算量增长（O(n²)） |
|---|---|---|---|
512×512 |
1024 |
1× |
1× |
1024×1024 |
4096 |
4× |
16× |
2048×2048 |
16384 |
16× |
256× |
4096×4096（4K） |
65536 |
64× |
4096× |
标准自注意力复杂度为O(n²)，从512到4K注意力计算成本将增长64²=4096倍——这在当前硬件下是不可承受的。
原因分析#
这是Transformer自注意力的二次复杂度与分辨率平方增长的叠加效应：
这不是MiniT2I特有的问题：是所有高分辨率生成模型（无论像素空间还是潜在空间）都面临的共性计算挑战
VAE只是缓解而非解决：VAE将空间分辨率下采样8倍，使得相同token数能表示的像素数提高64倍（如512×512在潜在空间为64×64特征图）；但1024分辨率在潜在空间对应的token数仍是512像素空间的4倍，2048更是16倍——4K以上分辨率即使在潜在空间也需要高效注意力机制
架构扩展性问题：本质是标准全注意力架构向高分辨率扩展的问题
潜在解决方向#
方向 |
说明 |
|---|---|
高效注意力机制 |
线性注意力、稀疏注意力、FlashAttention v3等，降低注意力复杂度 |
分层生成架构 |
先生成低分辨率基础图像，再逐级上采样超分，类似多尺度扩散 |
更大patch size |
在更高分辨率下使用更大patch（如32×32、64×64），控制token数量 |
混合架构 |
Transformer处理全局语义，CNN/局部注意力处理局部细节，结合两者优势 |
区域生成+拼接 |
先生成全局布局，再分区域生成细节，最后拼接融合 |
状态空间模型（SSM）/Mamba |
使用线性复杂度的新架构替代或增强Transformer |
问题定位#
这是计算扩展性问题，并非MiniT2I特有——这是所有生成模型向高分辨率发展都要面对的问题。高效注意力和分层生成是成熟的解决方向。
4. 数据瓶颈问题#
现象描述#
在PRISM-Bench评测中，MiniT2I-L/16在两个维度上存在明显差距：
文字渲染：MiniT2I 30.6 vs SD3 50.9（差距20.3分）
命名实体：MiniT2I 60.3 vs SD3 66.3（差距6.0分）
团队明确坦承这是公开数据配方的固有局限，而非架构缺陷。
原因分析#
文字渲染和命名实体这两个任务对训练数据有特殊要求：
文字生成需要专项数据：准确生成文字需要大量包含清晰文字且标注精确的图文对；公开数据集中文字图像大多模糊、标注不精确（如只说"一张有文字的图片"而不转录文字内容）
命名实体需要长尾覆盖：准确生成特定命名实体（著名地标、品牌logo、知名人物）需要包含这些实体且标注准确的训练数据；公开数据中长尾实体覆盖率很低
工业级系统有内部数据：工业级系统通常使用大规模内部标注数据集，包含大量人工筛选标注的文字和实体图像
微调数据规模有限：MiniT2I微调阶段仅使用约12万张精选图文对，虽然质量高但规模有限，难以覆盖长尾分布
潜在解决方向#
方向 |
说明 |
|---|---|
专项数据补充 |
团队已明确指出这是最直接的改进方向——补充文字和实体专项数据 |
合成数据生成 |
用现有模型生成高质量文字/实体图像做训练数据，自我改进 |
针对性损失函数 |
设计针对文字渲染和实体生成的专项损失或辅助任务 |
更长微调周期 |
在高质量数据上训练更久，充分吸收数据中的信息 |
字符级token化 |
对文字区域做更细粒度的token化处理 |
检索增强生成 |
推理时检索参考图像帮助生成特定实体或文字 |
问题定位#
这是数据问题而非架构问题，是所有使用纯公开数据的学术模型共同面临的限制。差距可以通过补充数据直接弥补，这反而是对MiniT2I架构的肯定——架构本身已经达到了公开数据允许的性能上限。
5. 局限性总结与整体评估#
局限类别 |
严重程度 |
问题性质 |
是否架构本质问题 |
可解决性 |
|---|---|---|---|---|
patch伪影 |
中等（梯度高17-22%） |
工程实现问题 |
❌ 否（patch化工程问题） |
🟢 高（多种成熟技术方向可修复） |
CFG副作用 |
中等（高CFG下可见） |
架构权衡问题 |
❌ 否（无VAE的trade-off） |
🟢 高（已有成熟解决方案） |
分辨率天花板 |
低（当前512良好） |
计算扩展性问题 |
❌ 否（所有架构共性问题） |
🟢 高（高效注意力+分层生成为成熟方向） |
数据瓶颈 |
中等（文字/实体有差距） |
数据问题 |
❌ 否（架构已达公开数据上限） |
🟢 极高（明确知道补充什么数据即可） |
关键结论：四个局限性都不是架构原理缺陷，而是工程权衡、共性技术挑战或数据限制。这意味着MM-JiT的核心洞察——"朴素Transformer+联合注意力即可完成文生图"——是站得住脚的。
6. 科学态度分析：诚实承认局限的价值#
MiniT2I团队主动、明确地指出上述四个局限，而非回避或淡化问题。在AI领域普遍存在夸大性能、回避局限的风气下，这种诚实态度本身就是一种学术担当，具有重要的方法论意义：
价值点 |
具体体现 |
|---|---|
量化问题严重程度 |
对patch伪影给出具体量化指标（边界梯度高17-22%），而非模糊描述"有一些伪影" |
准确定位问题根源 |
明确区分原理问题、工程权衡问题、数据问题，不把所有问题都推给"未来工作" |
不夸大当前能力 |
明确指出文字和实体维度的差距，即使整体性能优秀也不回避短板 |
明确定位为"基线" |
将MiniT2I定位为"极简基线"而非"最终产品"，设定合理预期，不做过度宣传 |
这种坦诚反而建立了更强的学术可信度——读者看到连问题都讲得这么清楚、这么量化，会更相信报告的正面结果也是可靠的。一个敢于承认自己不足的基线，比一个宣称"全面超越"但讳疾忌医的系统更值得信赖。
团队传递的信号："我们已经把架子搭好了，它工作得很好，但它还有这些已知问题——欢迎大家在这个干净的基线上继续改进。"
这种开放、诚实、定位清晰的研究态度，正是学术进步最需要的基石。
← 上一章 | 下一章：范式转移与启示 →