多参考图注入方式的讨论

[silverbulletmdc]

作者您好。最近可灵和seedance2.0都支持了多参考图注入，而且不需要在caption里对参考图有过多描述，直接使用类似 @img1 站在@img2的背上 这种描述，就会自动生成正确的视频。Kaleido这种结构，貌似无法处理多参考图里都有人时，参考图和文本描述的指代对应问题。想问下，您是否尝试过直接在text里使用特殊token(如img1)来指代对应参考图？因为不同参考图的时序RoPE理论上可以和这类token直接建立映射，但我不确定网络能不能学到。另外，您猜测seedance这类模型是如何注入多参考图的？

[CriliasMiller]

@silverbulletmdc 您好，感谢关注Kaleido，我们早期确实尝试过在 text 中引入类似 img1 的特殊 token 来指代对应参考图，并探索将 image token 融入 text token 序列进行建模。但由于当时的开源视频模型（如 CogVideo、WanX）均采用 T5 作为 text encoder，而 T5 本身是纯文本编码器，不具备多模态建模能力，因此相关实验效果不理想，训练也较为困难。我们推测 Seedance 这类模型的 text encoder 应该是采用了 vlm 架构，从而能够在编码阶段建立图像与文本 token 之间的精准映射，以更好地支持您提及的描述“img1 站在img2的背上”。

[silverbulletmdc]

非常感谢解答。