为什么让模型先记住"语义"再记住"像素"更聪明 热资讯

你有没有想过，一段视频能被压缩成几个数字？

(资料图片仅供参考)

不是压缩成文件大小意义上的几兆字节，而是压缩成几十个、甚至几个代表整段视频内容的"代号"。这听起来像是科幻片里的情节，但这正是当下视频生成AI领域最前沿的研究方向：把一段视频变成一串可以被AI预测的token（词元），就像文字被切成一个个单词一样。

这件事情的难点在于，视频比文字复杂得多。一句话的信息量是线性的,字越多信息越多。但一段视频的信息量却天差地别:一个人坐着不动讲话五秒钟,和一场车祸现场的五秒钟,内容复杂度完全不是一个量级。如果用同样数量的token去表示这两段视频,要么浪费算力,要么表达不足。

这就是本文要讨论的论文想解决的核心问题。研究者们给出了一个叫SemanTok的新方案,它的野心不只是把视频变成token,还要确保这些token"该说的先说",让语义内容排在前面,细节留到后面。

这个野心背后,藏着一个更有意思的发现:现有的方法看似做到了"语义优先",但其实在悄悄作弊。

一场没有真正发生的"语义学习"

要理解SemanTok的创新,得先搞清楚它的前任VideoFlexTok是怎么工作的。

VideoFlexTok把视频压缩进一个可以灵活截断的token序列,前面的token负责视频的大致内容,后面的token负责细节的精修。这种设计叫灵活长度的由粗到细的token化,英文叫coarse-to-fine tokenization。

灵活长度token化：一种视频压缩方式,把视频编码成一串token,这串token可以在任意长度截断,每个截断的前缀都能独立解码出一个完整(但精细度不同)的视频。前面的token信息量大,越往后信息量递减。

为了让前面的token真正装下语义信息而不是像素细节,VideoFlexTok用了一种叫REPA(representation alignment,表征对齐)的技术,让解码器的某一层去模仿一个预训练好的视觉模型(DINOv2)提取的特征。

DINOv2：Meta开发的一种自监督视觉特征提取模型,不需要人工标注就能学会识别图像里"是什么东西",常被用作衡量语义理解程度的参照标准。

问题出在哪儿?解码器在做这个模仿练习的时候,手里不是只有token,还握着一份"小抄",就是部分去噪后的视频潜变量(latent)。论文里管这个过程叫flow matching(流匹配),是扩散模型生成图像视频常用的一种训练方式,核心思路是让模型学会把随机噪声一步步还原成真实数据。

当这份"小抄"噪声比较少、信息比较干净的时候,解码器其实可以直接从小抄里读出大概的语义,根本不需要真的依赖token。打个比方,如果你让学生看着参考答案的影子做判断题,哪怕没真学会知识点,也能蒙对大半。于是REPA这个指标看起来达标了,但那只是解码器偷看了噪声里残留的信息,并不是token本身真的学到了语义。

这就是SemanTok团队发现的裂缝:一个用来衡量token是否语义丰富的指标,被解码器的"偷窥"行为污染了。

如果不解决这个问题,会怎样?答案在论文的实验数据里写得很清楚。VideoFlexTok哪怕用上11倍大的AR(自回归)模型,生成视频里一个橙色篮球的形状依然不稳定,会在镜头转动过程中变形走样。而SemanTok用仅有4个token每帧的预算,一个只有201M参数的小模型,就能让篮球始终保持住它该有的样子。这不是参数量的胜利,是token里到底装没装对东西的胜利。

把"老师"请进编码器:SemanTok的设计思路

SemanTok的解法听起来简单,做起来却是个精巧的活儿:既然REPA会被噪声偷看,那就换一种监督方式,让语义学习彻底绕开那份带噪声的小抄。

具体做法分两步。第一步,把冻结的DINOv2特征直接喂给编码器,和视频本身的潜变量拼在一起输入。这样一来,编码器从一开始就能"看见"语义信息,而不是等解码阶段才去凑合。

第二步,也是更关键的一步:新增两个轻量级的"读取头"(cross-attention head,交叉注意力头),它们只能看到被保留下来的token前缀,看不到任何带噪声的视频潜变量,然后要求它们从这些token里重建出DINOv2特征。一个头负责重建逐块的密集特征(Dense DINO Head),另一个负责重建代表整体内容的类别特征(Class DINO Head)。

交叉注意力：一种让模型从若干"查询"出发,主动去已有信息里抓取相关内容的机制,常用于让模型在解码阶段灵活地参考输入的不同部分。

这两个读取头干净利落,它们手里没有任何小抄,如果重建不出DINOv2特征,唯一的解释就是token里确实没装下语义信息。这逼着token不得不老老实实把语义塞进自己身体里。

这里有个细节值得多说一句:整个过程里,没有任何一条损失函数规定"第一个token必须装什么,第二个token必须装什么"。语义信息之所以会自然而然地聚集在前面的token里,靠的是一种叫嵌套丢弃(Nested Dropout)的训练技巧。

嵌套丢弃：一种训练策略,每次训练时随机选一个长度k,把第k个位置之后的所有token都替换成固定的"遮盖token",强迫模型学会让任意前缀都能独立承载完整信息,而且因为短前缀被训练的次数更多,它们自然会攒下更重要、更核心的信息。

这就很像你收拾一个随时可能要紧急出门的行李箱。你不知道什么时候会被叫走,也不知道能带几件东西,于是你会把护照、钱包这些最要命的东西放在最容易拿到的位置,衣服鞋子这些次要的东西往里塞。如果没有这种"随时可能被打断"的压力,你大概率会把东西按大小顺序随便塞,护照说不定被压在箱底。嵌套丢弃制造的就是这种"随时被打断"的训练压力,让语义信息被自然地挤到前排。

而DINOv2特征进入编码器输入,加上两个干净的读取头,则确保了"护照"真的是语义信息,而不是别的什么无关紧要的东西。

这套组合拳打下来,SemanTok的token前缀变成了一种变长的语义编码:不管你截取多长,这段前缀都带着"老师"对这段视频内容的理解。

更容易被预测的token,也更便宜

讲完了token怎么变得更有语义,还有一个问题没解决:这样做出来的token,对下游的自回归(AR)模型来说,预测起来到底是更难了还是更容易了?

AR模型：一类按顺序逐个生成内容的模型,生成下一个token时会参考前面已经生成的所有token,类似语言模型逐字生成句子的方式。

答案出人意料地好:更容易了。论文测了AR模型预测每个token需要花费的"比特数",在k=16(每帧16个token)的设置下,SemanTok比VideoFlexTok少花了32%的比特,具体数字是8.8比特对12.9比特。

这里有个容易被误读的地方。你可能会猜,省下来的比特是因为SemanTok的token里有更多重复、更容易被"背下来"的内容。但论文专门做了检验,SemanTok的token重复率反而比VideoFlexTok更低(8.5%对12.0%)。真正省下比特的原因,是上下文信息更有用了:当前面的token已经把"这是个什么场景"说清楚了,后面要预测的内容就有了更强的约束,自然更好猜。

这就像你猜一个脑筋急转弯。如果提示语只告诉你"一种水果",你需要在成百上千种水果里瞎猜;但如果提示语先告诉你"一种黄色的、弯弯的、猴子爱吃的水果",你几乎立刻就能猜到答案是香蕉。如果没有那句精准的提示,你的每一次猜测都是在浪费认知资源;而有了精准前缀,后面的"细节词"几乎是水到渠成。SemanTok的语义前缀起到的正是这种提示效果,它让AR模型在预测后续token时,不必像无头苍蝇一样瞎猜。

而且,省下来的这些比特没有被丢弃,它们被挪到了后面的token里。SemanTok的前4个token只花了37比特就能让类别准确率逼近VideoFlexTok前32个token(花了405比特)才能达到的水平。后面的token接着把被省略的像素细节一点点补回来,配合生成式解码器的脑补能力,最终呈现出的画面质量并不打折扣。

七个发现,一张完整的成绩单

论文在Kinetics-600(动作分类数据集)和uCO3D(物体为中心的文本到视频数据集)两个数据集上,测试了从49M到2.29B共7种规模的AR模型,得出了七条比较系统的结论。

第一条,也是最亮眼的一条:在任意模型规模下,SemanTok的视频质量和语义对齐度都优于VideoFlexTok。一个201M的SemanTok模型,能打平甚至超过参数量是它3.4倍的VideoFlexTok模型。具体数字上,在Kinetics-600上SemanTok把衡量视频整体质量的gFVD指标降低了11%到24%,类别准确率提升了25%到61%。

gFVD：生成视频Frechet距离(generative Frechet Video Distance)的简称,一种衡量生成视频和真实视频在统计分布上有多接近的指标,数值越低说明生成质量越接近真实视频。

第二条结论说的是规模化的效果。更大、训练更久的AR模型确实能让画面质量继续变好,但语义对齐的差距却很难被单纯的"堆模型"抹平。论文里有个很直观的例子:哪怕把AR模型训练到65.5B个token(远超一般设置),SemanTok在类别准确率上依然保持30%的领先,这个数字几乎纹丝不动。这说明语义这件事,从一开始的token设计上就该解决,而不是指望后期靠更多算力去弥补。

第三条关于泛化能力。uCO3D数据集里有一部分物体类别是训练时从未见过的,叫分布外类别(out-of-distribution,简称OOD)。SemanTok在这些陌生物体上依然能更快地恢复出物体的身份:比如一张香蕉的照片,哪怕只给8个token,SemanTok重建出的画面类别准确率已经明显高于VideoFlexTok。这说明SemanTok学到的不是"背答案",而是更通用的语义理解能力。

第四条涉及前面提到的那个"偷窥"问题的验证。论文专门做了一组实验,把解码器输入的噪声水平从纯噪声(σ=1)逐步调到几乎全干净(σ=0.25),观察解码器读出的DINOv2语义相似度怎么变化。结果显示,VideoFlexTok的语义读数严重依赖"干净程度",在纯噪声下表现很差,一旦给点干净的信号立刻飙升,说明它确实在偷看。而SemanTok在纯噪声下的表现,已经逼近甚至超过VideoFlexTok在75%干净状态下的表现。

第五条讲的是一个叫"实现差距"(realization gap)的东西,也就是重建效果和生成效果之间的落差。VideoFlexTok的问题在于,它在"看到真实token、直接重建视频"这件事上做得不错,但一旦要让AR模型自己去生成token再解码,效果就明显打折扣。SemanTok在两种场景下的表现都更稳,落差更小。

第六条前面已经详细讲过,就是语义信息集中在前面的token,使得这些token本身更便宜、更容易预测。

第七条是SemanTok的软肋所在,也是整篇论文少有的"认怂"环节:当每帧只给1个token的极限情况下,SemanTok在语义对齐上会落后于VideoFlexTok,尤其是在解码器输入还比较干净的时候。论文给出的解释很朴素:一个token最多能携带大约16比特的信息,而flow matching、decoder REPA、语义监督这三件事同时压在这一个token身上,实在装不下。但即便如此,SemanTok在类别准确率这一项上,在任何预算下都没有输给过VideoFlexTok,只是赢得不够多。

一张表格下面藏着的多方博弈

如果把这些数字放在一起看,你会发现一个有意思的张力:视频质量、语义对齐、重建保真度,这三者并不总是互相成就的,有时候反而互相争抢资源。

论文作者坦率地写出了SemanTok的局限:因为它把语义对齐放在了优先位置,在token预算很低的时候,它可能没法把颜色、材质这些细节的像素特征还原得和VideoFlexTok一样精准。这不是设计失误,而是一种取舍:你选择优先保证"这是什么",就得在"这具体长什么样"上暂时让步。

这种取舍让人联想到写新闻稿的"倒金字塔结构"。记者被训练成先写最核心的事实,比如谁、在哪、发生了什么,次要的背景信息放在后面,这样读者哪怕只读了第一段也能抓住重点。但代价是,如果一篇报道被砍得只剩第一句话,那些生动的细节、人物的对话、现场的氛围感就全都没了。如果反过来,记者按时间顺序平铺直叙地写,读者读到一半被打断,可能连最重要的信息都没摸到。SemanTok做的正是视频token界的倒金字塔:牺牲掉极短预算下的细节精度,换来的是在任何预算下你至少能知道"这段视频在讲什么"。

这个取舍放在实际应用场景里意味着什么?如果你在做一个需要快速预览、粗略把关内容方向的系统,SemanTok几乎是更优解,因为它能用最少的计算,最快确定下来视频的主题走向。但如果你的场景对低预算下的画面精细度有硬性要求,比如低带宽下的视频缩略图生成,这个权衡就需要更谨慎地评估。

这项工作也不是凭空出现的。往前追溯,FlexTok(2025年)首次把灵活长度token化的思路带到了图像领域,VideoFlexTok(2026年)把它推广到了视频上,并引入了decoder REPA这个对齐手段。几乎同期,还有一些工作试图从不同角度解决类似的"token该装什么"的问题:ReToK强化了短前缀的解码器对齐,LoST把有序的3D潜变量和DINO对齐。SemanTok可以看作是沿着这条脉络,专门针对REPA被噪声污染这个具体漏洞给出的一个补丁方案,但这个补丁打得相当干净,效果也立竿见影。

写在后面

读完这篇论文,最让我意外的不是SemanTok的最终效果有多好,而是它揭示问题的方式:一个看起来运作良好的技术指标(decoder REPA),背后其实藏着一个被忽视的"作弊后门"。这提醒我,在评价一个AI系统某项能力是否达标时,得多问一句:它是真的学会了,还是找到了一条捷径绕过了考核?很多时候,那条捷径看起来和真正学会的效果几乎一模一样,不细查根本发现不了。

另一个让我反复琢磨的细节是嵌套丢弃这个机制。它没有直接告诉模型"第一个token放什么内容",完全靠一种概率性的训练压力,让重要信息自己冒到前排。这种"不直接指挥,而是设计恰当的激励结构让秩序自己涌现"的思路,其实在很多领域都能看到影子,比如经济学里的市场机制,生物学里的自然选择。技术细节背后,藏着的是一种更普遍的系统设计智慧。

论文里那个"篮球在镜头转动中保持住形状"的例子,我反复看了好几遍。一个只有201M参数的小模型,靠着token里更干净的语义信息,打败了一个11倍大的模型。这多少说明了一件事:有时候决定AI系统上限的,不是你喂了它多少算力,而是你喂给它的信息,是不是以一种它真正能消化的方式组织好的。

Q&A

Q1：SemanTok是什么?

A：SemanTok是一种用于AI视频生成的灵活长度视频token化方法,它让冻结的DINOv2语义特征进入编码器,并用两个独立的预测头强制每个token前缀都学会重建这些语义特征,从而让视频前几个token优先承载语义内容,而不是像素细节。

Q2：SemanTok和VideoFlexTok相比有什么优势?

A：SemanTok在同等甚至更小的AR模型规模下,画面质量和语义对齐度都优于VideoFlexTok,一个201M参数的SemanTok模型能打平3.4倍大的VideoFlexTok模型,而且它的token前缀更便宜,预测同样长度的token能省下约32%的计算成本。

Q3：SemanTok有没有缺点?

A：有。在每帧只给1个token这种极限低预算情况下,SemanTok在语义对齐上会略微落后于VideoFlexTok,因为一个token能承载的信息量有限,难以同时满足重建、语义监督等多重训练目标,不过它的类别识别准确率在任何预算下都没有输给过对手。

标签： 像素 解码器 编码器 显式标识