被字节索赔800万的实习生，夺得NeurIPS 2024最佳论文奖！

摘要：田某某在字节商业化技术部门实习期间与团队合作发表的论文，获得了NeurIPS 2024的最佳论文奖，这篇论文还是NeurIPS 2024第六高分的论文（7,8,8,8）！

万万没想到，字节大瓜还有后续的后续。

田某某在字节商业化技术部门实习期间与团队合作发表的论文，获得了NeurIPS 2024的最佳论文奖，这篇论文还是NeurIPS 2024第六高分的论文（7,8,8,8）！

不过，今年NeurIPS还没开奖！

据悉大会的注册者可以看到，审稿人给出的得分是[7, 8, 8, 8]。

openreview链接:

https://openreview.net/forum?id=gojL67CfS8

昨晚看到这个消息的时候，我看了都不相信，太drama了，电视剧都不敢这么演。

根据网友的说法，田某某的这篇论文也是国内第二篇NeurIPS Best Paper，含金量很高。在此之前，他就已经有多篇论文中稿顶会。比如被引次数最多的「Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling」，就是ICLR 2023的Spotlight。此外还有，NeurIPS 2021和2020的Poster，ECCV 2020的Poster。

当时整个事件的过程，包括田某某是如何利用load ckpt函数漏洞的，字节官方实锤提起诉讼，文章都有梳理，感兴趣的小伙伴可以看下：

简而言之，田某某篡改代码的代价相当惨重。北京市海淀区人民法院已正式受理字节跳动对前实习生田某某的起诉。字节的诉求是：法院判令田某某赔偿侵权损失800万元及合理支出2万元，同时要求其公开赔礼道歉。

被字节起诉，而现在戏剧性的是，他在字节商业化技术部门实习期间与团队合作发表的论文，获得了NeurIPS 2024的最佳论文奖。

这项研究中，他们提出了一种全新范式——视觉自回归建模（Visual Autoregressive Modeling，VAR）。

与传统的光栅扫描「下一个token预测」方法有所不同，它重新定义了图像上的自回归学习，采用粗到细的「下一个尺度预测」或「下一个分辨率预测」。

这种简单直观的方法使得自回归（AR）Transformer能够快速学习视觉分布，并且具有较好的泛化能力：VAR首次使得类似GPT的AR模型在图像生成中超越了扩散Transformer。

当前，自回归模型（AR）主要用于语言模型从左到右、逐字顺序生成文本token。同时，也用于图像生成中，即以光栅扫描的顺序从左到右，从上到下顺序生成图像token。

不过，这些AR模型的scaling law未得到充分的探索，而且性能远远落后于扩散模型，如下图3所示。与语言模型所取得成就相比，计算机视觉中的自回归模型的强大能力却被「禁锢」了起来。

而自回归建模需要定义数据的顺序，北大字节团队研究中重新考虑了如何「排序」图像：人类通常以分层方式感知或创建图像，首先捕获全局结构，然后捕获局部细节。

这种多尺度、由从粗到细的本质，为图像提供了一种「秩序」。

同样，受到广泛使用的多尺度设计的启发，研究人员将图像的自回归学习定义为图2(c)中的「下一个尺度预测」，不同于传统图2(b)中的「下一个token的预测」。

VAR方法首先将图像编码为多尺度的token映射，然后，自回归过程从1×1token映射开始，并逐步扩展分辨率。

在每一步中，Transformer会基于之前所有的token映射去预测下一个更高分辨率的token映射。由此，研究人员将此称为视觉自回归建模（VAR）。

VAR包括两个独立的训练阶段：在图像上训练多尺度VQVAE，在token上训练VAR Transformer。

第一阶段，多尺度VQ自动编码器将图像编码为K个token映射R=(r_1,r_2,…,r_K)，并通过复合损失函数进行训练。第二阶段，通过下一尺度预测对VAR Transformer进行训练：它以低分辨率token映射 ([s],r_1,r_2,…,r_K−1)作为输入，预测更高分辨率的token映射 (r_1,r_2,r_3,…,r_K)。训练过程中，使用注意力掩码确保每个r_k仅能关注 r_≤k。训练目标采用标准的交叉熵损失函数，用于优化预测精度。