苏飞一口气刷数学全书到了晚餐时间,简短的吃了个饭,回来继续肝。
不过很快,他的VX就收到了老赵的消息,论文已经润色完成,电子版打包发了过了,苏飞简略地查了一遍,发现老赵居然还把自己的代码精简了一下。
再次感谢老赵后,苏飞抱着手提就上了床,连上wifi,准备论文投稿。
苏飞先注册了CMT账号,然后填写了姓名邮箱等杂七杂八的个人信息,弄了半天终于进入了AAAI2022会议项目,把论文题目,摘要和全文一个个贴上去,附上了代码,完成上传。
论文状态被修改为“submitted-to-editor”,表示论文已经成功提交给编辑了,接下来只要慢慢排队就行......当然,苏飞完全不准备排队。
‘系统,使用插队卡。’
‘叮!插队卡使用成功!’
系统提示音刚落下,苏飞就受到了邮件提示,自己的论文状态已经更改为“under-review”。
苏飞瞠目结舌,论文成功提交给编辑和成功给审稿人是不同的概念,特别是这种顶会,编辑的作用很可能就只是汇总一下审稿人的意见,自己没什么决定权,所以重点还是在审稿人上,这种编辑又叫“meta-review”,meta是元分析的意思,就是概括分析所有审稿人的意见,完全就是工具人。
一想到自己的论文已经躺在审稿人的邮箱里,苏飞就激动地在床上手舞足蹈。
当然,这也只是第一步,AAAI这种顶会中的顶会,审稿人有足足四个,每个审稿人都会打分,而且实行双盲审制度,第一轮的两个审稿人和第二轮两个审稿人之间的信息完全保密,也就是说,第二轮打分的时候完全不知道第一轮的分数,也不知道第一轮的审稿人。
这就很容易闹出啼笑皆非的事,比如第一轮打了高分,第二轮打了个超低分,两轮的大佬事后甚至会吵起来,都认为对方不专业。
可能很多人认为这种制度不合理,一千个读者就有一千个哈姆雷特,然而,这种制度却保证了论文的高含金量,这意味着你想要在AAAI上发文,你就要成为那唯一的哈姆雷特。
......
在苏飞入睡之际,美国旧金山正烈阳当空。
旧金山,斯坦福AI实验室主任办公室。
一个戴着眼睛,头发微白的青年人正喝着咖啡,查阅着自然语言领域最新的科研进展。
虽然这位青年看起来有些瘦弱,但没有人敢小瞧他,他是自然语言处理领域的最高标杆,当年的机器翻译和智能问答系统就是他一手引领起来的潮流,如今无数人使用的翻译软件和搜索引擎,都要算他一份功劳。
他是曼宁(Manning),在自然语言处理领域,可以说是神一样的存在。
“嗯?”
曼宁教授发现自己的邮箱被推送来了一篇论文,还是来自AAAI的一个技术编辑。
“怎么还得我来审稿?”
曼宁教授嘟囔了一句,虽然他也是AAAI的会员之一,而且也确实有责任审稿,但作为AAAI最高荣誉会员,这种大佬整个AAAI不超过两手之数,他们的作用就是镇场子的,哪个不长眼的编辑会让这种大佬充当审稿人,简直吃了熊心豹子胆。
曼宁教授虽然内心有些不满,但还是点开了论文,开始查阅。
&extualized word representations】?
嗯哼,从今年最火的方向下手,切入点倒不错。
曼宁教授大略看了看摘要,作者提出了一个新的模型弥补了TagLM的劣势,并且取得了近十个点的性能提升。
看到此处,曼宁教授不禁来了兴趣,如果这摘要没有夸大其词,十个点的性能提升,绝对能让这个新模型完全替代TagLM。
越往下看,曼宁教授的心中就越是严肃,而挂在墙上的钟表滴答滴答走动。
一分钟,两分钟,五分钟,十分钟......
去除卷积提取层,去除循环神经网络提取层,只保留原始词向量?
不得不说这个结构修改非常大胆,可是......提取层都去除了,用原始信息能有好结果?
然后,他就在下面一段的理论证明找到了答案。
看到理论证明的时候,曼宁教授也是诧异了一会儿,什么时候深度学习的论文还有理论证明这部分了?现在的年轻人都这么严谨的么?
紧接着,他就发现了更不可思议的事情,对方不但证明了,而且证明得非常详细,先是用线代说明卷积提取层在这个结构里只能给参数带去混乱因子,然后又证明了普通的循环神经网络提取层不足以提取到所有信息,结合相关数学理论,改换成了双层结构的长短期记忆神经网络提取层。
这......作者论证思路清晰,逻辑严谨,真的要鸡蛋里挑骨头的话,就是这篇论文的实验只使用了单一的命名体识别,他不明白,是什么样的团队,很可能都请了一个数学专家了,还非舍不得再花点成本多做几个实验。
思及此处,曼宁就直接把论文拉到了作者那一行,让他瞠目结舌的是,这篇论文的作者就一个人,大大的Fei Su填在了第一作者那一栏。
还是个华国人?
虽然他蛮喜欢华国人,他自己组里就有几个华国人,学术造诣很高,但一个人一篇论文这种事他还是有些怀疑。
于是他拿着上传上来的代码试了下,结果还真跑通了,性能提升高达9.73%!
太让人难以置信了。
曼宁现在心里就两个字:厉害!
他现在完全可以确信,这篇论文没有掺半点水分,更没有夸大其词,这篇论文提出了一个全新的模型,性能远高于TagLM。
【由于这个模型是基于其他语言模型改善得到,我将这种新模型命名为 ELMo(Embeddings from Language Models),意为从其他模型得到的词向量,以此纪念TagLM的贡献。】
曼宁在读完论文的最后一段总结后,不禁产生了钦佩,这个作者喝水不忘挖井人啊。
不过让他感到有点奇怪的是,ELMo这个名字不是美国著名儿童电视剧“芝麻街”里的那个红色小可爱艾蒙么,对方是故意凑的这个名字吗?还蛮有童趣的。
曼宁会心一笑,打出了自己的审阅评分,在十分制中他直接打出了九。
这在AAAI里可是一个很高的分数了,许多人投了十数次都没有得到个一个九,何况打出这个九的还是曼宁这种级别的大佬。
曼宁把自己的看法和论文分数回复给了那个发给自己的技术编辑,同时在邮件最后表达了感谢。
......
同时,美国纽约的某个技术编辑此时此刻非常慌,他本想把新的投稿转发给Menning(蒙宁),结果鬼使神差地打错了一个字母,发给了通讯录里的大佬Manning,而且都已经过去了数个小时才发现。
雷蒙德无法想象,如果曼宁大佬向AAAI的负责人抱怨了一下这件事,自己会不会被撕成碎片......
“算了,还是负荆请罪,主动承认罪行,说不定能善终。”
雷蒙德喃喃自语,打开邮箱,正要给主编发请罪书。
结果,曼宁大佬的邮件叮得一声就送达了。
雷蒙德瞬间吓出了冷汗,手指颤颤巍巍地点进了邮件。
“上帝在上。”
他一边默默请求保佑,一边查看邮件。
【雷蒙德,我的老朋友,我很感谢你给我的这个机会,让我欣赏到一篇如此完美的杰作,给了我一个下午的消遣时光,也让我见证了一个新时代的到来,这个时代名为ELMo。您的行为赢得了我的尊重,如若以后还有这种论文,请务必推送给我,我的老朋友,愿我们友谊长存!】
雷蒙德:???
我是谁?
我在哪?
我在干什么?