复旦MOSS距离ChatGPT还有多远？

最近上热搜的MOSS，不是《流浪地球2》中量子计算机550W给自己起的新名字，而是复旦大学计算机科学技术学院教授邱锡鹏团队最新发布的国内第一个对话式大型语言模型，也被称作中国版ChatGPT。

(相关资料图)

2月20日，MOSS悄然上线，邱锡鹏团队发布至公开平台（https://moss.fastnlp.top/），邀公众参与内测。但是由于瞬时访问火爆，计算资源无法支撑，内测窗口已暂时关闭。

悄然上线，又匆匆关闭，MOSS这一“快闪”的举动，让它的亮相饱受争议。

科技日报记者在浏览器上输入公开平台的网址，其中对MOSS这样介绍：一种像ChatGPT的对话语言模型。MOSS能够按照用户的指示执行各种自然语言任务，包括问答、生成文本、总结文本、生成代码等。MOSS还能够挑战不正确的前提，并且拒绝不适当的请求。

那么相对于美国OpenAI的ChatGPT，中国的MOSS有何特别之处呢？记者在主页看到了这样的介绍：MOSS和ChatGPT的区别——如MOSS的参数量比ChatGPT少得多；MOSS通过与人类和其他AI模型交谈来学习，而ChatGPT是使用来自人类反馈的强化学习（RLHF）进行培训；MOSS将是开源的，以促进未来的研究，但ChatGPT可能不是这样。

据介绍，MOSS开发的基本步骤与ChatGPT一样，包括自然语言模型的基座训练、理解人类意图的对话能力训练两个阶段。作为MOSS主要作者之一，邱锡鹏表示：“MOSS与ChatGPT的差距主要在自然语言模型基座预训练这个阶段。MOSS的参数量比ChatGPT小一个数量级，在任务完成度和知识储备量上，还有很大提升空间。”

ChatGPT语言模型的参数量高达1750亿，而在它问世前，世界上最大的语言模型是微软开发的Turing-NLG，其参数量为170亿。自去年11月30日正式发布以来，ChatGPT上线5天，注册用户就突破百万。目前，其用户规模已达到1亿，成为互联网发展史上用户增长最快的消费级应用。

在关闭内测之后，MOSS官网发布公告称，MOSS还是一个非常不成熟的模型，距离ChatGPT还有很长的路要走。“我们是一个进行学术研究的实验室，无法做出和ChatGPT能力相近的模型。”科研团队相关负责人指出，当前版本的MOSS表现不够稳定，部分回答或存在事实差错、逻辑不顺等问题。不仅如此，MOSS的英文回答水平较中文回答水平更高，这主要受到其模型基座的单词收录量影响，MOSS学习了3000多亿个英文单词，但中文词语只学了约300亿个。

复旦大学计算机科学技术学院教授张奇是推出MOSS的复旦大学NLP实验室核心成员之一。对于ChatGPT背后模型所拥有的1750亿的参数规模，他在一次公开讨论中表示，学校这类机构很难去完成，目前百亿级的规模都已经非常困难。

按照ChatGPT目前开源的最简单复现版本、最便宜模式去计算，要做到1750亿的参数规模，需要大概6000万元的硬件成本，同时运算3.5个月。这还是所有事情都做对的情况，如中间有参数调整，或者想加速训练过程，就需要更高规模的投资。

归根到底还是研发投入的问题。而除了学术界，国内科技企业也纷纷摩拳擦掌开发自己的ChatGPT：原美团联合创始人王慧文近日明确表示，要“组队拥抱新时代，打造中国OpenAI”；百度此前宣布将在3月上线百度版ChatGPT——文心一言（英文名为ERNIEBot）；阿里达摩院正在研发类ChatGPT的对话机器人，目前已开放给公司内员工测试；科大讯飞也表示，Al学习机将成为公司类ChatGPT技术率先落地的产品……

标签： ChatGPT