当前报道:体验报告来了！记者第一时间亲测百度“文心一言”

16日百度召开文心一言新闻发布会，宣布开启邀请测试。《科创板日报》记者第一时间拿到了文心一言的内测码，实际测试了文心一言的效果。整体而言，百度文心一言能够基本完成发布会上所演示的问题回答和图片生成。但在某些问题理解上仍有待进一步完善。

首先，《科创板日报》提出了一个比较常见的问题：你和chatGPT的区别是什么？

(资料图片)

可以看到，文心一言的中文组织能力表现不错，能够语句通顺地问答完整。

随后，我们又问了关于国内涉足预训练大模型的公司有哪些？文心一言回答得也较为全面。

记者尝试了一个需要涉及信息搜索的问题。

特斯拉在国内过去五个月、过去一年的销量是多少？文心一言的答案是：

而记者直接通过百度搜索获得答案是：乘联会发布的统计数据显示，2023年1月份，特斯拉中国销量达66051辆，环比增长18%；月出口39208辆。

文心一言没有能够抓取到正确的数据来源，仍有待进一步优化。

在发布会现场，百度重点展示了文心一言在五个场景下的综合能力。根据其演示的demo，文心一言不仅具备了文学创作、商业文案创作、数理推算等大语言模型较常见的优势和能力，还表现出了中文理解、多模态生成能力。

《科创板日报》记者特地从这些方面进行了测试。

首先是文学创作，记者让其仿造三体风格写一篇800字的科幻小说。

文心一言的回答是：

之后，记者让其编写一首与小黄鸭有关的儿歌，文心一言在十几秒时间内完成了。

对于打工人来说，写工作总结是一件令人头疼的事。记者也为此提问了文心一言。

从答案来看，似乎是程序员的工作总结，写得较为工整。

然后，记者试了试文心一言在商业文案创作方向的能力。

我们让文心一言写一段针对双11促销的童装营销文案，并设定了“用料健康、性价比高”的关键词。

显然，文心一言理解了关键词的含义，并且把“用料健康、性价比高”融合在了文案之中。

记者继续让其生成针对AI医疗公司的中秋节海报文案。

从答案来看，文心一言能够准确地理解问题的中文含义，只是文采仍有待提高。

记者又让它对一家大数据和商业智能公司起名。

文心一言给出的公司起名，只能说非常地“望文生义”吧。

之后，记者让文心一言写一首“祝你生日快乐”的藏头诗。

这次表现不俗，在10秒左右就完成了，并实现了押韵。

李彦宏认为，“藏头诗”很考验AI对中文和中国文化的理解，能比较清楚地展示了文心一言在中文上的优势。“不过，相对应的，一言目前对英文语种、代码场景的训练还不够多，表现还不够好，接下来我们还要加紧训练，不断完善这些能力。”

接着，记者希望考一下文心一言的数理逻辑推算能力，在发布会上，文心一言顺利答对了鸡兔同笼的经典题目。

《科创板日报》从网络上找了几道小升初数学题目。

比如：鸡和免放在一只笼子里，上面有 29 个头，下面有 92 只脚。问： 笼中有鸡、兔各多少只？

文心一言的答案是12只鸡，17只兔，与标准答案一致。

但对于其他数学题，文心一言则有失误。

2分和5分的硬币共36 枚，共值 99分。问：两种硬币各多少枚？

正确答案是2分27枚，5分9枚。但文心一言没有算对。

某次数学竞赛共20道题，评分标准为每做对一题得5分，每做错或不做一题扣1分。小华参加了这次竞赛，得了64分。问：小华做对几道题？

正确答案应该是14题，而文心一言得出了16题。

李彦宏在发布会上表示，文心一言已具备了一定的思维能力，能够学会数学推演及逻辑推理这类相对复杂任务。但现阶段准确率还不是100%，还需要给它更多的时间来学习和成长。

李彦宏还在现场演示了多模态生成方向的Demo，>比如为2023世界智能交通大会创作一张海报。以下为演示效果：

在实际测试中，文心一言似乎还不具备为大会生成海报的功能，只是给出了一些设计建议。

不过，对于带有关键词的简单图片，文心一言完成得还不错。

生成的图片效果基本达标，并且速度极快，只需十几秒左右。

此前，有多名互联网大厂员工对《科创板日报》记者表示，已经开始用ChatGPT自动生成业务代码和重构代码。

于是，记者尝试了一下文心一言能否顺利写代码。

提问：我需要一段冒泡排序java代码

提问：画椭圆形的JS脚本

记者让程序员朋友检查了下，对方表示：粗略看上去没有问题，感觉以后会对程序员会是不错的辅助工具。

李彦宏表示，目前的文心一言版本，已经能够生成文字、图片和语音。“生成视频因为成本比较高，还没有对所有用户开放，未来我们会逐步接入。但是熟悉百家号创作的朋友，应该都体验过这个功能了，每天有几万篇文章通过这个能力转成视频内容在百度分发。”

李彦宏指出，多模态是生成式AI一个明确的发展趋势。未来，随着百度多模态统一大模型的能力增强，文心一言的多模态生成能力，也会不断提升。

从记者的体验来看，文心一言已经能够较为流畅、准确地回答提问，但在一些问答场景上仍待优化。

李彦宏则在发布会上表示：整体而言，这类大语言模型还远未到发展完善的阶段，它们有时候会有很惊艳的表现，但不少场景下，细究起来还有明显的bug，进步空间很大。未来这段时间它一定会飞速发展，日新月异。

（文章来源：科创板日报）

标签：