世界要闻:大语言模型中的涌现现象是不是伪科学?

2023-04-26 14:50:50 程序员客栈

Datawhale干货


(资料图片)

作者:平凡@知乎,诺桑比亚大学,在读博士

今天晚上,花了一点儿时间看了两篇文章:

《Emergent Abilities of Large Language Models》[1]

《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]

这两篇讲的都是emergent behavior,即涌现现象。

大规模神经网络下的涌现现象

在机器学习中使用大规模神经网络时,由于增加了参数数量、训练数据或训练步骤等因素,出现了定性上的新能力和性质,这些能力和性质在小规模神经网络中往往是不存在的。

第一篇文章举了这个例子,每个图都可以理解为一个任务,横轴是神经网络的规模,而纵轴是准确率,可以理解为模型的性能。

我们拿图一来看,在10的22次方前,这些模型基本上的性能基本上都很稳定在0附近,而在10的22以后,突然在10的24次方上获得了很大的性能提升,在其他的几个任务上都表现出类似的特征。

意想不到的效果

第二篇文章更是有趣,我直接把推特一位博主的评论引用在这里:

作者发现,当我们训练用网络计算同余加法 a+b = ? (mod c) 时,网络在某个时间突然获得了 100% 准确率。分析发现,神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法!这个算法可以证明是正确的, 反人类直觉的。

从这俩例子里面我的感受是,只要数据量足够且真实,且模型没有硬错误的前提下,不断的训练说不定真的能够产生一些意想不到的效果。

还有就是我觉得人类现在积累的知识并不少,但是系统的少,零星的多,如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话,我觉得有很大概率会让它涌现出意想不到的能力。

甚至可能把人类的生产力解放提前很多。

参考

1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf

标签:

相关文章

世界要闻:大语言模型中的涌现现象是不是伪科学?

Datawhale干货作者:平凡@知乎,诺桑比亚大学,在读博士今天晚上,花了一点儿时间看了两篇文章:《Emergent

2023-04-26

新消息丨叶罗丽大结局_你知道吗

1、结尾:勇敢的战士王默告诉经理妹妹过去发生的事情。原来经理已经知道了事情的经过,给大家讲解了人间仙

2023-04-26

多个项目投产 富祥药业2022年营收增长15.23%_每日观察

富祥药业4月25日晚间发布的2022年年报显示,2022年,公司完善发展产业链体系,巩固主业既有优势地位,并根

2023-04-26

美国“千禧一代”深陷债务困境

据美国《华尔街日报》近日报道,自新冠疫情发生以来,美国“千禧一代”(出生于1981年至1996年的人群)...

2023-04-26

“福民救助管家”,让救助更智能、更精准、更温暖|世界今热点

近日,南京西路街道救助所工作人员在“福民救助管家”系统,获取中凯居民区一名居民的求助申请——71岁...

2023-04-26

【聚焦“三个年”县区行】黄龙县:政策支撑有力 企业跃马争春

【聚焦“三个年”县区行】黄龙县:政策支撑有力企业跃马争春

2023-04-26

热头条丨港股异动 | 网易-S(09999)盘中跌超4% 暴雪拒付国服玩家退款相关费用 网易起诉暴雪欠款3亿

网易-S(09999)盘中跌超4%,截至发稿,跌2 6%,报134 9港元,成交额2 82亿港元。

2023-04-26

天天观点:台湾彰化食品工厂发生火灾致多人伤亡 国台办:向罹难者表达深切哀悼

海外网4月26日电4月26日上午,国台办在新闻发布厅举行例行新闻发布会,发言人朱凤莲表示,昨天台湾彰化联华

2023-04-26

又一品牌打通多设备互联场景,realme Pad本月内将发布-环球观焦点

近期关于realme平板电脑国行版本的消息可谓是接踵而至,最新消息显示realmePad将会在本月内正式发布国行版本。

2023-04-26

焦点讯息:美国4月份消费者信心降至9个月低点 更多家庭预计情况将继续恶化

美国4月份消费者信心降至9个月低点更多家庭预计情况将继续恶化,美国,美联储,谘商会,通胀数据

2023-04-26

经济日报:“天价”酒店更宜靠市场调节

酒店涨价预示旅游市场回暖,监管应防止违规定价,毁约涨价应予惩治。市场调节价,城市管理者应调动市场之手

2023-04-26

视觉中国(000681)4月25日主力资金净买入394.35万元|天天动态

截至2023年4月25日收盘,视觉中国(000681)报收于17 62元,上涨1 03%,换手率16 17%,成交量94 46万手,成交额16 76亿元。

2023-04-26

窦骁“嫁”入豪门,新一轮豪门大战打响|全球时讯

窦骁与赌王何超莲的宠儿今年4月在巴厘岛举行了婚礼。奢华在普通人眼中堪比梦想,一场婚礼。网上也出现了关

2023-04-26

千余场舞台演出 八百场群众活动北京将塑“五一”多彩文旅生活

千余场舞台演出八百场群众活动北京将塑“五一”多彩文旅生活

2023-04-26

天天热消息:投资亏损拖累三六零业绩,股价大涨股东密集减持

华夏时报记者闫晓寒卢晓北京报道虽然今年一季度三六零安全科技股份有限公司(下称“三六零”)股价大涨...

2023-04-26

苹果赢了“苹果税”官司,美法院驳回App Store涉嫌垄断起诉

美国CNBC网站24日称,美国联邦法院当天驳回埃匹克关于苹果应用商店(AppStore)涉嫌垄断的起诉,并几乎“一

2023-04-26

环球微速讯:以后的以后歌曲表达什么意思_以后的以后歌曲

1、以后的以后以后的以后[1]风决定要走云怎么挽留庄心妍照片集(11张)曾经抵死纠缠放空的手情缘似流水覆水总难

2023-04-26

构建人才金字塔,萨摩耶云科技集团加速推进产学研机制 环球微动态

我们的生活早已与指纹识别技术息息相关了,你知道吗?正是由于指纹与生俱来的便捷性以及约1 150亿的超低重

2023-04-26

萨哈:桑乔不该考虑太多,他应相信自己的实力和队友|天天时讯

萨哈:桑乔不该考虑太多,他应相信自己的实力和队友,桑乔,萨哈,曼联,明朝

2023-04-26

Visa(V.US)与万事达(MA.US)财报会反映美国消费支出放缓吗?|焦点报道

多年来,美国消费者的韧性一直是美国经济增长背后的推动力,在2020年最初的新冠肺炎疫情冲击之后的几个月里

2023-04-25

邓州市召开社会矛盾纠纷“警司访+”多元预防调处化解工作会_全球头条

邓州市召开社会矛盾纠纷“警司访+”多元预防调处化解工作会,治安,邓州市,市信访局,典型案例,信访办主任,...

2023-04-25

翻新iPhone,正在快速抢占智能手机市场

但“狡猾”的苹果已经在官方渠道下架了iPhone13Pro,追求性价比的消费者,自然会优先考虑翻新iPhone了。Bla

2023-04-25

辽宁省就业形势整体稳定 一季度城镇新增就业12.5万人 世界报道

据悉,辽宁省人社厅围绕辽宁全面振兴新突破三年行动夯实民生保障领域重点工作,推动实现更加充分更高质量就

2023-04-25

环球速读:印度手机市场新变局:苹果杀入高端 中国手机品牌遭针对|出海洞察

财联社|新消费日报4月25日讯(记者唐植潇)印度手机市场的竞争格局正悄然变化。日前,苹果在印度连续开业两

2023-04-25

中国与英国的时差对照_中国与英国的时差 世界微动态

1、中英两国的标准时差是8个小时,即英国的时间比北京时间晚8个小时。2、英国在每年的三月底到十月底实行夏

2023-04-25

环球视讯!一路彩虹txt下载(一路彩虹txt全集下载)

大家好,小乐来为大家解答以上的问题。一路彩虹txt下载,一路彩虹txt全集下载这个很多人还不知道,现在让我们

2023-04-25

明显两条杠其实没怀孕_如何区分假孕和怀孕_全球观热点

1、假孕和怀孕最本质的区别之一就是体内的HCG有没有升高。有些假孕是因为有些女性特别想怀孕,但是一直没有

2023-04-25

注意!交大思诺将于5月19日召开股东大会

交大思诺(SZ300851,收盘价:22 15元)4月25日发布公告称,2023年5月19日(星期五)9:30,公司将在北京市

2023-04-25

港股恒生科指一周跌超10%!何时企稳?机构火线解读

港股A股主要指数连跌一周,其中恒生科技指数截至发稿跌超3%,6个交易日跌超10%逼近5个月来的低点。为何大跌

2023-04-25

今日热讯:信美开业五年半实现累计盈利!折射哪些经营韧性?

4月25日,信美人寿相互保险社(以下简称“信美相互人寿”或“信美”)发布2022年年报。年报显示,2022年...

2023-04-25

最新发布
精彩图文
精彩推送

Copyright @  2015-2018 西南it网版权所有  备案号:皖ICP备2022009963号-8   联系邮箱:39 60 29 14 2@qq.com