大语言模型中的涌现现象是不是伪科学？_世界快播报
Datawhale干货
作者：平凡@知乎，诺桑比亚大学，在读博士
(资料图)
今天晚上，花了一点儿时间看了两篇文章：
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior，即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时，由于增加了参数数量、训练数据或训练步骤等因素，出现了定性上的新能力和性质，这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子，每个图都可以理解为一个任务，横轴是神经网络的规模，而纵轴是准确率，可以理解为模型的性能。
我们拿图一来看，在10的22次方前，这些模型基本上的性能基本上都很稳定在0附近，而在10的22以后，突然在10的24次方上获得了很大的性能提升，在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的评论引用在这里：
作者发现，当我们训练用网络计算同余加法 a+b = ? (mod c) 时，网络在某个时间突然获得了 100% 准确率。分析发现，神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法！这个算法可以证明是正确的， 反人类直觉的。
从这俩例子里面我的感受是，只要数据量足够且真实，且模型没有硬错误的前提下，不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少，但是系统的少，零星的多，如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话，我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf关键词：
相关阅读
-
04-26
-
04-26
-
04-26
-
04-26
-
04-26
推荐阅读
-
-
银鹏控股公司：业务交流促提升互学互鉴共进步|世
3月2日，银鹏控股公司董事长刘懿婷带队前往中粮集团期货公司进行业务学习和交流。中粮期货公司从业多年、具有丰富实战经验的风险管理专家现场更多
2023-03-07 17:52:41
-
-
我国首个万吨级钠离子电池材料项目在山西综改区开
山西晚报讯（记者温丽芳通讯员张晓茹）日前，总投资约11亿元的山西华钠铜能（碳能）科技有限责任公司万吨级钠离子电池正（负）极材料项目在山更多
2023-03-07 11:51:14
-
-
建行阳江市分行：践行金融惠民理念-全球关注
2月24日，随着客户办妥抵押登记手续并成功放款，标志着阳江市建行“带押过户”业务取得历史性突破。根据中国人民银行发布《关于鼓励推广二手房更多
2023-03-07 11:53:21
-
-
焦点简讯:证监会同意三超新材向特定对象发行股票
中证网讯（记者昝秀丽）证监会网站3月6日消息，证监会发布关于同意南京三超新材料股份有限公司向特定对象发行股票注册的批复。【来源：中国证更多
2023-03-07 09:57:39
-
-
美股航空股6日全线走低
中证网讯（记者赵中昊）当地时间周一（3月6日），美股航空股全线走低。据wind数据，截至收盘，波音跌1 49%，美国航空跌1 47%，达美航空跌1%，更多
2023-03-07 09:43:44
-
-
世界热资讯！晋钢控股集团荣登2022山西省品牌十强
近日，“品牌强国（龙城）论坛”在太原举行，发布“2022中国上市公司品牌500强”以及“2022山西省品牌100强”。晋钢控股集团以218 9亿元的品牌更多
2023-03-06 17:38:52
-
-
手绘报告：2023预期目标
【来源：中国政府网】声明：转载此文是出于传递更多信息之目的，若有来源标注错误或侵犯了您的合法权益，请作者持权属证明发至邮箱newmedia@xx更多
2023-03-06 16:46:31
-
-
惠州首笔数字人民币缴纳税费业务成功落地
3月1日，TCL科技集团财务有限公司拿到了全市第一张使用数字人民币账户缴纳税款和非税收入的完税凭证，标志着惠州市首笔数字人民币缴纳税费业务更多
2023-03-06 11:50:50
-
理财
-
- 2022年三季报披露后，北京商报记者根据企业公告选取了30家上市房...
-
- 首套房公积金利率下调原来贷款也下调吗首套房公积金利率下调原来...
-
- 政府回购商品房意味着什么政府收购商品房的首要目的是稳定市场。...
-
- 把自己房子卖了再买算首套房吗买过一套房卖了再买算首套房。简单...
-
- 买房交首付注意事项有哪些1、核实开发商五证。在交首付时，需要先...
-
- 房屋契税征收比例契税税率的缴纳一般分为以下几种情况：1、面积小...
