先做个广告:如需代注册ChatGPT或充值 GPT4.0会员(plus),请添加站长微信:gptchongzhi
就在前几日,成立仅一年的Inflection AI融资13亿美元最新估值40亿美元。数据分析公司Databrikes宣布13亿美元收购AIGC初创公司MosaicML,共同助力AIGC商业应用。6月28日,字节跳动公布了大模型B端方案“火山方舟”,提供了一个大模型服务平台,供开发者和企业使用。大模型在领域中应用将不断加速。
推荐使用GPT中文版,国内可直接访问:https://ai.gpt86.top
AIGC领域应用一个难以解决的问题是如何有效控制幻觉,即ChatGPT胡说八道。如金融领域客观事实依靠的可靠信息源而不是大众的点击反馈,以及大模型生成。而且事实性错误对金融市场这样非闲聊式场景,必然会对用户造成经济损失。
图片来源:SeedIV实验室:AIGC应用路线图
语言模型中的先验知识都来自于训练语料,用于训练语言模型的大数据语料库在收集时难免会包含一些错误的信息,这些错误知识都会被学习。在自然语言处理领域,这种事实性错误一般统称为“幻觉” (Hallucination),自然语言生成 (NLG) 任务,指模型生成自然流畅,语法正确但实际上毫无意义且包含虚假信息即事实错误的文本,以假乱真,就像人产生的幻觉一样。
既然造成模型生成幻觉文本的是训练数据,那么结合行业专业数据构造事实数据集是优化的途径之一。通常的提高生产内容可控性的方案都是用领域数据进行Fine-Tuning。Fine-Tuning是一种在自然语言处理(NLP)中使用的技术,基本思想是采用已经在大量文本上进行训练的预训练语言模型,然后在小规模的任务特定文本上继续训练它。ChatGPT能成为通识智能方案当然离不开生成模型,但也导致其在当前方案下无法完全解决事实知识问题。
一篇加州理工华人一作的论文提供了新的思路:
研究人员提出一个开源平台LeanDojo,提供工具包、基准和模型,为LLM创造了一种定理证明的交互式环境。这项研究为解决LLM,在事实性和幻觉方面的缺陷开辟了一条新途径。陶哲轩也认为不久之后,AI将与搜索和符号数学工具相结合,成为数学研究中值得信赖的合著者。
新智元,公众号:新智元陶哲轩预言成真!MIT加州理工让ChatGPT证明数学公式,数学成见证AI重大突破首个学科
当领域中无法提供基准时,也可以先通过专业搜索确认相关内容作为大模型输入,在此基础上,进行后续内容生成。
共接诊120多名患者,从问诊、检查到诊疗方案全流程覆盖;涉及心内科、消化内科、呼吸内科、内分泌科、肾脏内科、骨科、泌尿外科七大疾病科室,患者疾病类别多元,复杂程度不一;医学水平不输国内三甲医院主治医生,与真人医生诊疗方案一致性达到96%;
关注前沿科技,公众号:量子位医疗版ChatGPT直播评测!治疗方案与真人医生96%一致
现在,事实与幻觉有了更多优化方案,可以预见,在其他领域大模型应用也将提速,替代无法避免。
ChatGPT的成功,确认了大语言模型成为自然语言处理(NLP)当前主要研究方向,并让很多自然语言处理子领域不再具备独立研究价值,如中文分词、词性标注、NER、句法分析、指代消解、语义Parser等,那些NLP算法们也革了自己的“命”。之前,Word2Vec出来,先革也是之前那些做NLP模型的人,他们很多是既懂语言又有很强的数学功底,Word2Vec出来后,之前所有的研究方法也就过时了。这么听起来,不是否有些安慰,但终归世界是回不到ChatGPT之前。
图片来源:《NLP2020年前发展过程》
从人类角度,ChatGPT带来的益处不必多说,已有很多论述。连陶哲轩这样数学家也认为AI将与搜索和符号数学工具相结合,成为数学研究中值得信赖的合著者,那还有什么领域不能提升效率。
《美国增长的起落》作者分析了1870-2015年间,美国历次技术进步以及相关经济增长。1994-2015年计算机一直在代替人类,从失业率来看,并没有导致大规模失业,但良好的、稳定的中层就业岗位在逐渐消失。
全要素生产率(Total Factor Productivity,TFP)全要素生产率是一个“余值”,即经济增长中不能够被资本、劳动力和人力资本等要素投入所解释的部分,要素配置效率提高、技术进步或者创新等“难以衡量”的因素带来的效率提升所带来的额外经济增长都被归于全要素生产率。从图表可以看出不论是美国还是中国,2000年之后移动互互联并没有带来全生产要素率的提升。
简单类比分析,当大模型对人类社会影响堪比互联网,可以想见,其并不能带来全要素生产率提升。
毕业生行业收入排名中,新兴行业以及那些不可外迁的职往往能有更好的收入。但当服务类医生、律师等初级职责被ChatGPT代替,可以想见,ChatGPT将加剧M型社会。
ChatGPT可以写小学、高考作文,难道学生就不需要作文了?《士兵突击》中许三多,在一个人的连队中,每日出操;在《亮剑》中李云龙让士兵在没有护具的情况下,用木棒练格斗;在《雪中悍刀行》中大冬天两队隔着河拔河。这些看似没有意义的训练,对一支军队提高战斗力都是必不可少的训练。
ChatGPT目前能替代的那些职责,写摘要、资料总结、文档检查,数据初步处理等等,是职业初级必不可少的部分。如果为了效率,都让机器做了,那毕业生们就缺乏了必不可少的训练。
人们说心灵的时候,说的并不是一台(任何一般意义上的)机器。而是一台察觉到自身的正确性的机器。
---- 哥德尔
“专家是一位无须思考就知道结果的人”。诺贝尔经济学奖,图灵奖获得者郝伯特·西蒙做过一个国际象棋棋法研究,其将一个布局合理的中盘棋局给大师们看,他们往往能在很短的时间就找到最优下一步,这就是基于直觉的搜索。专家和新手区分不仅是前者具有大量和多样的信息,更重要的是,他的直觉经验使其能快速发现所面对的棋局形势中的熟悉模式。长期记忆中储存大量的棋局模式,识别这些模式,从长期记忆中找到相关信息,这样的直觉搜索,并不需要大量复杂的脑力计算。而这是大量专业训练的结果。
AlphaGo在模型训练过程中,也是抽取一盘围棋中的随机中盘布局,使用蒙特卡罗树搜索(Monte Carlo Tree Search,MCTS)结合估值网络(Value Network)来搜索最优下一步。对于一个领域问题,新手往往是低效的、痛苦的直觉搜索,专家是高效的直觉搜索,而 AlphaGo是启发式结合暴力搜索。ChatGPT也是类似,通过大量生产数据进行学习。
对于人心计算与计算机能力对比,伟大的数学家、逻辑学家和哲学家库尔特·哥德尔认为”数学直觉就可以看到并证明自身的一致性,这一点不同于计算机。” 人是擅长通过直觉解决新问题的,这才是相对于人工智能,人类真正的优势。
在系列电影《黑客帝国》的动画版电影,九段独立动画之一的《第二次文艺复兴》中描述了人工智能和人类的战争,最后人类启用了核武器并遮挡了整个地球的太阳光,但机器还是取得了最后的胜利。可机器无法获得太阳能,只好圈养人类获得生物能,将所有存活下来的人类养在母体中。该理由非常牵强,低等生物的能量转换率一定比人类这样的高等动物更高。更合理的解释是,由于人工智能无法代替人类的直觉计算,而直觉计算又是探索宇宙,探索数学、物理等充满不确定性领域必不可少的能力,所以只好将人类圈养在母体中。
人类的直觉有其不可或缺的重要性,直觉才是人类最重要的决策方式之一,是无法代替的。而这是离不开大量初级训练任务磨练。