张亚勤:大模型做对了三件事,还需三大改进

知识2024-09-20 06:10:36553

6月17日消息(南山)日前举办的张亚做对人工智能行业盛会“2024北京智源大会”上,零一万物CEO李开复与清华大学智能产业研究院院长、模型智源学术顾问委员张亚勤进行了一场尖峰对话。事进

在对话中,还需李开复强调,大改大模型是张亚做对鼠年手抄报图片大全AI有史以来最大的革命,人类能够用更多计算和数据不断让它增加智慧,模型目前还在推进中,事进这是还需令人振奋的事情。当然挑战也非常多,大改例如当前主要靠算力推动,张亚做对使得掌握GPU资源的模型国家处在优势地位;再如因为数据问题,大模型不知道“最近一年发生了什么”。事进当然,还需随着人类社会加大研究,大改xinggan美女图片李开复对大模型的未来十分乐观。

张亚勤则谈到,大模型做对了三件事,还需三大改进。

做对了哪三件事?一是规模法则(Scaling Law),得益于对海量数据的利用以及算力的显著提升,再加上现在的李念图片Diffusion和Transformer架构能够高效地利用算力和数据,使得“飞轮效应”得以正循环。尽管有人质疑Scaling Law在2~3年后是否仍然有效,但至少在未来5年里,它仍将是大模型发展的主要方向。

二是“Token Beist”。在大模型中,“Token”是一个基本元素,无论是文本、语音、图像、视频、自动驾驶,美女图片大图甚至是生物领域的蛋白质和细胞,最终都可以抽象为一个Token。Token之间的训练、学习和生成是核心环节,这与人类大脑中的神经元工作原理相似,无论执行何种任务,其基础机制都是相同的。

三是通用性。通用性不仅体现在文本处理上,还扩展到了多模态领域,甚至可以生成如蛋白质等复杂结构。此外,它在物理世界(如具身智能)和生物世界(如生物智能)中也有着广泛的应用前景。

此外大模型还需要做三大改进。一是效率,人类大脑拥有860亿个神经元,每个神经元又有数千个突触连接,却只需要20瓦的能量,重量还不到三斤;而大模型还依靠大量堆积GPU,需要建立真正的商业模式,大幅度提升效率。

二是大模型没有真正理解物理世界。当前做的再好的大模型,在生成式和对世界真实的表述之间存在矛盾,人类需要探索如何将生成式的概率大模型与现有的“第一性原理”或真实模型、知识图谱相结合。张亚勤认为,未来 5年会有全新的架构替代现在的Transformer和Diffusion模型。

三是欠缺边界。动漫唯美女生图片大模型现在不明白“我不知道什么”,需要业界解决这个难题。

本文地址:http://new.775n.com/article/10d2999854.html
版权声明

本文仅代表作者观点,不代表本站立场。
站内提供内容均依据网络上的公开引用资源。如有侵权或违反公序良俗的内容请发邮件到xm520vip@gmail.com

全站热门

新Apple Pencil发布在即 与OLED屏iPad Pro一同面世

未来狂想曲大王陆鱿高2.5米,八条腿的陆地鱿鱼

宇航员死亡后 身体将何去何从?

新月派和现代派的代表人物有谁?作品是什么样的?

汉献帝禅让:背后的自愿与非自愿

穿越古代,如何生存下来

黄菊从政上海,69岁去世,经中央批准葬入八宝山,后为何被迁出

皇太极为何将国号改为清?看看明朝的明是什么写法

友情链接