GPT-4 是 8x2200 亿参数的混合模型?这个小道消息今天传疯了
2023-06-21 14:10:28来源:ZAKER科技
机器之心报道
编辑:吴昕
George Hotz:除了苹果之外,大部分公司保密的原因都不是在隐藏什么黑科技,而是在隐藏一些「不那么酷」的东西。
(资料图)
「GPT-4 的参数量高达 100 万亿。」相信很多人还记得这个年初刷屏的「重磅」消息和一张被病毒式传播的图表。
不过很快,OpenAI 的 CEO Sam Altman 就出来辟谣,证实这是一条假消息,并表示,「关于 GPT-4 的谣言都很荒谬。我甚至不知道这从何而起。」实际上,许多人相信并传播这样的谣言是因为近年来 AI 社区不断在增加 AI 模型的参数规模。谷歌在 2021 年 1 月发布的 Switch Transformer 就把 AI 大模型参数量拉高到了 1.6 万亿。在此之后,很多机构也陆续推出了自己的万亿参数大模型。据此,人们有充分的理由相信,GPT-4 将是一个万亿参数的巨量模型,100 万亿参数也不是不可能。
虽然 Sam Altman 的辟谣帮我们去掉了一个错误答案,但他背后的 OpenAI 团队一直对 GPT-4 的真实参数量守口如瓶,就连 GPT-4 的官方技术报告也没透露任何信息。
直到最近,这个谜团疑似被「天才黑客」乔治霍兹(George Hotz)捅破了。
乔治霍兹因 17 岁破解 iPhone、21 岁攻陷索尼 PS3 而闻名,目前是一家研发自动驾驶辅助系统的公司(comma.ai)的老板。
最近,他接受了一家名为 Latent Space 的 AI 技术播客的采访。在采访中,他谈到了 GPT-4,称 GPT-4 其实是一个混合模型。具体来说,它采用了由 8 个专家模型组成的集成系统,每个专家模型都有 2200 亿个参数(比 GPT-3 的 1750 亿参数量略多一些),并且这些模型经过了针对不同数据和任务分布的训练。
在这段播客播出之后,PyTorch 创建者 Soumith Chintala 表示自己似乎听过同样的「传闻」,很多人可能也听过,但只有 George Hotz 在公开场合将其说了出来。「混合模型是你在无计可施的时候才会考虑的选项,」George Hotz 调侃说,「混合模型的出现是因为无法让模型的参数规模超过 2200 亿。他们希望模型变得更好,但如果仅仅是训练时间更长,效果已经递减。因此,他们采用了八个专家模型来提高性能。」至于这个混合模型是以什么形式工作的,George Hotz 并没有详细说明。为什么 OpenAI 对此讳莫如深呢?George Hotz 认为,除了苹果之外,大部分公司保密的原因都不是在隐藏什么黑科技,而是在隐藏一些「不那么酷」的东西,不想让别人知道「只要花 8 倍的钱你也能得到这个模型」。对于未来的趋势,他认为,人们会训练规模较小的模型,并通过长时间的微调和发现各种技巧来提升性能。他提到,与过去相比,训练效果已经明显提升,尽管计算资源没有变化,这表明训练方法的改进起到了很大作用。
目前,George Hotz 关于 GPT-4 的「爆料」已经在推特上得到了广泛传播。
有人从中得到了灵感,声称要训练一个 LLaMA 集合来对抗 GPT-4。还有人说,如果真的像 George Hotz 说的那样,GPT-4 是一个由 8 个 2200 亿参数的专家模型组合的混合模型,那很难想象背后的推理成本有多高。需要指出的是,由于 George Hotz 并未提及消息来源,我们目前无法判断以上论断是否正确。有更多线索的读者欢迎在评论区留言。George Hotz 采访内容。GPT-4 相关内容在 49:00 前后。视频来源:https://www.youtube.com/watch?v=K5iDUZPx60E&t=3030s
参考链接:https://twitter.com/soumithchintala/status/1671267150101721090
THE END
转载请联系本公众号获得授权
投稿或寻求报道:content@jiqizhixin.com
责任编辑:hnmd003
相关阅读
相关阅读
-
GPT-4 是 8x2200 亿参数的混合模型?这个小道消息今天传疯了
机器之心报道编辑:吴昕GeorgeHotz:除了苹果之外,大部分公司保密的原
-
德国电信准备挑战欧盟不合理规定 继续购买华为 5G 设备|天天热闻
【TechWeb】6月21日消息,据外媒报道,德国电信准备挑战欧盟的不合理规
-
“贾跃亭式”财技重现 A 股!股东变债主,昆仑万维实控人前妻欲套现离场? 当前观察
本文来源:时代周报作者:何明俊6月20日晚,昆仑万维(300418 SZ)发布
-
TCL、海信、小米密集推新,Mini LED 电视熬出头了
中国面板和电视行业逆转格局的机会来了。作者|辰纹来源|洞见新研社OLED
-
天天微动态丨直播回顾:HVV 经验分享与重保整体解决方案
6月15日,Coremail联合北京钛星数安科技有限公司举办【HVV经验分享与重
-
热讯:人民币汇率跌破 7.2!未来怎么走?出国留学、企业进口怎么办?全面解读来了→
近段时间,人民币身价问题,备受关注。5月17日、5月18日,离岸人民币、
-
《福布斯》长文揭密陈光英:币安背后的神秘掌舵人-每日视点
图片来源@视觉中国福布斯发文称,币安首席执行官赵长鹏的神秘助手陈光
-
日经 225 指数午后拉升,相关 ETF 集体大涨逾 1.6% 天天观热点
日本股市午后走强,日经225指数盘中一度涨逾0 8%。受盘面影响,场内4只
-
当前讯息:世界气象组织报告欧洲成为全球变暖最快的大陆
财联社6月21日讯(编辑马兰)世界气象组织(WMO)和欧洲哥白尼研究所周
-
“贾跃亭式”财技重现 A 股!股东变债主,昆仑万维实控人前妻欲套现离场?_环球时快讯
本文来源:时代周报作者:何明俊6月20日晚,昆仑万维(300418 SZ)发布
-
有心未怕迟_对于有心未怕迟简单介绍_今亮点
1、《有心未怕迟》是冯伟棠、黄恺欣演唱的歌曲。2、由李初作词作曲。文
-
世界看热讯:2023年6月21日连玉米期货早盘行情
据生意社统计,2023年6月21日,星期三,大连商品交易所玉米期货主力230
-
拼了!33岁海归博士创业,7年干出一个IPO?2000亿光伏大佬“藏身”背后_快播报
身处制造业,短短7年冲击上市,这样的案例在A股并不多见。6月19日,主
-
重疾险买长期还是终身?有哪些分类?_世界百事通
看实际情况决定。若有足够的预算,可以选择终身重疾险,保障期限长,不
-
平安百万医疗门诊报销吗?报销的流程是什么?
要看实际的规定。平安百万医疗是由平安保险推出的医疗险,其保障范围覆
-
重大疾病保险属于什么类型的保险?一般有什么保障?
重大疾病保险属于人身保险的一种。它是为了应对罹患严重疾病所带来的高
-
女性百万医疗险推荐,女性百万医疗险怎么买? 环球快看
中英人寿爱心保长期医疗险:大品牌,保证续保20年,对女性客户友好,尤
-
百万医疗可以续保终身吗?续保的要求有哪些?
不可以。目前,市面上还没有终身续保的百万医疗险,只有保证续保几年或
-
世界快资讯:美国得州要求电动汽车充电运营商支持特斯拉标准
美国得州要求电动汽车充电运营商支持特斯拉标准得州是第一个将强制执行
-
江波龙:融资净偿还154.31万元,融资余额1.75亿元(06-20)
2023年6月20日江波龙融资净偿还154 31万元,融资余额1 75亿元
-
世界最资讯丨辉瑞药物Talzenna获FDA批准,用于治疗去势性前列腺癌
6月21日获悉,辉瑞的药物Talzenna(talazoparib)获得了美国FDA批准,
-
优予预制菜完成Pre-A轮融资
优予预制菜近日已完成3500万元Pre-A轮融资,本轮融资由天时创新资本领
-
小米智造投资汽车制动系统研发商
钛媒体App6月21日消息,天眼查App显示,近日,炯熠电子科技(苏州)有
-
索尼携最新 4K HDR 旗舰基准监视器亮相上海电视节
2023年6月19-21日的第二十八届上海电视节期间,索尼(中国)有限公司以
-
京东 AI 大模型官宣 7 月 13 日发布 全球快资讯
品玩6月21日讯,据京东云官方消息,2023京东全球科技探索者大会暨京东
-
看热讯:OpenAI 被曝要搞「App Store」,专卖 ChatGPT 应用,网友:快搭生态,让苹果微软靠边站
OpenAI被曝还要再搞一个AppStore!这次不是插件商店这样的小打小闹,而
-
美银:至 2025 财年 苹果近两成 iPhone 将产自印度 焦点观察
财联社6月21日讯(编辑周子意)近年来,苹果一直在逐渐增加其在印度的
-
30 万人挤进张兰直播间,只“吃瓜”不掏钱?
文|开菠萝财经,作者|纪校玲,编辑|金玙璠天降流量,再次救了张兰的直
-
当前讯息:中邮悦享金生有哪些优点?在哪里可以买?
投保年龄宽松:这款保险的投保年龄范围为出生满30天到70周岁,覆盖的人
-
光明一生必须领取年金吗?投保规则如何?|快看点
不一定。 大家在购买光明一生时,可以根据自己的实际情况来选择是否搭
精彩推荐
阅读排行
精彩推送
- 利宝互助保险集团管理团队到访水...
- 抖音发布新规:严厉打击仿冒新闻...
- 利宝互助保险集团管理团队到访水...
- 世界资讯:北京房山发放1000万元...
- 星纪魅族和极星联手,吉利的“算...
- 环球关注:公安部发布端午节假期...
- 体内“穿山甲”微型机器人问世
- 苹果自研基带不给力:iPhone SE...
- Epic 旗下 3D 扫描应用《Real...
- 今日关注:华为回应向日企收取专...
- Redmi K60 Ultra 入网,天玑...
- 每日资讯:小米投资储能企业安酷...
- 70 万存款,利息差了 5.4 万...
- 04年女子骗男友到野外,诱其喝下...
- 穆迪:上调嘉兴城投集团发行人评...
- 中德可持续发展论坛将于今年秋季...
- 人保百万医疗门诊能报销吗?报销...
- 滴滴预计端午打车需求涨50% ...
- 当前关注:信泰如意永享怎么样?...
- 百万医疗和职工医保哪个好?有什...
- 一场由微波炉引发的收购战:格兰...
- 全球信息:岁月有约投保年龄为多...
- *ST大通强制退市:未在规定期限...
- 环球速读:光大永明光明一生慧选...
- 推特因拖欠奖金遭员工集体起诉|...
- 恒大汽车:5月恒驰5已交付超1000辆
- 民营火箭
- 成都王府井百货有限公司_成都王府井
- 赤夜萌香cv(赤夜萌香)_全球信息
- 端午夜可赏“飞龙在天”,这条“...