报道:陈巍:GPT-4究竟会展现出怎样的能力?
2023-03-16 14:35:09来源:中新经纬
中新经纬3月16日电 题:GPT-4究竟会展现出怎样的能力?
(相关资料图)
作者 陈巍 中关村(000931)云计算产业联盟、中国光学工程学会专家
3月14日,OpenAI发布了最新NLP(自然语言处理)大作“GPT-4”。GPT-4的技术报告里把OpenAI团队作为唯一作者。参与项目的有数百人,堪称新时代的AI登月工程。
能看明白图梗的大型多模态模型
与ChatGPT稍有不同,GPT-4是一个大型多模态模型(输入图像和文本,文本输出)。其中GPT是生成式预训练模型的缩写。大型多模态模型可以广泛用于对话系统、文本摘要和机器翻译。一般情况下,大型多模态模型包括额外的视觉语言模型组件(VLM)。
GPT-4实际上是在2022年8月完成训练的,直到2023年3月14日才发布。在发布之前,OpenAI一直在对该模型进行对抗性测试和改进。GPT-4的内容窗口能支持多达32000个token(令牌)。
但更为有趣的是,GPT-4已经能看懂一些图梗了,不再仅仅是对话助手。当然,这离大家期待的看懂视频还有一段距离。
据OpenAI介绍,虽然目前GPT-4在现实场景中的能力可能不如人类,但在各种专业和学术考试上表现出明显超越人类水平的能力,包括大家熟悉的GRE考试,堪称考试小能手。
这对孩子们是不是一个坏消息?例如,GPT-4在模拟律师考试中,分数排在应试者的前10%左右。GPT-4也优于现有的其他语言模型。相比之下,GPT-3.5的得分则在倒数10%附近。如果GPT-4来做中国的高考卷,是不是能上北大清华了?
GPT-4技术特征和不足
与ChatGPT类似,GPT-4也是一种基于Transformer的大模型,支持多国语言,经过预训练可以预测或自动生成文本。
OpenAI表示,对GPT-4而言,训练后的对齐(Alignment)是提高性能和改善体验的关键。从技术上看,人类反馈强化学习(RLHF)微调仍然是GPT-4的要点。考虑到LLM(第四代大型语言模型)领域的竞争格局和GPT-4等大型模型的安全隐患,OpenAI暂时还未公布GPT-4的模型架构、模型大小、训练技术。
相对于GPT-3.5和其他大语言模型,GPT-4在复杂任务上表现出更可靠、更有创意,并且能够处理更细微的指示的关键特征。GPT-4可以接受文本和图像提示,并允许用户指定任何视觉或语言任务。例如,GPT-4可以在给定由分散的文本和图像组成的输入的情况下反馈文本输出(例如自然语言、代码等)。在带有文本和照片的文档、图表或屏幕截图方面,GPT-4 也驾轻就熟。此外,GPT-4包括few-shot和思维链提示。对于公众来说,图像输入仍然是仅供内部研究预览,并不公开。而且,这次GPT-4直接整合入Bing搜索引擎之中。
GPT-4也有一些不足,例如仍然会一本正经地胡说八道,上下文连续对话轮次有限,并且无法从经验中学习。因此如果不对GPT-4的使用进行安全性限制,GPT-4可能会产生大量的认知偏差、虚假信息,甚至侵犯个人隐私。另外,由于数据集时效的原因,GPT-4缺乏对2021年9 月之后的事件的了解。GPT-4有时会犯一些简单的推理错误,也可能会像人类一样在技术难题上出现错误,例如GPT-4可能在生成的代码中引入安全漏洞。
训练价值和安全性技术表现如何?
OpenAI表示,在过去2年的GPT-4研发中,超算和训练技术表现出至关重要的价值。OpenAI与Azure的超算团队一起,共同设计了针对大模型训练的超级计算机,为GPT-4的训练提供了关键的算力支撑和研发加速。OpenAI在GPT-4技术报告中,甚至把Supercomputing lead(超级计算领导)和Infrastructure lead(基础设施领导)的排名放在了预训练模型团队的最前面。
OpenAI的团队从理论基础层面进行优化,改进了GPT-3.5的一些bug,使得GPT-4能够前所未有地进行稳定高速的训练。这方面可以看出OpenAI团队的数学和计算理论功底。
从技术报告描述的模型训练过程来看,GPT-4的训练与GPT-3.5类似。包括SFT(有监督微调)的预训练、基于RLHF(人类反馈强化学习)的奖励模型训练和强化学习的PPO(近端策略优化)算法微调。与之前的GPT模型不同的是,OpenAI使用基于规则的奖励模型(RBRM) 在PPO微调期间向GPT-4提供额外的奖励信号。
OpenAI投入了大量资源来提高GPT-4的安全性和一致性。包括引入专家进行对抗性测试和红队测试,模型辅助的安全流水线以及安全指标的改进。OpenAI引入的安全专家达到了50多人,覆盖AI一致性风险、网络安全、生物风险等领域。
与ChatGPT一样,OpenAI使用强化学习和人类反馈 (RLHF) 来微调模型的行为,以产生更符合用户意图的响应。但当给定不安全的输入时,模型可能会生成不良内容,例如提供有关犯罪的建议。另外,模型也可能对安全输入变得过于谨慎,拒绝无害的请求。
GPT-4的安全流水线包括两个主要部分:一组额外的安全相关 RLHF训练提示,以及基于规则的奖励模型(RBRM)。RBRM是一组zero-shot GPT-4 分类器。这些分类器在RLHF微调期间为GPT-4策略模型提供额外的奖励信号,以正确的输出行为为目标进行训练,例如拒绝生成有害内容或不拒绝无害的请求。(中新经纬APP)
本文由中新经纬研究院选编,因选编产生的作品中新经纬版权所有,未经书面授权,任何单位及个人不得转载、摘编或以其它方式使用。选编内容涉及的观点仅代表原作者,不代表中新经纬观点。
责任编辑:孙庆阳
编辑:郭晋嘉
责任编辑:hnmd003
相关阅读
-
OPPO Find X6系列官宣3月21日发布 首搭暗光长焦摄像头
凤凰网科技讯(作者 屈彦超)3月16日消息,OPPO今日宣布将于3月21日下午两点发布其全新旗舰手机OPPOFin...
2023-03-16
相关阅读
-
报道:陈巍:GPT-4究竟会展现出怎样的能力?
中新经纬3月16日电题GPT-4究竟会展现出怎样的能力。能看明白图梗的大型多模态模型。其中GPT是生成式预训...
-
李彦宏展示百度 “文心一言”文学创作、数理推算等五大场景能力
【TechWeb】3月16日消息,百度于北京总部召开新闻发布会,主题围绕新一代大语言模型、生成式AI产品文心...
-
纸黄金怎么交易开户?纸黄金开户需要多少钱?
纸黄金怎么交易开户?纸黄金是一种个人凭证式黄金,是继贵金属黄金后的一个新的投资品种,投资者按银行报...
-
东风加速新能源平台建设,S2-E平台首台CTC样车下线|环球精选
东风加速新能源平台建设,S2-E平台首台CTC样车下线3月16日,据东风汽车官微消息,东风汽车S2-E平台首台C...
-
银行现行利率是什么意思?银行现行活期存款利率是多少?
银行现行利率是什么意思?银行现行利率是指目前在一定时期内银行借贷的利息与本金的比率,通常用百分比表...
-
买基金赚钱吗?基金1000块一天赚多少?
买基金赚钱吗?基金有赚钱的可能,也有亏钱的可能,基金涨跌由投资标的决定,投资标的上涨,基金上涨,投...
-
国华保险是国家正规保险公司吗?国华保险公司排名第几?
国华保险是国家正规保险公司吗?国华保险是国家正规保险公司,国华保险是由中国保险监督管理委员会批准设...
-
民营企业是什么意思?民营企业和私企有什么区别?
民营企业是什么意思?民营企业,简称民企、公司或企业类别的名称,是指所有的非公有制企业。中华人民共和...
-
余额宝体验金是什么回事?余额宝体验金收益怎么提现出来?
余额宝体验金是什么回事?余额宝体验金是支付宝为了吸引用户而推出的,其主要针对的是没有开通余额宝的用...
-
微信支付密码怎么改?微信支付密码手势怎么设置?
微信支付密码怎么改?进入微信我的服务页面选择钱包进入支付设置选择修改支付密码输入原始密码依次输入新...
-
退市的股票怎么办?股票退市多久可以重组上市?
退市的股票怎么办?股票退市后,股民的处理方式如下:1、重组后再上市:如果上市公司主动退市,股东可以...
-
股票名称前加xd是什么意思?xd当天买入股票好吗?
股票名称前加xd是什么意思?股票名称前加XD是什么意思?股票名称前加XD,表示股票除息,购买这样的股票后...
-
投资理财哪个银行好?投资理财代中间业扣款是什么?
投资理财哪个银行好?中国银行、中国建设银行、中国工商银行、中国农业银行、交通银行这五大银行理财产品...
-
补发养老金是怎么回事?哪5年退休的补发养老金?
补发养老金是怎么回事?1 养老金计发基数调整后补发养老金所谓养老金计发基数,其实是计算基础养老金和...
-
交行分期利率多少?交行分期如何提前还款?
交行分期利率多少?1、交行信用卡分期的手续费率按金额计算。 500元以上,每月0 72%;6500元以上,每月0...
-
邮政银行个人贷款需要什么条件?邮政银行个人贷款利率是多少?
邮政银行个人贷款需要什么条件?一、基础资料贷款申请表;身份证(包括配偶)复印件;户口薄复印件婚姻证明复...
-
小孩适合买哪种保险?小孩有没有必要买重疾险?
小孩适合买哪种保险?1 少儿医保:属于最基本的保障,具有一定的福利性质,而且从孩子出生当天起的医疗...
-
跨省汇款一般多久到账?跨省汇款手续费多少?
跨省汇款一般多久到账?跨行跨省转帐一般2小时内可到达收款人账户,但须在银行的营业时间内完成。若是在1...
-
视点!交五险如果中途辞职怎么办?五险具体指什么?
1、申请社保卡退卡或注销社保卡。 2、到社保所在地社保局办理社保关系转移或个人社保账户注销手续。 3、...
-
【世界热闻】银行养老金账户什么意思?有哪些开户条件?
银行养老金账户是指在中国银行业监督管理委员会规定的银行机构开立的专门用于存储养老金资金的账户。个...
-
国华人寿终身寿险3年到了钱能取出吗?能取多少钱?
是能取出来的,而且我们可以通过两类渠道来提前取出钱,其一,是通过跟国华人寿保险公司提交退保申请,...
-
医疗保险怎么交在手机上?断交有什么影响?|即时看
1、首先登录微信,点击我的菜单栏。2、在我的菜单栏中找到城市服务,点击进入。3、在城市服务里面找到社...
-
企业养老账户里的账户余额是指什么?怎么查询?
就是我们缴纳职工养老保险之后的个人账户的累计额度,是按照职工缴纳的社保养老费用总额+部分企业缴纳的...
-
小杨哥、罗永浩带货,有千万乃至过亿粉丝也翻车,网红不能无底线消耗个人信用_当前关注
央视“3·15晚会”曝光了直播带货背后的畸形水军市场,还直指主播上演苦情戏坑骗老年人购买假保健品。这...
-
二手iPhone为何仍然很香?揭秘苹果手机的回收和翻新
二手iPhone11。凤凰网科技讯北京时间3月16日消息,如今,以旧换新已经成为了苹果等手机制造商和运营商降...
-
蓝色光标首获数字人国家重点研发计划项目
证券时报e公司讯,近日,“十四五”国家重点研发计划项目“实时高逼真孪生数字人关键技术研发与应用示范...
-
资讯:印度人不爱便宜手机了?小米是这么丢掉市场头名的
小米印度门店。三星电子在印度这个全球第二大手机市场上反超了小米。高端化趋势
-
九山顶景区被315曝光后回应:已更换兜裆式安全带
据凤凰网消息,3月15日晚,针对2023年“3·15”晚会上曝光的景区高
-
开通个人养老金账户有什么弊端?能买哪些产品?_世界观天下
开通个人养老金账户需要注意到下述的三大点弊端问题:其一这个个人账户的资金是不能随意提前支取的,全...
-
城乡居民养老保险交多少钱?选择什么缴费档次比较好? 环球要闻
不同地区是有不同的居民养老保险缴费档次的,年交保费的范围在每年100元到6000元之间,一般可以分为十多...
精彩推荐
阅读排行
精彩推送
- 百万医疗和意外险哪个比较重要?...
- 现在的社保要交多少年?交社保可...
- 每日短讯:社保个人交多少?需要...
- OPPO Find X6系列官宣3月21日...
- 【天天新视野】苹果并不是ChatGP...
- 欢聚发布2022年Q4及全年财报: ...
- 国家网信办:从严惩处涉网暴账号...
- 将于年内发布 全新雪佛兰探界者...
- 重疾险和意外险一年多少钱?有什...
- 平安百万医疗险一年交多少钱?哪...
- 环球热文:哪家的百万医疗险最好...
- 环球快资讯:重疾险分组和不分组...
- 买了百万医疗险还需要买意外险吗...
- 美年健康1至2月营收同比增长44%...
- 瓜子宣布升级为第三方平台
- 自动驾驶初创公司Gatik与美国零...
- 成立仅一年!蔚来旗下保险公司被...
- 拒绝内耗,小鹏汽车营销体系大变...
- 美国国债是什么意思?我国为什么...
- 广发卡积分兑换在哪里?广发卡积...
- 贵金属现货是什么意思?贵金属现...
- 苹果24期免息分期有什么要求?苹...
- 快捷支付解约交易是什么意思?快...
- 银行保险存款六年可靠吗?银行保...
- 辞职后养老保险怎么办?养老保险...
- 股票短线是多少天?股票短线选股...
- 无抵押贷款是真的吗?无抵押贷款...
- 贷款治病银行会贷吗?贷款治病需...
- 美国印钞票是哪个部门负责?美国...
- 异地医疗保险怎么报销?可以转移...