我在 iPhone 上装了 70 亿参数大模型,来自陈天奇团队最新成果
2023-06-04 14:06:48来源:ZAKER科技
跑大语言模型的门槛,已经降低到一部 iPhone 了。
当然安卓版本也有,只要手机 RAM 够 6G,听上去是不是比用 2060 还要震撼?
(资料图片)
而且这次还是开箱即用的版本!
这个项目名为 MLC LLM,与之前的 WebLLM 同出自知名学者陈天奇团队。截止目前已在 GitHub 上斩获超 6800 星。
目前可以测试的模型有羊驼家族(基于 LLaMA)的 RedPajama 和 Vicuna。可选模型参数分别为 30 亿和 70 亿,与很多在线 Demo 规模也相当了。
RedPajama 团队表示,这一成果打开了大模型私有化部署的可能性。话不多说,快来看看体验如何。文字功底尚可,但理科是短板
我们选择了其中的 Vicuna 模型进行测试。
首先测试一下它的文学造诣,于是让它为四个季节分别写了一首诗。
韵律吗,基本上是两三句一押。
除了诗歌,故事也能创作,甚至还能写出内心戏来。不只是爱情,其他类型的故事也难不倒它。除了文学上的应用,我们不妨再来试试它的实用功能。我们让它生成了一道夏威夷披萨的菜谱,看上去还蛮不错。
旅游计划也可以让它来安排。我们再来看看它在理工科上的表现怎么样。首当其冲的是代码,我们让它尝试用 Python 写了一段寻找最大数的代码。
想不到上来就是一通枚举……不过结果倒也是符合要求。def max_of_three ( num1, num2, num3 ) :
if num1 > num2 and num1 > num3:
return num1
elif num2 > num1 and num2 > num3:
return num2
elif num3 > num1 and num3 > num2:
return num3
return None
num1 = 11
num2 = 45
num3 = 14
max_value = max_of_three ( num1, num2, num3 )
print ( "The maximum value is: ", max_value )
不过遇到稍难的问题,它的编程能力就有些捉襟见肘了。至于数学和逻辑推理则一言难尽,不过毕竟为适配手机参数有限,倒也情有可原。我们还试了试用中文进行提问,但发现目前对中文的适配还有些问题。另外,移动 APP 目前还不具有保存聊天记录功能,切出界面时一定要小心小心再小心。虽然目前能在手机上跑的大模型能力还有限,但团队也展示了未来更多发展方向。
比如为用户定制模型并与云端公共基础模型交互、提供离线支持、App 嵌入、去中心化等等。
如何安装这款大模型支持 iOS、安卓移动设备,以及 Windows 和 Mac
iOS 用户可以先安装好 TestFlight,然后从下面的传送门申请测试:
传送门:https://testflight.apple.com/join/57zd7oxa
如果名额已满,也可以用 GitHub 上的代码自行编译安装
传送门:https://github.com/mlc-ai/mlc-llm
传送门:https://github.com/mlc-ai/binary-mlc-llm-libs/raw/main/mlc-chat.apk
桌面用户请参阅官方教程:
传送门:https://mlc.ai/mlc-llm/
责任编辑:hnmd003
相关阅读
相关阅读
-
我在 iPhone 上装了 70 亿参数大模型,来自陈天奇团队最新成果
跑大语言模型的门槛,已经降低到一部iPhone了。当然安卓版本也有,只要
-
这些电子产品彻底消失了,我很怀念它们
在「AI」、「虚拟现实」、「智能电车」等新鲜词语不断刺激着我们视觉神
-
【环球报资讯】剑桥、腾讯 AI Lab 等提出大语言模型 PandaGPT
品玩6月4日讯,据机器之心报道,来自剑桥、NAIST和腾讯AILab的研究者近
-
防癌保险和重疾险区别是什么?选哪个好?
防癌险是专门针对癌症所提供的保障,如果不幸患上了原位癌或者是恶性肿
-
人保寿险美满金生年金保险可靠吗?保障有哪些? 天天百事通
可靠。人保寿险美满金生年金保险作为中国人民保险公司旗下的一款养老保
-
焦点速看:华夏财富宝养老年金保险c款可靠吗?保障有哪些?
可靠。首先,华夏财富宝是由中国银行控股的公司,其在金融领域拥有丰富
-
每日热讯!阳光人寿保险公司排名第几?优点有哪些?
阳光保险集团在几个不同的排行榜中获得了不同的排名。在2017年9月发布
-
儿童重大疾病保险有必要买吗?怎么买合适?-热闻
看大家的经济情况,如果经济允许是有必要购买的,但是经济紧张则没有必
-
刘慈欣自曝用ChatGPT写发言稿,夸赞ChatGPT写的也挺好
据老板联播报道,近期,刘慈欣在做客俞敏洪直播间时表示,ChatGPT肯
-
中国星辰 | 210秒回顾航天英雄凯旋回家之路!
据中国载人航天工程办公室消息,北京时间2023年6月4日7时9分,神舟十五
-
全球快报:忘掉苹果手表吧:华为 Watch Ultimate 击败苹果,推出改变游戏规则的新功能
近日,美国著名杂志福布斯对华为WatchUltimate非凡大师进行了几周的深
-
天天速读:小米 /Redmi 这款手机力压苹果旗舰 成为 618 最热手机!
【手机中国新闻】此前,在5月31日晚间8点,2023年的618大促全面开启。
-
每日播报!美军无人机在 AI 指示下杀死了自己的人类操作员?假的!
初始的故事是这样的:在一个虚拟的任务中,一个给美军无人机配置的人工
-
OpenAI、谷歌双标玩得溜:训练大模型用他人数据,却决不允许自身数据外流_快资讯
机器之心编译编辑:杜伟、梓文你的就是我的,我的还是我的。在生成式AI
-
OpenAI 员工与友商玩起提示词决斗!网友:居然能靠大模型的情商增强推理能力 每日信息
大模型天花板GPT-4和最强竞品Claude,不光商业上竞争激烈,两家公司的
-
快资讯丨云南美食顶流,一年只能吃一季
鲜花宴之于云南,大概就像今天的烧烤之于淄博。作者|郑依妮题图|《去有
-
谷歌演示文稿应用 Slides 引入 AI 生成图像功能_快资讯
品玩6月4日讯,据9to5google报道,谷歌近日宣布将为GoogleSlides引入AI
-
美军无人机在 AI 指示下杀死了自己的人类操作员?假的! 焦点速讯
初始的故事是这样的:在一个虚拟的任务中,一个给美军无人机配置的人工
-
今年 618,注定是试剂|天天观焦点
图片来源@视觉中国文|孟永辉在化学当中,我们通常会用试剂来检测一件物
-
开放第三方 App 商店?苹果 WWDC23 将有哪些惊喜看点 每日热点
WWDC全球开发者大会作为苹果年度盛会之一,往往会发布不同设备的操作系
-
世界即时:2023广东高考考前提醒
✉特别提醒✉1、广东省普通高考各考点统一实行二次安检,分别在考点考
-
环球看热讯:保险公司赔偿人伤有哪些费用?需要哪些材料?
保险公司会承担您因意外受伤所产生的医疗费用,包括急救费、住院费、手
-
世界最资讯丨车出了事故保险公司怎么赔偿?能赔多少钱?
发生交通事故后,应立即向当地公安交通管理部门报案,并在48小时内通知
-
100元学生意外保险赔偿标准是什么?怎么申请理赔?_天天快资讯
意外身故或伤残赔3万保额。如果投保人在意外情况下不幸身故或者失去了
-
保险公司赔偿不满意如何处理?流程有哪些? 即时焦点
投诉:被保险人可以向保险公司投诉,要求重新核定损失金额并进行理赔。
-
百万医疗可以随时停吗?一年要多少钱? 天天速看
可以,但这样做可能会造成一定的影响和损失。首先,如果客户中断百万医
-
世界要闻:首都功能核心区传统地名保护名录新增500多处传统地名
在首都功能核心区传统地名保护名录2022年公布的名单基础上,北京目前已
-
谷歌演示文稿应用 Slides 引入 AI 生成图像功能_环球快报
品玩6月4日讯,据9to5google报道,谷歌近日宣布将为GoogleSlides引入AI
-
环球热消息:索尼发布全画幅可换镜头遥控云台电影机 ILME-FR7 新版固件 Ver.1.10
2023年5月31日,索尼推出全画幅可换镜头遥控云台电影机ILME-FR7的新固
-
大多数勒索软件活动源自三条常见的初始攻击途径 天天观察
大多数勒索软件攻击者使用三种主要的攻击途径之一来攻陷网络,并获得访
精彩推荐
阅读排行
精彩推送
- 索尼 CEO 称云游戏仍面临巨大...
- 游戏江湖二八分化:前十厂商挣了...
- 今年以来拉萨市免征新能源汽车车...
- 人文之美蕴涵发展之力
- 社会保险金是五险一金吗?要交多...
- 百万医疗多大年龄可以买?要交多...
- 投保人和被保险人是一个人吗?两...
- 百万医疗险咋买?买了百万医疗多...
- 买了两份保险可以一起赔付吗?有...
- 一款抗癌药10年卖了百亿,贝达药...
- 安全顺利出舱!“感觉良好”×3...
- 开放第三方 App 商店?苹果 W...
- 概念之外,“元宇宙”的未来在哪...
- 天天看热讯:端午机票比五一便宜...
- 刺激预期提升,A 股走强|世界信息
- 环球百事通!防“烂尾楼”!广西...
- 世界今日讯!车辆全保险多少钱一...
- 全球观热点:百万医疗条款有哪些...
- 【世界新要闻】乐享百万医疗保险...
- 养老年金险是什么保险?怎么买最...
- 医疗保险和养老保险一个月多少钱...
- 天天视讯!有色冶金技术(关于有...
- 新资讯:中方回应美防长香会发言...
- 环球观天下!三个月赚 20 亿,...
- 焦点热讯:B 站,艰难的平衡
- 这家大型银行,要关闭 21 家分...
- 今日快看!首套房利率调整“管热...
- 每日速讯:年金保险的定义是什么...
- 天安逸享人生年金保险条款是什么...
- 天天热点评!天安人寿逸享人生年...