当前观点:3w+ 星标项目大佬创业:树莓派即可运行大模型,已获 GitHub 前 CEO 投资
2023-06-25 13:19:11来源:ZAKER科技
资深开发大佬,终于忍不住自己出来创业了。
(资料图片)
Georgi Gerganov,今年三月曾开源了 llama.cpp 项目,GitHub 上已破三万星标,要知道 Stable Diffusion 也不过 8.8k。
这个项目能让开发者在没有 GPU 情况下运行 Meta 的 LLaMA 模型,即便是在树莓派、MacBook 上运行大模型也通通不在话下 ~
△在 M2 Max 上以 40 tok/s 的速度运行 7B LLaMA甚至还成功吸引了小扎的注意:Meta 也在运行 llama.cpp。
可能由于反响太好,这位大哥决定把背后核心纯 C 语言框架 ggml拿出来创业:原本是几月前的副业项目。
在官宣前这家公司就已经获得来自 GitHub 前 CEONat Friedman、Y Combinator 合伙人 Daniel Gross 的种子前投资。消息一出,众多开发者赶来祝贺。
其中不乏一些坚定的拥护者:ggml 正在将大模型普及到边缘设备。没过多久就有人建议:苹果应该将它收购了。(狗头)llama.cpp 作者创业ggml,是一个纯 C 语言编写的张量库,可帮助开发者在消费级硬件上运行大模型,GitHub 星标数达到 4.4k。
由于加速效果惊人,一下子收获了不少开发者的支持。
By the way,ggml 的 gg 恰好是他名字的缩写。大哥自己的两个上万星标的项目 llama.cpp 和 whisper.cpp 都使用了它。
后者是为 OpenAI 的 Whisper 自动语音识别模型开发的加速方案,可在 Mac、Windows、Linux、iOS、安卓、树莓派以及 web 上运行。△使用 whisper.cpp 在 树莓派上检测短语音命令不少初创公司,比如主打生活搜索引擎的 rewind 都使用了这套解决方案。
还有两个项目同时在终端上运行。
△在单个 M1Pro 上同时运行 4 个 13B LLaMA+Whisper Small 实例根据个人介绍,ggml 张量库具有以下这些特点:
支持 16bit 浮点数;支持整数量化(包括 4 位、5 位、8 位);自动微分;内置优化算法(例如 ADAM、L-BFGS);为苹果芯片设置特定优化;在 x86 架构上使用 AVX / AVX2 Intrinsic;通过 WebAssembly 和 WASM SIMD 提供 Web 支持;无第三方依赖;运行时零内存分配;支持指导型语言输出……
目前这个库以及相关项目都是免费开源,开发过程也全公开;当然也不排除开发授权给一些商业用途的项目。
用 C/C++ 重写神经网络代码
而这背后的开发大佬 Georgi Gerganov 也值得说道说道。
他的个人网站十分简单直接,甩出各种开源项目,除此之外别无其他。可以看出,他是 C/C++ 的狂热爱好者,信仰 Vim。
此前,他曾用 C/C++ 语言重写神经网络推理代码,这样几乎不依赖于其他库,以此提升效率。至于 llama.cpp 也是他一晚上 Hacking 出来的。除此之外,他还有一些有意思的项目。
比如检查键盘是否可以通过麦克风窃听、猜 Hacker News 的标题,Wordle 克隆版等等。
One More Thing
值得一提的是,背后的这两个投资者也有点意思。
他们还专门给创业者提供算力集群,只需在网站上申请即可。这波是在 Next Level 上了 ~
参考链接:[ 1 ] https://ggerganov.com/
[ 2 ] http://ggml.ai/
[ 3 ] https://twitter.com/ggerganov
责任编辑:hnmd003
相关阅读
-
天天热议:三星公布 Exynos Auto V920 芯片规格:集成 RDNA 2 架构的 Xclipse GPU
前一段时间,三星推出了ExynosAutoV920芯片,取代以往的ExynosAutoV9芯
2023-06-25
相关阅读
-
当前观点:3w+ 星标项目大佬创业:树莓派即可运行大模型,已获 GitHub 前 CEO 投资
资深开发大佬,终于忍不住自己出来创业了。GeorgiGerganov,今年三月曾
-
二级响应是什么标准?二级响应要停工吗?
二级响应是什么标准?1、二级响应的标准如下:(1)死亡100人以上、200人以下;(2)紧急转移安置80万人以上、...
-
政府收容教养什么意思?政府收容教养的条件
政府收容教养什么意思?政府的收容教养措施指对于因不满刑事责任年龄而不承担刑事责任的未成年人所适用的...
-
今头条!克宫解释为什么卢卡申科成调停人:他与普里戈任有约20年交情
【环球网报道】当地时间24日,经谈判后,俄罗斯雇佣兵集团“瓦格纳”创
-
泰康年金分红型保险可靠吗?好处有哪些?
可靠。作为中国知名的保险公司之一,泰康保险在行业内具备较高的信誉和
-
观察:百万医疗保费多少?怎么交?
百万医疗保险的保费根据多个因素而定,包括被保险人的年龄、性别、健康
-
国债和年金保险哪个更好些?多久回本?-环球观点
各有各的好处,需要根据实际情况选择。与国债相比,保险公司的年金险具
-
当前报道:平安智赢人生年金保险可靠吗?有什么好处?
可靠。作为中国领先的保险公司之一,平安保险具有雄厚的实力和丰富的经
-
天天即时:意外险是怎么赔付的?多少钱一年?
意外险的赔付流程通常如下:报案和理赔申请:在发生意外事故后,投保人
-
抖音狂飙,美团终于反击,商家:我的平台扣点直接减半|天天热资讯
美团与抖音短兵相接,一场针对B端商家的争夺已日趋激烈。随着抖音凶
-
美国NHTSA对福特探险者召回发起调查
美国NHTSA对福特探险者召回发起调查NHTSA表示,该机构已经收到了两份投
-
特斯拉国产车远销加拿大,助力中国对加EV出口飙升
特斯拉国产车远销加拿大,助力中国对加EV出口飙升盖世汽车讯据外媒报道
-
今热点:端午节期间日均132.1万人次出入境
2023年端午节期间,全国边检机关共查验出入境人员396 3万人次,日均132
-
data.ai:首发牛刀小试,iOS 版 ChatGPT 单月下载量达 500 万次 今日看点
随着人工智能席卷全球,ChatGPT的知名度不断攀升。根据data ai发布的最
-
世界今日报丨苹果 iOS 16.5.1 更新续航缩水,测试称 iPhone 13 受影响最严重
IT之家6月25日消息,据苹果于本周正式推送了iOS16 5 1系统更新,这个更
-
头条焦点:曝小米 14 代号后稷和神农!体验、颜值、徕卡为王
【手机中国新闻】6月25日,数码博主@数码闲聊站爆料称:粮厂迭代新奇迹
-
视频网站创收新方向:YouTube 被曝将加载线上游戏
财联社6月25日讯(编辑马兰)全球视频内容巨头YouTube正在寻找新的财路
-
基金亏了 40%,还能脱坑吗?
文|曹甜编辑|黄绎达基金滞销的寒意传向每位从业者。五月基金发行份额
-
A 股失守 3200 点,市场低迷投资者应如何应对?
端午小长假前的最后一个交易日,沪深三大指数均跌超1%。其中,上证指数
-
环球百事通!泰国和美国两地大量鱼类死亡 或与海洋升温有关
今年全球多地出现异常高温天气,泰国和美国两地近日出现大量鱼类死亡现
-
厨房吊顶的好处与坏处_厨房吊顶原因是什么 每日短讯
厨房和卫生间的天花板不可避免会受到水蒸气的侵蚀,不做好防护处理对日
-
AI+商业|抢先报名!WAIC 2023容联云“数智进化 越级向上”论坛重磅开启-速看
当下AI大潮席卷而来,关于大模型、生成式营销与服务、AIGC商业化演进趋
-
高管离职、IDG事业群收缩,卷入大模型之战后,百度自动驾驶让出C位|每日热门
图片来源:Pixabay在百度卷入国产大模型之战的同时,被李彦宏寄以厚望
-
全球滚动:国华人寿盛世鑫悦年金保险保什么?怎么买?
国华人寿盛世鑫悦年金保险主要保障个人在退休后能够享受到持续的收入。
-
天天热门:债基“回血”,限购令频出,基民体验冰火两重天
文|记者黄宇昆债基市场开始“回血”,基金公司却宣布开启限购。近日,
-
每日时讯!金富跃年金保险保什么?怎么样?
金富跃年金保险是一种长期储蓄型保险产品,旨在帮助个人积极规划退休资
-
即将下架的增额终身寿险有哪些?如何投保? 世界速看
尽管增额终身寿险是一种受欢迎的保险产品,但由于市场需求和经营策略的
-
快资讯丨年金险每年能领取多少?怎么买?
年金险每年能领取的金额取决于多个因素,包括个人的保险合同条款、投保
-
环球动态:人保财险企业年金怎么样?如何查询?
作为中国领先的保险公司之一,人保财险旗下的企业年金产品具有以下特点
-
抖音因人格权纠纷成被执行人,执行标的9108元
天眼查App显示,近日,北京微播视界科技有限公司及张某某新增一则被
精彩推荐
阅读排行
精彩推送
- 陆正耀“复仇”瑞幸
- 17K小说网创始人刘英去世,享年42岁
- 极氪汽车回应极氪X搭载不同厂家...
- 环球聚焦:赛力斯新能源汽车出海...
- 环球观察:宝骏悦也“卫士版”正...
- 交通罚款滞纳金怎么算的?交通罚...
- 开车撞死人判几年?无责撞死人一...
- 结婚证在哪里办?两人在外地可以...
- 警察骂人犯法吗?警察骂人属于什...
- 【报资讯】售价89.9-90.9万元 ...
- 利夫生物完成近两亿元B轮融资
- 当前速读:微视频|大地诗篇
- 天天热议:三星公布 Exynos Aut...
- 世界热资讯!谷歌 Pixel 8 或...
- 热点聚焦:三星 Galaxy S24 ...
- 谷歌推出 AudioPaLM,一款能说...
- 荣耀 X50 手机官宣,7 月 5...
- 天天快消息!北京宝沃生产资质申...
- 当前热点-特朗普“密件案”高度...
- 企业融资是什么意思?企业融资的...
- 视点!构建“景区+村庄”联合机...
- 恒指期货是属于外盘吗?恒指期货...
- 知识产权进校园 保护意识入童心...
- 打通文化惠民服务“最后一公里”
- 推广普通话 共筑青春梦 中国拉...
- 黄金期货怎么开户?黄金期货手续...
- 僵尸企业是什么意思?僵尸企业的...
- 黄金etf可以做空吗?黄金etf和黄...
- 机构开户需要什么证件?机构开户...
- 未确认融资费用是什么意思?未确...