华为智慧搜索更好用了!上线智慧搜图,用人话就能找出“我的”图片|天天观察
2023-07-03 11:12:12来源:ZAKER科技
搜索引擎的求变信号,比以往任何时候都要强烈。
先是谷歌推出 AI snapshot,让搜索结果不再只是 "10 条蓝色链接 ",还加上了 AI 智能总结;很快百度也把 "AI 伙伴 " 嵌入搜索引擎,通过对话就能得到问题解答。
(资料图片)
对于移动端来说,"内部搜索" 需要也正在同步发生改变。
内部搜索,相比于搜索外部世界知识,是把用户个人信息当成一个巨大知识库的搜索技术。
但无论哪种搜索,对于智能化要求都很高,甚至需要借助千亿参数级别的大模型实现。以从手机中找一张照片为例。以前我们的操作习惯可能是翻个 10 分钟相册,从几百张表情包或是几千张照片中找到想要的那张(甚至找不到)。
但在搭载 HarmonyOS 3.1 的华为 P60 系列和 Mate X3 手机上,现在只需用自然语言描述想找的照片特征,系统就能高效识别、并给出相关图像。
不仅能理解整体语义,如在图库输入 " 山顶看日出 " ——
就连更精细的时间、地点描述也能快速 get 到,如语音唤起小艺搜索 " 去年在长白山滑雪的照片 ":最关键的是,这种堪比大模型语义理解的搜索方式,直接在端侧就能实现,无需将数据上传到云端处理。换而言之,即使手机开飞行模式,这种内部搜索也照样能进行。
所以,这个新出的图片搜索功能究竟有啥特点,率先把它部署到端侧的华为又做了什么?
华为智慧搜图长啥样?
此前,在手机上搜索图片主要有两种方式。
一种相当于 " 换皮 " 的文件搜索,用户不仅得准确回忆起具体时间、拍摄地址等信息,甚至得精确到文件名:
另一种则是依靠分类 AI 做的图像识别功能,但这种搜图也只能通过某些场景关键词描述缩小搜索范围,例如风景、美食、人像等。
显然,这两种方法都还停留在 " 信息匹配 " 阶段,支持的标签数量也有限,一旦搜不出来,最终还是得回到手动翻照片流程上。这是因为,我们不仅习惯用自然语言描述图片内容,而且描述的内容不限定某个名词,还可能是动词、场景、代词等。要想做到搜索 " 记忆中 " 的个人图片,AI 模型不仅得听得懂人话,还要能提取人话中的细粒度标签,并将之对应到图片上。
现在,华为最新的智慧搜图,就很好地实现了这两大功能。
除了可以直接搜名词找图片,还可以用任何短描述词来形容图像,如桌面下拉在智慧搜索中输入 " 奔跑的 ",系统就能自动搜出相册中奔跑的各种人像,快速给出推荐:
如果感觉搜出来的范围还是太大了,还能随时增加信息标签,如 " 奔跑的 " 变成 " 奔跑的小狗 ",立刻就能找到想要的图像:当然,不止能添加一两个标签。如果你想,还可以灵活地细化描述,如加上时间、地点、人物、语义等各种复合标签,像 " 前年冬天和女朋友去内蒙古拍的各种好吃的 " 等。体验过华为智慧搜图后,最直观的感受应该就是 "AI 理解力" 和 "响应速度" 了。
相比传统的文件搜索、或是 AI 图像识别方法,华为智慧搜图主要实现了图片搜索功能的两大 " 跃迁 ":
其一," 人话 " 解读能力。传统图像 AI 往往按 " 时间 "、" 地点 " 等概括词分类,而智慧搜图不仅能单独搜词分类,甚至还能放一起搜,如 " 去年在动物园拍的老虎 " 等。
其二,高效搜索速度。相比动辄翻上十几分钟半个小时的相册,现在无论从桌面下拉智慧搜索、打开图库、或是用小艺语音,都只需要一句话就能搜到想要的图片,系统级地提升了找信息的效率。
虽然听起来只是手机等移动端搜索功能上的一个小突破,然而在华为之前,端侧却没有一个厂商能够解决这个难题。
究竟是什么技术这么难实现?
技术上突破了什么难点?
事实上,无论是大模型的语义理解能力,还是搜索引擎的响应速度,都并非计算资源极其有限的端侧所能承受。
因此,之前大部分搜索引擎和大模型相关 APP 解决 " 上线到移动端 " 的唯一办法,是将模型计算量分配到云端,解决资源不够的问题。
但这势必意味着,数据处理要在云端进行。
具体到技术细节来看,又有三大难点:
其一,压缩多模态大模型并确保精度。这并非简单用剪枝或量化等方法,直接压缩几倍模型大小就能搞定。毕竟对于端侧而言,算力有限的情况下,能部署的模型大小是往往只能达到大模型的几十分之一。
其二,搜索所需功耗随着数据增加逐渐增大。对于端侧搜索引擎而言,面对不断更新的照片、文件等数据,只能将索引重新写一遍,这势必导致大量新的计算开支。
其三,模型更新等面临的云端协同问题。虽然 AI 模型最终部署在端侧,但无论是模型效果迭代、更新,训练还是得在云端进行,最终再下发到端侧,这势必要求厂商同时具备云端两方面的技术。
因此,对于数据隐私极为敏感的内部搜索而言,这两类技术想要布局到端侧上非常难。此前的 " 折中 " 方法,最多也就是将图像分类 AI 这种 " 小模型 " 布局到端侧,实现简单的智能搜图。
所以,华为究竟是如何解决这些难点,同时又最大程度上保留大模型 " 理解人话 " 效果和搜索响应速度的?
简单来说,华为在 AI 模型和搜索引擎两方面,都自研了对应的技术。
一方面,华为专门为端侧自研了轻量级的多模态语义理解模型,能够在不损失精度的情况下,将大模型缩小几十倍。
首先,用多模态语义表征模型将不同模态输入转变为语义向量,结合多模态语义对齐算法模型对齐文本和图片的语义信息,结合华为内部的海量高质量数据,提升召回率。
然后,依靠轻量化部署技术,在端侧实现高精度检索,同时确保数据留在本地,提高隐私安全保护。
另一方面,华为又使用索引分段、定期压缩合并等方式,成功将检索引擎 " 塞 " 进了移动端中。
检索引擎部署到端侧的核心难点,是云侧离线构建索引的方式在端侧无法实现。
为了解决这一问题,华为先通过采用索引分段,减少单次落盘时间,并通过定期压缩合并的方式,释放已删除数据占用的内存 / 磁盘资源,以降低所需的存储空间;
随后,又通过定义索引的格式,将地点、时间等信息作为索引的一部分,快速实现检索条件过滤,并返回和查询语句最相关的结果,相比数据库检索能提升十几倍效率。
△几乎不需要计算时间不过,耗费这么大的技术资源,去实现移动端一个看似很小的 " 搜图 " 功能,华为这样做的目的究竟是什么?
为什么要做智慧搜图?
直接原因当然是手机用户——也就是你我,真的很需要这个功能。
试问谁没有经历过,因为找一张图片而需要化身福尔摩斯展开缜密分析的场景:
" 我上一次看到这张图是什么时候 "、" 它是什么时候存的 "、" 那天我还拍什么了 " ……
但即便根据这些问题思索完,最终也不一定真能找到那张图。
尤其随着大家在手机内存的照片越来越多、种类越来越复杂——不光是记录生活的照片,还有上课拍下的 PPT、网上保存的旅行图文攻略等堆在相册里,手动查找的难度也越来越高。手机系统厂商们早就注意到这个事了。
如自动分类相册、根据标签检索、OCR 检索照片文字等功能,都陆续出现在大家的手机里。
但是这些能力相对而言,灵活性不高、实际效果有限,很多时候也是躺在手机里 " 吃灰 "。
所以,让搜图功能更智能化是目前用户侧真实存在的需求,也直接驱动了华为上线智慧搜图功能。
而深层原因上,还有内外两方面因素驱动。
外因来自于行业方面:搜索功能更拥抱 AI 是大势所趋。
通过行业各种数据的初步验证,让搜索更加智能、高效符合用户当下的需求,能推动行业向前发展。
不过目前覆盖的范围是互联网上的内容搜索,而日常生活中还有另一大搜索场景——端侧搜索,也需要智能化升级。
尤其随着用户在手机 / 电脑本地及个人账户中存储的文件、图片、音频等越来越多,涉及到对个人信息的搜索操作增加,这种升级也变得更加迫切起来。
比如微软在变革必应的同时,也推出了 Windows Copilot,一举替代原本的 " 小娜 "。它们的定位虽是 AI 助手,但也同样覆盖了端侧搜索的应用场景,二者最大的差距便是 Windows Copilot 引入更强的 AI 能力、更加智能化。
总之,无论对内对外,搜索接入更加强大的 AI、向着更智能高效便捷的方向发展,已经是行业的共识。
深层内因:则来自于华为自身。
智慧搜图其实是作为华为智慧搜索战略与蓝图的一部分推出。
所谓智慧搜索,具体来看就是一个一站式聚合入口,实现了手机桌面下拉一下,就能以最快捷的方式,一步直达各类本机应用及信息内容,同时支持全场景跨终端搜索。
它的定位是进行 " 我的 " 搜索。搜索范围是用户在手机端上的各类信息和功能,比如图片文件 APP 等;搜索的目标是智能识别用户的需求,让用户在 " 我的 " 领域内,实现更加快速便捷的操作。
智慧搜索的战略是要实现 "本机搜索 + 生态搜索 + 全场景搜索"。
这三者联通,便能覆盖所有 " 我的 " 搜索。
其一,本机搜索是指本机应用搜索、图片搜索、文件搜索(含云端文件)、搜设置项、搜备忘录等。
比如最新升级版本中,智慧搜索下拉即搜华为云空间的云盘文件,只需输入文件名称关键词就能开始搜索,范围包括自己存入云盘的本地文件、微信 /QQ 保存的文件等。
前文提到的智慧搜图,也在这一范畴内。此外还能智慧搜索备忘录,如采购清单、密码账单、朋友生日等等零碎信息,如果在记录时没有对内容进行分类的话,想要再查看之前记录的文稿十分费事。现在智慧搜索能帮人省去这一步了。其二生态内容搜索,包括搜服务及网页内容、旅游出行、本地生活、音乐视频、购物等。
尤其是购物方面,能聚合全网精品商品,提供与 " 我 " 相关的购物服务。
其三则是全场景搜索,即跨设备搜索。
HarmonyOS 将手机、电脑、平板等设备之间壁垒打通,形成了一个 " 超级终端 "。
在登录同一帐号情况下,用户在 PC 端点击华为电脑桌面任务栏控制中心内搜索图标,或使用快捷键 Ctrl+Alt+Q,可快速检索手机、平板内的文件。包括文档、应用、图片、视频等,并支持选择不同类型文件进行快捷预览。
通过整合 " 软硬芯云一体化 " 技术,端侧预置 AI 模型的加持,保障跨端搜索也不会有延迟感。总之,无论是从最基本的用户层面,还是行业层面、华为自身,都在推动操作系统将端侧搜索体验进一步升级。由此也就不难理解华为为什么要上线智慧搜图功能。
尤其是当下,手机操作系统经过十余年发展,在功能、内容、生态上的搭建都已经相对完善,接下来的升级和迭代一定是朝着更加细微处发展。
这些细小的升级和改变,更加润物细无声,往往让人在使用了很久后不得不感慨一句:真香。
如果从更加宏观的角度来看,这些细微功能的升级和改变,还能把人机交互体验 " 卷 " 向一个新的水平和高度。
从华为的动作里可以看到,它们选择了端侧搜索作为切入口之一,由点及面带来改变。
智慧搜图的出现,更像是一个 " 序章 ",后面隐藏着华为对智慧搜索、手机系统、乃至人机交互的无限想象。
AI 升级端侧,从搜索看起
不仅仅是华为。
一方面,从AI 技术落地场景来看,本机搜索、甚至是 " 搜图 " 这个特定功能,或许是 AI 技术应用到移动端最容易忽略、又最为重要的方式之一。
当前这波最新的 AI 浪潮,正在飞速改变搜索引擎的交互方式。
正如开头所言,无论谷歌还是百度,都已经投身这场搜索引擎革新,在云侧改变搜索的方式,核心就是让搜索引擎具备自然语言理解能力,更好地认知并理解用户的意图。
但这并不意味着只有云端的搜索引擎会被迭代。
在端侧用自然语言搜 " 内部数据 ",与在云端用自然语言提问一样,是长期以来用户隐秘的刚需之一。随着计算硬件的迭代和算法的优化,AI 用于移动端改善用户体验,也必然成为一种全新的趋势。
另一方面,从人机交互角度来看,这种对内的搜索,不会局限于单一设备,必然是多端互通,形成核心以 " 人 " 为单位,最终完成全局智能化检索的生态。
如今人类对移动计算平台的畅想,已经从 PC、手机逐渐延伸到 VR、AR、智能汽车等新型终端上。
而在这些新型移动计算平台上,交互的形式开始不再局限于一块屏幕,转而变成更加自然的语言、手势交互。
最终在 " 万物互联 " 的前提下,实现多端信息的互通。
总之,无论从 AI 落地应用、还是人机交互趋势而言,搜索都是移动端必不可少的体验改善功能之一。
无论技术趋势如何,华为已经都从移动端侧做好了提升用户体验的准备。
— 完—
点这里关注我,记得标星哦~
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~
责任编辑:hnmd003
相关阅读
-
头条焦点:三星 Galaxy Z Fold 5 现身 Geekbench 数据库,预计 7 月底发布
此前,三星已确定将于7月底在首尔举行GalaxyUnpacked活动,多方消息确
2023-07-03
相关阅读
-
华为智慧搜索更好用了!上线智慧搜图,用人话就能找出“我的”图片|天天观察
搜索引擎的求变信号,比以往任何时候都要强烈。先是谷歌推出AIsnapshot
-
头条焦点:三星 Galaxy Z Fold 5 现身 Geekbench 数据库,预计 7 月底发布
此前,三星已确定将于7月底在首尔举行GalaxyUnpacked活动,多方消息确
-
AI 大战 10 位华西医院医生|每日快看
经济观察网记者瞿依贤您好,麻烦您告诉我您的年龄及性别,以及哪里不舒
-
最新快讯!王兴救兄弟,美团赢麻了
2023年过去一半了,你都完成了哪些目标?对于科技互联网圈上半年的顶流
-
环球即时看!GPT 上车只为人车交互?车企还在憋大招
图片来源@视觉中国文|元宇宙日爆ChatGPT改造汽车的序幕已经拉开,奔驰
-
资讯:消息称部分晶圆代工厂成熟制程已变相降价
据报道,IC设计业者透露,晶圆代工厂已有部分愿意以量换价,协商以特别
-
大厂高管卖房创业:杀入海外语音办公赛道,7 年成亚马逊头部品牌|全球球精选
本文来源:时代周报作者:李馨婷编者按:隐形冠军的概念由赫尔曼西蒙教
-
美国非法扩张域外管辖权严重扰乱国际秩序 焦点速递
一段时间以来,美国大打“规则牌”,突破国际法限制,挖空心思炮制种种
-
呼和浩特武川县突发山洪致1人遇难2人失联
记者从呼和浩特市武川县应急管理局获悉,7月2日中午,呼和浩特市武川县
-
日本核污水排海对韩国影响日益扩大 日韩关系或再蒙阴影
据日本《西日本新闻》2日报道,韩国各地近期反对日本核污水排海呼声强
-
新调整的“三有野生动物名录”公布 新增700多种野生动物 世界信息
记者近日从国家林业和草原局获悉:新调整的《有重要生态、科学、社会价
-
尸检时间应在死后多少小时内?尸检费用大体多少钱?
尸检时间应在死后多少小时内?应当在患者死亡后24小时内完成。死亡病例讨论制度:一 死亡病例,一般情况...
-
定罪免处是什么意思?定罪免处会开除公职吗?
定罪免处是什么意思?定罪免处是指构成犯罪,但免于处罚。刑法规定:对于犯罪情节轻微不需要判处刑罚的,...
-
民间配资是什么?民间配资是否违法?
民间配资是什么?民间配资是合法的民间借贷,由个人或公司与个人直接借贷或公司间借贷。在配资合作模式中...
-
动车组驶上青藏线——青藏铁路西格段动车组投入运营首日见闻
动车组驶上青藏线——青藏铁路西格段动车组投入运营首日见闻,西格,动车
-
焦点快看:今年完成水运建设投资同比增长30.3%
据央视新闻报导,在今天上午的国新办新闻发布会上,交通运输部副部长付
-
股票中什么叫趋势线?股票趋势线怎么看?
股票中什么叫趋势线?趋势线从历史最低点或某个波段的最低点开始画起,依次连接重要的次低点,这条线就是...
-
股改对员工有什么好处?公司上市前必须股改吗?
股改对员工有什么好处?上市前的股改是员工参股的机会,对员工来说是非常好的福利。当然对员工是比较有好...
-
山姆泡面桶已被炒至1999元一桶!山姆超市中国有几家?
山姆泡面桶已被炒至1999元一桶!7月3日消息,一桶泡面遭到疯狂热炒,持续加价到1999元,这场面你见过没?...
-
个人买国债怎么买?10万国债一年多少利息?
个人买国债怎么买?个人可以买国债,但前提条件是需要开通购买国债的账户。电子式国债开通账户后用户可以...
-
全球今日报丨海关查获450个内存条,男子试图走私入境被查
近期,拱北海关闸口海关查获一起旅客试图携带450个内存条走私入境的案
-
reits基金怎么购买?reits基金稳赚吗?
reits基金怎么购买?个人想购买REITS基金有两种交易方式,一是场外交易。如果使用场外基金账户认购,需要...
-
孔子的教育理念偏向经验主义_孔子的教育理念_今日观点
1、孔子的教育理念主要体现在以下几个方面:一、有教无类。2、即人人都
-
动力煤期货是哪个交易所?动力煤期货为什么没交易了?
动力煤期货是哪个交易所?动力煤期货是在郑州商品交易所上市,以动力煤作为标的物的期货品种,交易代码--...
-
世界新消息丨人保金色前程教育年金保险保障什么?可靠吗?
人保金色前程教育年金保险旨在为孩子的教育提供全方位的保障。首先,该
-
年年盈年金保险怎么样?优缺点是什么?
年年盈年金保险是一种特殊的年金保险产品,其主要特点是每年给付一定金
-
最新资讯:尊享岁月养老年金保险是什么?值得购买吗?
尊享岁月养老年金保险是一种专为养老需求而设计的保险产品。通过投保该
-
阳光人寿鸿福齐天年金保险怎么样?值得买吗?
光人寿鸿福齐天年金保险是一款长期积累和分散风险的保险及投资工具,旨
-
农银人寿年金保险可靠吗?有哪些产品?|精彩看点
农银人寿年金保险的可靠性可以从以下几个方面来考虑:专业管理:农银人
-
退市是什么意思?退市后股民手中的股票怎么办?
退市是什么意思?退市是上市公司由于未满足交易所有关财务等其他上市标准而主动或被动终止上市的情形,即...
精彩推荐
阅读排行
精彩推送
- 当前短讯!天眼查联合华为云发布...
- 个人贷款怎么办理?个人贷款10万...
- 46.6万辆!特斯拉二季度交付量超...
- 股改是什么意思?股改后多久可以...
- 人寿车险怎么样好不好?人寿车险...
- 国债逆回购是什么意思?国债逆回...
- 沙金是什么?沙金戴久了伤身体吗?
- 成交量怎么看?成交量绿柱红柱分...
- 当前热讯:科华数据不超14.9亿可...
- 期货门槛需要多少资金?期货5000...
- 全球实时:中物联:6月中国物流...
- 当前关注:这些高校向公众开放校...
- 中证报:资本市场不断释出开放信...
- 腾盛博药授出182.2万份购股权及5...
- 博瑞策生物完成超亿元Pre-A轮融...
- 2023年第三季度贵州省煤矿安全监...
- 环球关注:为扼杀不花钱扒数据的...
- 谷歌 Pixel 8 系列手机曝光:...
- 华硕展示特别版 RTX 4060 Ti...
- 美团收购光年之外,未来何去何从?
- 每日快讯!Apple Car 预计将于 2026 年上市
- 每日时讯!瑞典:人们心目中的“...
- 美股牛市未完!资深策略师:忘掉...
- 这一次收益率曲线倒挂不是灾难?...
- 突然爆雷,股价跌停!A 股 200...
- 为什么几千一晚的民宿突然消失了...
- 股票佣金怎么算?万2.5佣金交易1...
- 林芝市人民医院睡眠医学中心挂牌...
- 西藏下半年全国英语等级考试7月4...
- 卖空机制是什么意思?卖空机制的...