再登第一!天玑8300连续两个月成性能榜霸主,神U实力同档无敌!
根据最新一期的安兔兔性能榜单,OPPO Find X7通过搭载天玑9300芯片的出色表现,在旗舰手机性能榜上傲视群雄,荣登榜首。与此同时,所有搭载天玑9300芯片的终端机型也均在该榜单中占据了一席之地。这一结果再次印证了天玑9300“旗舰芯皇”的称号并非空穴来风。在次旗舰手
更新日期:2023-09-18
来源:系统之家
AI时代,如何用好大模型是当前各行各业瞩目的焦点。向量数据库作为大模型“记忆体”,不仅能够为其提供数据存储,而且能通过数据检索、分析让大模型进行知识增强,成为生成式AI应用开发新范式的重要组成部分。
用图片搜索图片或者文本搜索文本时,在数据库中存储和对比的并不是图片和视频片段,而是通过深度学习等算法将其提取出来的“特征”,“特征”提取的过程称为 Embedding,提取出的“特征”用数学中的向量来表示。向量化的目的是为了通过向量相似来进行非结构化数据的检索,向量化后的数据才能够被AI模型更好的理解使用。向量数据库就是用于生产、存储、索引和分析来自机器学习模型产生的海量向量数据的数据库系统。其典型应用场景比如:基于大语言模型的智能客服、基于企业知识库的问答以及Chatdoc等工具应用。
火山引擎向量数据库技术演进之路
●存算分离的分布式架构搭建
在抖音集团内部,早期的向量化检索引擎是围绕搜索、推荐、广告业务来构建的,由于这些业务天然具有极大的数据规模,因此从一开始,就需要思考如何在向量索引中支持百亿数据的检索需求,比如图虫拥有几亿图片素材,数量规模早已超出单机内存的极限,举个例子,对于1亿条128维的Float向量,不考虑任何辅助结构,就需要100000000 * 128 * 4 bytes 也就是约48GB的服务器内存。
研发团队设计了一套存算分离的分布式系统架构,来进行向量数据的分片和分布式编排,通过向量存储、批式构建和实时在线检索,解决一份向量多个索引、支持多个场景的问题,同时,还能够节省索引构建资源,加快索引构建,使在线检索服务稳定性得到明显提升。对于用户来讲,在抖音上搜索内容则会又快又准。
●计算内核性能优化
构建一个企业级的向量检索应用,数据量可能超过亿级,延迟在10ms内,要求用起来更快、更稳,所以在计算框架搭建好之后,也必须关注其内核,如何提供高性能的向量化检索服务以满足业务的苛刻需求。由于向量化检索是典型的计算密集、数据密集场景,其优化方向主要围绕提升吞吐、降低服务成本、提升稳定性开展。通过一系列性能优化工作,如降低内存占用、优化索引性能、CPU指令集计算优化、优化过滤和重排序等业务相关的计算过程,这套架构可以很好解决各类业务场景的离线和在线检索计算需求,相同检索精度下的吞吐和时延相比开源基线有了3倍以上的改善,且满足大规模线上业务的稳定性要求,因此被抖音集团大量业务采用。
但因为每个索引搭建一套集群的成本较高,且存在配置复杂等问题,研发团队又对框架进一步迭代,进行云原生改造,实现组件多租户化,提供自动化调度能力,以降低错误率,加快交付。
●向量标量混合检索能力
向量数据库用于业务场景时,向量数据通常与结构化数据配合使用,例如,在将文档表示为向量的同时,还需要存储文档所属的部门,以方便在检索时进行权限过滤。这类需求可以抽象为使用与向量相关的结构化数据进行过滤,业界通常有两种解决方案:一是后过滤,将排名top的K个结果扩大一定倍数,检索出更多的向量,然后用结构化数据做过滤,留下topK个,这种方法适用于结构化过滤掉的比例较低,向量召回结果比例较高的场景;二是先过滤,先使用DSL过滤数据集,然后在结果集中进行向量排序,适用于DSL过滤结果较少的场景。
随着数据量的增加,这两种检索链路的性能各有适用的场景,但如何在执行时自动找到最适合的执行路径呢?为此,技术团队又研发了DSL定向引擎,支持在检索过程中同时进行向量检索和DSL过滤(结构化过滤),具有高性能、逻辑完备、可按需终止和执行计划优化等特点。在混合查询性能对比行业评测中,该向量数据库的无过滤吞吐、1%过滤吞吐和99%过滤吞吐多项性能均排名第一。
●帮助大模型知识库更快落地
大模型应用场景的不断拓宽,催生了向量数据的存储、检索需求。将企业自身数据转化为向量数据时遇到不少困难,如何帮助业务选择开箱即用的向量化模型,也影响到大模型应用的落地速度。技术团队在知识库、生成式AI素材管理等场景,开始尝试提供预设的向量化方法以供业务选择。大多数业务只需要选择一个适合自身数据的向量化方法,即可用原始数据直接写入向量数据库,并用相同的模型将请求数据转换为请求向量进行查询。
●向量数据库技术全景
经过长期的内部探索和优化,抖音采用的向量数据库产品结构如下图所示:基于云基础设施,提供经过深度打磨和优化的各个引擎,提供从多模态数据写入,到向量生成,再到在线检索,以及上线后的弹性调度和监控的一整套全链路解决方案。
火山引擎向量数据库的场景化落地实践
经过抖音集团内部的技术实践,向量数据库目前已经覆盖50+的业务线,基本支撑了内部所有的向量检索场景,比如抖音、头条、懂车帝、图虫、火山引擎Oncall智能问答和剪映等,主要的业务场景包括智能搜索、AIGC跨模态检索、推荐和去重、智能问答、相关排序、聚类分析和数据挖掘等,并且多个场景库规模达百亿级别。
下面以图虫和火山引擎Oncall智能问答为例,展示向量数据库的应用实践。
●智能搜索场景——图虫的以图搜图
图虫提供了以图搜图的能力,致力于为用户提供正版素材内容及数字资产管理解决方案。目前,图虫创意在库图片量4.6亿、高清视频超2000万条,每天有大量用户来搜索、查询图片和视频。亿级海量数据对向量检索服务能力提出更高要求,业务如何灵活的设置分片,当数据量大幅增加时又如何避免重新部署集群,加快索引构建、节约资源。
解决方案是提供端到端的图片搜索能力,流程是先将图片源数据上传到向量数据库,把图片数据进行向量化、存储并形成向量索引,然后,用户将要搜索的图片上传,上传后向量化,向量化的图片与向量数据库进行向量检索比对查询,获取相似度最高的结果,返回给用户。
●企业知识库场景——火山引擎Oncall智能问答
火山引擎Oncall智能问答能够辅助一线客服、提供客户问题回复参考。火山引擎官网每天会收到大量的客户售后进线,高峰时段人均要并行受理多个问题,需要能够快速排查并且给出客户反馈。对于工程师来讲,面对众多技术门槛较高的产品,要进行快速理解和判断,难度较大。
解决方案就是,将火山知识库文档和数据通过向量特征提取,然后存储到向量数据库中,应用LLM大语言模型与向量化的知识库检索和比对知识,构建火山引擎Oncall智能问答,可以让聊天机器人的回答更具专业性和时效性,构建专属Chatbot。未来,火山引擎Oncall的FAQ知识将持续沉淀,知识库持续完善,同时还能提供大模型训练数据,处理大量客户咨询问题,实现机器人自动生成回复结果。
如今,向量数据库已经成为整个大模型生态的基础设施,支撑着大模型在业界的推广和应用。火山引擎向量数据库技术经过抖音等业务的实践打磨,已经对外开放,赋能千行百业,加速AI大模型落地应用。未来随着新的应用场景的出现,向量数据库还将持续创新,提供更加灵活和多样化的功能,满足不同用户的需求。(作者:程峻熙)
再登第一!天玑8300连续两个月成性能榜霸主,神U实力同档无敌!
根据最新一期的安兔兔性能榜单,OPPO Find X7通过搭载天玑9300芯片的出色表现,在旗舰手机性能榜上傲视群雄,荣登榜首。与此同时,所有搭载天玑9300芯片的终端机型也均在该榜单中占据了一席之地。这一结果再次印证了天玑9300“旗舰芯皇”的称号并非空穴来风。在次旗舰手
存储产业链迎来复苏,中国存储企业江波龙联合元成苏州打通全线业务
在 5G、云计算以及 AI 等新兴产业快速发展背景下,半导体存储芯片具备广阔的市场空间。而存储芯片的核心集成电路包括芯片设计、制造、封装和测试几个环节,随着半导体技术日益成熟,各个环节目前已分别发展成独立成熟的子行业。存储企业竞争激烈,江波龙脱颖而出如果将
三星Galaxy Z Flip5:以颠覆性的技术革新和用户体验赢得青睐
在不久前过去的2023年中,折叠屏机型依然延续了近几年的强劲增长势头,成为了智能手机市场逐渐回暖的一股重要力量。纵观去年各大厂商推出的折叠屏新品,设计的成熟度和功能的全面性都在不断提升。特别是身为折叠屏开创者和引领者的三星,推出的第五代折叠屏产品再次彰显
新年应该怎么玩?来中国移动,解锁专属新年大礼!
新年的钟声即将敲响,这个黄金假期怎么过?是与家人来一场说走就走的新春旅行,奔赴山川湖海、日月星辰的浪漫;还是与亲友聚会,在烟火星辰下共享团圆家宴。而无论你选择哪种方式庆祝春节,最重要的是与家人在一起度过最美好的时刻。今年,不妨让我们打破常规,一起探索新
英语听说必备三大核心力,阿尔法蛋AI听说宝D1一站配齐!
谈起英语听说练习,很多家长都十分头疼,比起读和写,能完全听懂英语,并且能说一口流畅的口语显得更为难得。家长也认为,孩子掌握了听说能力,才是真正学会了英语。今天就看看英语听说必备的三大核心力,用阿尔法蛋AI听说宝D1可以一次性掌握,能达到这个程度,那英语学习提升就
学生党福利来袭 三星Galaxy手机寒假好价 乐购盛惠
伴随着各大高校的放假通知,忙碌了一年的莘莘学子也迎来了属于自己的悠闲长假。在这个漫长的假期里,除了学习时间外,不论是享受个人独处时光,还是拜年走亲访友都离不开一部性能强劲的手机陪伴在左右。时下,三星商城开启了“寒假好价 乐购盛惠”活动,只需完成学生身
RTX 40 SUPER系显卡神搭好物盘点,华硕电源霸榜来袭!
近日,随着RTX 4080 SUPER显卡的正式登场开售,全新一代RTX 40 SUPER显卡阵容也完整展现在了玩家面前。强劲性能表现无疑是游戏玩家们的至高追求,而适配的高品质电源,则是畅爽电竞的前提条件。对此,来自华硕的数款高品质电源装备,显然是DIY的必备之选。ROG雷鹰AURA 1
新年新气象 三星Galaxy S24龙年赠礼更有“AI”
农历龙年的脚步越来越近,年节赠礼,贵在圆满,如果能够表达出一份特别的新意,更是锦上添花。全新发布的三星Galaxy S24拥有时尚精致的外形和性能出众的硬件配置,无论是赠予亲友还是犒赏自己,都是一款令人惊喜满满的新年礼物。加上由Galaxy AI带来的一系列创新应用,
2024年FFALCON雷鸟新品发布会:ACE计划·新征程
2024年伊始,科技圈热闹非凡。华为、小米等大厂纷纷召开新品发布会,展示自家最新科技成果,打响了开年第一枪。然而,在这股“高大上”的发布会潮流中,FFALCON雷鸟却选择了一条不同寻常的路,没有炫目的灯光,没有豪华的排场,就在直播间里以「ACE计划·新征程」为主题
2024春晚直播怎么看?当贝D5X看春晚直播超方便
在这辞旧迎新的时刻,我们除了与家人团聚,还能感受到浓厚的年味,其中最让人期待的莫过于观看春晚了。2024年央视春晚的主持人和节目单暂时还未官宣。不过路透已经有众多明星齐聚一堂了,让人们对春晚的期待值达到了顶峰。那么,如何观看2024年央视春晚直播?还有各家地
Wi-Fi Alliance总裁兼首席执行官Kevin Robinson:Wi-Fi 7有望迅速普及,超越前代技术
C114讯 1月31日消息(刘定洲)2024年1月8日,美国消费电子展(CES 2024)前夕,备受业界瞩目的Wi-Fi CERTIFIED 7(Wi-Fi 7认证计划)正式推出。这意味着Wi-Fi 7设备正式进入认证和上市销售阶段。博通、康普、英特尔、联发科等全球网络大厂均表达了对Wi-Fi CERTIFIED 7的强烈支
强势进化掌控未来,华硕天选X 2024预售开启!
作为华硕旗下知名电竞产品,无论是笔记本还是台式机,华硕天选系列一直以来都广受许多玩家关注。为迎合广大用户畅爽舒适的游戏体验需求,新一代华硕天选 X 2024高性能电竞台机已于2024年1月29日在京东开启预售。此次升级的华硕天选X2024电竞台式机,为玩家提供两种规格
随享春节假期,三星The Freestyle见证新年欢聚时刻
春节近,年味浓。新春佳节欢庆时刻,全家齐聚一堂,一台高品质投影仪或可用璀璨光影点亮温馨年味。The Freestyle三星随享智能投影仪自上市以来,就颇受年轻消费者的喜爱与信赖,其便携灵巧的外形设计、颇具沉浸感的影音效果与丰富的服务生态,让用户随时随地尽享大屏多
实至名归!追觅科技斩获2023年全球领航者大会“全球年度企业”
近日,在“潮起·奔流——2023全球领航者大会”上,智能清洁电器领导品牌追觅科技凭借卓越的技术实力、产品创新能力和出海竞争力斩获“全球年度企业”大奖,可谓实至名归。据介绍,此次全球领航者年度企业的评选,综合考虑商业模式领先度、技术创新力、市场占有率、行业
过年PS5玩个尽兴!细数适合团圆的“年味儿”游戏
春节临近,大街小巷都弥漫着浓浓的年味,超市里循环的拜年歌时时刻刻提醒着大伙儿,马上就是春节了。想必各位朋友和我想的一样,这兔年的班咱就上到这儿了,我现在一心只想回家过年!说到回家过年,大家脑海里浮现的无非就是走亲访友、聚会唱K,年年都一样。今年就不一样