再登第一!天玑8300连续两个月成性能榜霸主,神U实力同档无敌!
根据最新一期的安兔兔性能榜单,OPPO Find X7通过搭载天玑9300芯片的出色表现,在旗舰手机性能榜上傲视群雄,荣登榜首。与此同时,所有搭载天玑9300芯片的终端机型也均在该榜单中占据了一席之地。这一结果再次印证了天玑9300“旗舰芯皇”的称号并非空穴来风。在次旗舰手
更新日期:2024-01-10
来源:系统之家
Vista-LLaMA 在处理长视频内容方面的显著优势,为视频分析领域带来了新的解决框架。
近年来,大型语言模型如 GPT、GLM 和 LLaMA 等在自然语言处理领域取得了显著进展,基于深度学习技术能够理解和生成复杂的文本内容。然而,将这些能力扩展到视频内容理解领域则是一个全新的挑战 —— 视频不仅包含丰富多变的视觉信息,还涉及时间序列的动态变化,这使得大语言模型从视频中提取信息变得更为复杂。
面对这一挑战,字节跳动联合浙江大学提出了能够输出可靠视频描述的多模态大语言模型 Vista-LLaMA。Vista-LLaMA 专门针对视频内容的复杂性设计,能够有效地将视频帧转换为准确的语言描述,从而极大地提高了视频内容分析和生成的质量。
论文主页:https://jinxxian.github.io/Vista-LLaMA/
图 1
技术创新路径
现有多模态视觉与语言模型在处理视频内容时,通常将视频帧转化为一系列的视觉 token,并与语言 token 结合以生成文本。然而,随着生成文本长度的增加,视频内容的影响往往逐渐减弱,导致生成的文本越来越多地偏离原视频内容,产生所谓的 “幻觉” 现象。
Vista-LLaMA 通过创新的方式处理视频和文本间的复杂互动,突破了传统视频语言模型的限制。Vista-LLaMA 的核心创新在于其独特的视觉与语言 token 处理方式。不同于其他模型,它通过维持视觉和语言 token 间的均等距离,有效避免了文本生成中的偏差,尤其是在长文本中更为显著。这种方法大幅提高了模型对视频内容的理解深度和准确性。
图 2
Vista-LLaMA 采用了一种改良的注意力机制 —— 视觉等距离 token 注意力(EDVT),它在处理视觉与文本 token 时去除了传统的相对位置编码,同时保留了文本与文本之间的相对位置编码。EDVT 机制通过特定的函数处理隐藏层输入,有效区分视觉 token 来源。
具体而言,它首先对输入进行查询、键和值的映射转换,接着对查询和键输入应用旋转位置编码(RoPE),分别计算带 RoPE 和不带 RoPE 的注意力权重。随后,根据视觉 token 的存在与否合并这两种注意力权重,通过 softmax 函数实现注意力的归一化,并最终通过基于注意力权重的线性映射更新表示,生成输出结果。这种创新使得多模态大语言模型能够更加关注视频的内容,尤其在复杂的视频场景中,能够有效地捕捉关键视觉元素,提升了文本生成的质量和相关性。
图 3
同时,该模型引入的序列化视觉投影器为视频中的时间序列分析提供了新的视角,它不仅能够处理当前视频帧,还能利用前一帧的信息,从而增强视频内容的连贯性和时序逻辑。
视觉投影器的作用是将视频特征映射到语言嵌入空间,以便大型语言模型融合和处理视觉与文本输入。如图 4 所示,早期的视觉投影器通常使用线性层或查询转换器(Q-Former)直接将帧特征转换为语言 token。然而,这些方法忽略了时间关系,限制了语言模型对视频的全面理解。Vista-LLaMA 中引入了序列化视觉投影器,它通过线性投影层编码视觉 token 的时间上下文,增强了模型对视频动态变化的理解能力,这对于提升视频内容分析的质量至关重要。
图 4
基准测试结果
Vista-LLaMA 在多个开放式视频问答基准测试中展现了卓越性能。它在 NExT-QA 和 MSRVTT-QA 测试中取得了突破性成绩,这两个测试是衡量视频理解和语言生成能力的关键标准。在零样本 NExT-QA 测试中,Vista-LLaMA 实现了 60.7% 的准确率。而在 MSRVTT-QA 测试中达到了 60.5% 的准确率,超过了目前所有的 SOTA 方法。这些成绩在行业中属于先进水平,显著超越了其他 SOTA 模型,如 Video-ChatGPT 和 MovieChat。
图 5
这些测试结果证明了 Vista-LLaMA 在视频内容理解和描述生成方面的高效性和精准性,Vista-LLaMA 能够准确理解和描述视频内容,显示了其强大的泛化能力。这些成绩不仅展示了 Vista-LLaMA 在理解复杂视频内容方面的能力,还证明了其在多模态语言处理领域的领先地位。
数据集:CineClipQA
图 6
与 Vista-LLaMA 一同提出的还有 CineClipQA 新数据集。
CineClipQA 包含了 153 个精选视频片段,这些片段来自五部风格和叙事手法各异的电影。每个片段代表电影情节的一个或多个独特部分,并附有 16 个量身定制的问题,共计 2448 个问题。问题分为系统提示和问题两部分:
● 系统提示提供了当前视频片段中关键角色的基本信息,并在必要时为角色的初始行动提供提示。
● 问题主要分为五类:识别、时间性(预测)、空间性(互动)、意图和感知。具体来说,识别包括地点和行动的问题;时间性涉及下一个行动、之前的行动、同时发生的行动和预测行动的问题;空间性涉及物体与人之间的空间信息问题;意图涉及行动目的地三种相似问题;感知检查情感识别和询问 “如何”(方式、态度等)。
该研究还提供了所有 16 种类型的详细解释和相应案例。在 CineClipQA 数据集中,Vista-LLaMA 也表现出了卓越的性能。
图 7
简言之,Vista-LLaMA 在处理长视频内容方面的显著优势,为视频分析领域带来了新的解决框架,推动人工智能在视频处理和内容创作方面的发展,预示着未来多模态交互和自动化内容生成领域的广泛机遇。
更多详情,请访问项目页面 [https://jinxxian.github.io/Vista-LLaMA]。
关于字节跳动智能创作团队
智能创作团队是字节跳动音视频创新技术和业务中台,覆盖了计算机视觉、图形学、语音、拍摄编辑、特效、客户端、服务端工程等技术领域,借助字节跳动丰富的业务场景、基础设施资源和良好的技术协作氛围,实现了前沿算法 - 工程系统 - 产品全链路的闭环,旨在以多种形式向公司内部各业务线以及外部合作客户提供业界前沿的内容理解、内容创作、互动体验与消费的能力和行业解决方案。
目前,智能创作团队已通过字节跳动旗下的云服务平台火山引擎向企业开放技术能力和服务。(作者:彭傲晴)
再登第一!天玑8300连续两个月成性能榜霸主,神U实力同档无敌!
根据最新一期的安兔兔性能榜单,OPPO Find X7通过搭载天玑9300芯片的出色表现,在旗舰手机性能榜上傲视群雄,荣登榜首。与此同时,所有搭载天玑9300芯片的终端机型也均在该榜单中占据了一席之地。这一结果再次印证了天玑9300“旗舰芯皇”的称号并非空穴来风。在次旗舰手
存储产业链迎来复苏,中国存储企业江波龙联合元成苏州打通全线业务
在 5G、云计算以及 AI 等新兴产业快速发展背景下,半导体存储芯片具备广阔的市场空间。而存储芯片的核心集成电路包括芯片设计、制造、封装和测试几个环节,随着半导体技术日益成熟,各个环节目前已分别发展成独立成熟的子行业。存储企业竞争激烈,江波龙脱颖而出如果将
三星Galaxy Z Flip5:以颠覆性的技术革新和用户体验赢得青睐
在不久前过去的2023年中,折叠屏机型依然延续了近几年的强劲增长势头,成为了智能手机市场逐渐回暖的一股重要力量。纵观去年各大厂商推出的折叠屏新品,设计的成熟度和功能的全面性都在不断提升。特别是身为折叠屏开创者和引领者的三星,推出的第五代折叠屏产品再次彰显
新年应该怎么玩?来中国移动,解锁专属新年大礼!
新年的钟声即将敲响,这个黄金假期怎么过?是与家人来一场说走就走的新春旅行,奔赴山川湖海、日月星辰的浪漫;还是与亲友聚会,在烟火星辰下共享团圆家宴。而无论你选择哪种方式庆祝春节,最重要的是与家人在一起度过最美好的时刻。今年,不妨让我们打破常规,一起探索新
英语听说必备三大核心力,阿尔法蛋AI听说宝D1一站配齐!
谈起英语听说练习,很多家长都十分头疼,比起读和写,能完全听懂英语,并且能说一口流畅的口语显得更为难得。家长也认为,孩子掌握了听说能力,才是真正学会了英语。今天就看看英语听说必备的三大核心力,用阿尔法蛋AI听说宝D1可以一次性掌握,能达到这个程度,那英语学习提升就
学生党福利来袭 三星Galaxy手机寒假好价 乐购盛惠
伴随着各大高校的放假通知,忙碌了一年的莘莘学子也迎来了属于自己的悠闲长假。在这个漫长的假期里,除了学习时间外,不论是享受个人独处时光,还是拜年走亲访友都离不开一部性能强劲的手机陪伴在左右。时下,三星商城开启了“寒假好价 乐购盛惠”活动,只需完成学生身
RTX 40 SUPER系显卡神搭好物盘点,华硕电源霸榜来袭!
近日,随着RTX 4080 SUPER显卡的正式登场开售,全新一代RTX 40 SUPER显卡阵容也完整展现在了玩家面前。强劲性能表现无疑是游戏玩家们的至高追求,而适配的高品质电源,则是畅爽电竞的前提条件。对此,来自华硕的数款高品质电源装备,显然是DIY的必备之选。ROG雷鹰AURA 1
新年新气象 三星Galaxy S24龙年赠礼更有“AI”
农历龙年的脚步越来越近,年节赠礼,贵在圆满,如果能够表达出一份特别的新意,更是锦上添花。全新发布的三星Galaxy S24拥有时尚精致的外形和性能出众的硬件配置,无论是赠予亲友还是犒赏自己,都是一款令人惊喜满满的新年礼物。加上由Galaxy AI带来的一系列创新应用,
2024年FFALCON雷鸟新品发布会:ACE计划·新征程
2024年伊始,科技圈热闹非凡。华为、小米等大厂纷纷召开新品发布会,展示自家最新科技成果,打响了开年第一枪。然而,在这股“高大上”的发布会潮流中,FFALCON雷鸟却选择了一条不同寻常的路,没有炫目的灯光,没有豪华的排场,就在直播间里以「ACE计划·新征程」为主题
2024春晚直播怎么看?当贝D5X看春晚直播超方便
在这辞旧迎新的时刻,我们除了与家人团聚,还能感受到浓厚的年味,其中最让人期待的莫过于观看春晚了。2024年央视春晚的主持人和节目单暂时还未官宣。不过路透已经有众多明星齐聚一堂了,让人们对春晚的期待值达到了顶峰。那么,如何观看2024年央视春晚直播?还有各家地
Wi-Fi Alliance总裁兼首席执行官Kevin Robinson:Wi-Fi 7有望迅速普及,超越前代技术
C114讯 1月31日消息(刘定洲)2024年1月8日,美国消费电子展(CES 2024)前夕,备受业界瞩目的Wi-Fi CERTIFIED 7(Wi-Fi 7认证计划)正式推出。这意味着Wi-Fi 7设备正式进入认证和上市销售阶段。博通、康普、英特尔、联发科等全球网络大厂均表达了对Wi-Fi CERTIFIED 7的强烈支
强势进化掌控未来,华硕天选X 2024预售开启!
作为华硕旗下知名电竞产品,无论是笔记本还是台式机,华硕天选系列一直以来都广受许多玩家关注。为迎合广大用户畅爽舒适的游戏体验需求,新一代华硕天选 X 2024高性能电竞台机已于2024年1月29日在京东开启预售。此次升级的华硕天选X2024电竞台式机,为玩家提供两种规格
随享春节假期,三星The Freestyle见证新年欢聚时刻
春节近,年味浓。新春佳节欢庆时刻,全家齐聚一堂,一台高品质投影仪或可用璀璨光影点亮温馨年味。The Freestyle三星随享智能投影仪自上市以来,就颇受年轻消费者的喜爱与信赖,其便携灵巧的外形设计、颇具沉浸感的影音效果与丰富的服务生态,让用户随时随地尽享大屏多
实至名归!追觅科技斩获2023年全球领航者大会“全球年度企业”
近日,在“潮起·奔流——2023全球领航者大会”上,智能清洁电器领导品牌追觅科技凭借卓越的技术实力、产品创新能力和出海竞争力斩获“全球年度企业”大奖,可谓实至名归。据介绍,此次全球领航者年度企业的评选,综合考虑商业模式领先度、技术创新力、市场占有率、行业
过年PS5玩个尽兴!细数适合团圆的“年味儿”游戏
春节临近,大街小巷都弥漫着浓浓的年味,超市里循环的拜年歌时时刻刻提醒着大伙儿,马上就是春节了。想必各位朋友和我想的一样,这兔年的班咱就上到这儿了,我现在一心只想回家过年!说到回家过年,大家脑海里浮现的无非就是走亲访友、聚会唱K,年年都一样。今年就不一样