夸克 7.0 全新升级:你的AI搜索
嗨,大家好!听说夸克最近升级了他们的“超级搜索框”,现在是以 AI 搜索为主打啦!官方说这个新功能可以帮我们一站式搞定搜索、创作、总结,还有编辑、存储、分享等信息需求哦!真是太方便啦!
更新日期:2023-10-06
来源:系统之家
10月06日消息,麻省理工学院与meta AI的研究人员最近宣布他们成功开发了一项名为StreamingLLM的创新框架,该框架被认为能够解决大型语言模型面临的内存和泛化问题,使其能够轻松处理无限长度的文本内容。
这一研究的关键焦点在于克服实现高效流式语言模型(Efficient Streaming Language Models,ESLM)时所面临的障碍,尤其是在长时间多轮对话等场景下可能出现的问题。
据本站了解,研究人员指出,构建流式语言模型主要面临两大挑战。解码阶段获取标记(token)的键(Key)和值(Value)状态会耗费大量内存。其次,现有的大型语言模型很难泛化到处理超出其训练序列长度的长文本。
过去的研究尝试解决这些挑战,例如扩展注意力窗口以处理长文本或建立一个固定大小的活动窗口,只关注最近的标记状态以维护内存使用和解码速度。然而,这些策略在处理超出缓存大小的序列时表现不佳。
StreamingLLM采用了一种名为"注意力下沉"的策略,通过观察到自回归语言模型中,某些标记会获得大量的注意力,即使它们在语义上并不重要,这些标记也会吸引模型的关注。这种策略确保了无论输入序列的长度如何,模型的注意力计算都能保持稳定。
StreamingLLM的重要贡献在于提供了一种简单而高效的解决方案,使语言模型能够处理无限长度的文本,而无需进行微调。这将有助于解决当前流式应用中语言模型面临的问题。虽然流式语言模型在未来将变得更加重要,但由于内存效率和长序列处理性能等方面的限制,相关模型的发展仍面临挑战。
据研究团队验证,StreamingLLM能够使Llama 2、MPT、Falcon和Pythia等模型可靠地处理长达400万个标记的文本,从而为流式语言模型的部署提供了更多可能性。这一创新有望推动自然语言处理领域的发展,并为各种应用场景带来更强大的语言模型支持。
夸克 7.0 全新升级:你的AI搜索
嗨,大家好!听说夸克最近升级了他们的“超级搜索框”,现在是以 AI 搜索为主打啦!官方说这个新功能可以帮我们一站式搞定搜索、创作、总结,还有编辑、存储、分享等信息需求哦!真是太方便啦!
微软 PowerToys 新增“高级粘贴”功能:实时转换剪贴板内容
嘿,你知道吗?微软最近在 PowerToys 加入了一个很酷的新功能!它叫做“高级粘贴”,用的是人工智能的厉害技术,可以把剪贴板上的东西实时转换。这个功能在 PowerToys 0.81 版本里就能用了,只要按 Windows 键 + Shift + V 就能调出来。然后会弹出一个“高级粘贴”窗口,里面有纯文本、Markdown 和 JSON 等格式的转换选项。这个功能特别实用,比如你可以把一种编程语言的代码复制粘贴成另一种语言的代码,省得重新打一遍。不过,要使用高级粘贴的一些更高级的功能,需要 OpenAI API 哦。
超半数用户未在 Win11 上使用过 Copilot,微软:暂缓 Copilot 新功能推出
嘿,你知道吗?那个微软的人工智能助手 Copilot,之前叫必应聊天机器人,现在可以在 Windows 11/10 操作系统、Edge 浏览器和必应搜索引擎上用啦!不过,有个网站做了一个调查,发现超过半数的用户都没用过这个 Copilot 呢。微软可能也发现了这个问题,所以他们决定先别急着把 Copilot 加到 Win11 里了。
百川智能发布Baichuan 3:超越GPT-4的中文大语言模型新星
1月29日消息,近日,由前搜狗公司CEO王小川创立的百川智能宣布推出了一款超千亿参数的大语言模型——Baichuan 3。据称,该模型在多项中文任务评测中表现优异,甚至在某些方面超越了GPT-4。在逻辑推理能力的测试中,Baichuan 3展现出了强大的实力。无
惠普星Book Pro 14 AI轻薄战力本重磅发布 加速消费级人工智能落地
北京,2024年1月26日 ——惠普在北京世纪金源购物中心为消费者打造了一个充满未来感和科幻感的场景“惠普未来星城”,并重磅发布了星Family首款AI PC——惠普星Book Pro 14 AI轻薄战力本。本次发布会展台设置了产品展示区和互动体验区,将时下火热前卫的AI创作和应用生
OpenAI更新ChatGPT:新增“多语言功能”支持简体中文界面
1月26日消息,近日,人工智能领域的领军企业OpenAI对其热门应用ChatGPT进行了重要更新,推出了“多语言功能”的Alpha版本。这一新功能将允许用户在使用ChatGPT时,更加便捷地切换至不同的语言环境,其中也包括简体中文。据ITBEAR科技资讯了解,用户若
谷歌“艺术与文化”应用推出全新“艺术自拍2”功能
1月25日消息,谷歌旗下备受赞誉的“艺术与文化”应用近日宣布,其深受用户喜爱的“艺术自拍”功能在沉寂近六年后,借助生成式AI技术的崭新发展,以“艺术自拍2”的形式华丽回归。该功能旨在将用户与全球各地的艺术、历史和文化更紧密地联系在一起,让
欧盟策划全新AI机器人战略,引领欧洲大陆协同发展
1月25日消息,据欧洲新闻电视台(Euronews)周一报道,欧盟委员会正着手策划一项全新战略,旨在推动全欧洲范围内的人工智能(AI)机器人技术发展,并确保各国之间的协同合作。据悉,该战略文件有望在明年正式发布。根据Euronews获取的欧盟内部会议记录,
亚马逊Alexa付费升级版面临技术挑战,市场反响待观察
1月24日消息,近日,有外媒Business Insider披露,亚马逊正筹备在年内为其广受欢迎的Alexa智能语音助手推出付费升级版,名为Alexa Plus。据悉,这一新版本已吸引15000名外部客户参与测试其核心技术——Remarkable Alexa。早在去年9月,市场便对亚马逊
Jan AI:本地运行的免费ChatGPT替代品,注重用户数据安全
1月20日消息,近日,一款名为Jan AI的免费软件引起广泛关注,该软件被视为ChatGPT AI的有力替代品,并可在Mac、Windows以及Linux PC上实现本地运行,为用户带来更加便捷和安全的AI体验。据悉,Jan AI提供稳定版和实验版两种选择,以满足不同用户的需
三星Galaxy S24系列旗舰手机发布,Galaxy AI功能或于2025年底收费
1月18日消息,三星电子今日在全球同步发布了新一代旗舰手机——Galaxy S24系列。此次新品主打“Galaxy AI”功能,致力于通过人工智能技术重新定义移动设备的用户体验。三星方面表示,该功能将在支持的Galaxy设备上免费提供,直至2025年底。Galaxy S24
沃尔玛在CES 2024宣布与微软合作,以AI技术重塑数字购物体验
1月11日消息,近日,在备受瞩目的CES 2024国际消费电子展上,美国零售业巨头沃尔玛罕见亮相,并与科技巨头微软携手,共同宣布将打造一种全新的AI驱动的购物体验。沃尔玛首席执行官Doug McMillon在展会的主题演讲中详细阐述了这一创新举措。他表示,沃
CES 2024新奇发现:AI音乐为狗狗减压,每月仅需48元
1月11日消息,近日,在备受瞩目的CES 2024展会上,一款专门为狗狗设计的AI音乐引起了广泛关注。推出这款产品的是日本一家新兴初创企业。据悉,这家名为“One by One Music”的公司,通过与持有兽医执照的教授和医生共同开展研究,经过长达两年的深入
三星电子推出 2024新品 Neo QLED、MICRO LED、OLED 和 Lifestyle产品,开启人工智能屏幕新时代,引领全新生活方式
·Neo QLED 8K新品搭载全新NQ8 AI Gen3芯片,将画面和音质提升至前所未有的高度·Neo QLED 4K新品拥有更强大的芯片,OLED系列产品更加明亮,再加上精心打造的MICRO LED系列产品,共同提升了用户的视听体验·Lifestyle产品线新增了可定制的Music Frame和业界首款无线8K投
谷歌AI语言模型Bard升级版“Bard Advanced”即将上线,提供全面优质服务体验
1月5日消息,据最新报道,谷歌正在积极筹备推出其AI语言模型Bard的升级版——Bard Advanced。此举类似于先前推出的ChatGPT Plus付费订阅服务,旨在提供更为全面和优质的服务体验。Bard作为谷歌的AI语言模型,已经为用户提供了广泛的信息交互和智能响