第2024章 AI大模型:Kimi支持200万字无损上下文;马斯克Grok开源(1 / 2)

《Kimi人工智能月度报告丨AI大模型》</p>

关键词:Kimi智能助手</p>

1.马斯克旗下大模型 Grok 宣布开源</p>

3月17日,马斯克旗下的人工智能初创公司xAI正式宣布开源大模型 Grok-1,遵循 Apache 2.0 协议开放模型权重和架构。官网显示,xAI已经将 Grok-1 的权重和架构在软件托管平台 GitHub上开源。</p>

据官网介绍,Grok-1 是 3140 亿参数的混合专家模型,是「迄今为止全球参数量最大的开源大语言模型」。相比之下,公开资料显示,OpenAI GPT-3.5 的参数量为 1750 亿,Grok-1 大幅领先。</p>

2.马斯克发布 Grok 1.5,上下文处理长度比肩GPT-4</p>

xAI宣布正式推出 Grok-1.5。根据官方介绍,对于上下文窗口,Grok-1.5 直接提升到了之前的 16 倍,增长到 128k,和 GPT-4 齐平。这意味着 Grok-1.5 可以处理更长和更复杂的提示,同时保持其遵循指令的能力。Grok-1.5 最大的改进之一是处理编程和数学相关任务的能力大幅提升,全面超越 Grok-1、Mistral Large、Claude 2。</p>

3. Anthropic推出Claude 3大模型</p>

人工智能(AI)初创公司Anthropic推出了Claude 3大模型,能够更好地执行复杂的指令。该公司声称,Claude 3对复杂任务表现出接近人类的理解能力,是当前最强大的大模型之一。Claude 3又分为三个版本,分别为Claude 3 Opus、Sonnet和Haiku,名称暗示了每种型号的能力,其中Opus是最强大的,Haiku是市场上最快、最具成本效益的模型。</p>

据Anthropic声称,最强大的Opus在行业基准测试中表现优于OpenAI的GPT-4和谷歌的Gemini Ultra,比如在知识水平、演绎推理和基础数学等方面。Claude 3也是多模态大模型,具有强大的“视觉能力”,因此用户可以上传照片、图表、文档和其他类型的数据,对其进行分析和提问。</p>

4.Kimi智能助手宣布支持200万字无损上下文</p>

3月18日,通用人工智能创业公司——月之暗面(Moonshot AI)宣布在大模型长上下文窗口技术上取得新的突破,Kimi 智能助手已支持200万字超长无损上下文,并于即日起开启产品「内测」。对大模型超长无损上下文能力有需求的用户,可到Kimi智能助手网页版 kimi.ai 首页申请抢先体验。</p>

据了解,Kimi 智能助手是月之暗面(Moonshot AI)基于自研千亿参数大模型打造的对话式AI助手产品,在2023年10月发布时支持约 20 万汉字无损上下文输入,创造了消费级AI产品所支持的上下文输入长度纪录。</p>

5.中科院将发布AI大模型“紫东太初 3.0”</p>

“紫东太初”大模型在研发之初即以多模态技术为核心,利用图-音-文等更多类型数据进行跨模态的统一表征和学习, 实现了图像、文本、语音三模态数据间的“统一表示”与“相互生成”。针对智能驾驶,“紫东太初”将大幅缩短、优化其训练过程。通过大语言模型和多模态能力,大模型可以替代海量的人工,完成汽车、信号灯、路标等数据的自动标注,大幅提升智能汽车感知世界的效率。</p>

6.腾讯联合推出图生视频大模型“Follow Your Click”</p>

腾讯和清华大学、香港科技大学联合推出全新图生视频模型“Follow-Your-Click“,基于输入模型的图片,只需点击对应区域,加上少量提示词,就可以让图片中原本静态的区域动起来,一键转换成视频。</p>

7.零一万物:宣布开源Yi-9B模型</p>

李开复旗下的AI公司零一万物宣布开源了 Yi-9B 模型,该模型是 Yi 系列中最强的模型,实际参数为 8.8B,默认上下文长度为 4K tokens。Yi-9B 在多个方面的性能都超过了其他开源模型,如 DeepSeek-Coder、DeepSeek-Math、Mistral-7B、SOLAR-10.7B 和 Gemma-7B。此外,Yi-9B(BF 16)和其量化版 Yi-9B(Int8)可以在消费级显卡上轻松部署,使用成本较低,对开发者友好。该公司此前已推出 Yi-34B 和 Yi-6B 两个开源大模型,对学术研究完全开放,并同步开放免费商用申请。</p>

8.阿里通义千问重:免费开放1000万字长文档处理</p>