根据内部文档被CNBC, Google已经发布了一个新的大型语言模型称为棕榈2。通常模型训练3.6万亿令牌,近5倍的数据从2022年其前身和可以执行更高级的编码水平,数学,和创意写作任务。
令牌是字符串的单词教模型来预测下一个单词的顺序和训练语言模型的构建块是至关重要的。
谷歌的先前版本的手掌,通路语言模型,于2022年被释放并训练了7800亿令牌。虽然谷歌一直不愿公布详细的训练数据,该公司一直渴望展示功能的人工智能技术和嵌入到搜索、电子邮件、文字处理和电子表格。爱游戏ayx体育
缺乏披露的有关训练数据由谷歌和OpenAI ChatGPT则报道最多只能延缓微软方面的创造者进度,是由于竞争业务的性质。两家公司都竞相吸引用户会话聊天机器人愿意传统的搜索引擎。
然而,研究团体呼吁更大的透明度AI军备竞赛加剧。
谷歌声称,手掌2小于先前llm,这是重要的,因为这意味着公司的技术变得更有效率的在处理更复杂的任务。爱游戏ayx体育模型训练3.6万亿令牌,衡量其复杂性,而最初的棕榈5400亿参数。
谷歌尚未提供任何评论此事。
谷歌在一篇博客文章中提到棕榈2模型使用一个“新技术”称为“compute-optimal缩放。“使LLM”更有效和更好的整体性能,包括更快的推理,更少的参数,降低服务成本。
谷歌正式宣布释放棕榈2,由CNBC确认先前的报道。这种先进的模型已经在100种语言训练和执行多种任务的能力。目前,权力25特性和产品,包括实验chatbot吟游诗人。棕榈2有四个不同的尺寸:壁虎、水獭、野牛和独角兽。
公开披露的信息表明,棕榈2超过任何现有的模型的能力。Facebook的LLM,叫骆驼,在2月份宣布,已培训1.4万亿令牌。
培训OpenAI ChatGPT的规模,从GPT-3的释放,是3000亿令牌。OpenAI 3月发射GPT-4,声称它演示了“人类表现”在许多专业测试。
λ,另一个会话语言模型引入了两年前谷歌,提到与2月吟游诗人,一直在训练1.5万亿令牌,在CNBC电视频道看到的最新的文件显示。
随着人工智能应用迅速得到普及,围绕底层技术的争论越来越激烈。爱游戏ayx体育今年2月,埃尔马赫迪El Mhamdi谷歌高级研究科学家,辞职是由于公司缺乏透明度。
参议院司法委员会举行的一场听证会上隐私和技术,OpenAI首席执行官Sam Altman作证和同意议员,一个新的管理体制AI是必要的。爱游戏ayx体育
“很新技术,我们需要一个新的框架爱游戏ayx体育,”奥特曼说。“当然我们这样的公司承担很多责任的工具,我们把世界上。”
