PrismML推出Ternary Bonsai 2系列模型

AI 驱动中国 陈默 817次阅读
分享 微 Q 信
AI摘要
由 AI 生成 · 仅供参考

PrismML推出Ternary Bonsai 2系列2B、4B、9B模型,基于阿里Qwen 3.5基座并采用三元权重编码,面向手机、PC与可穿戴设备本地运行智能体,官方称iPhone 18 Pro Max上2B模型可达每秒120词元。

驱动中国10月16日消息,AI公司PrismML于10月15日发布博文,宣布推出Ternary Bonsai 2系列模型。该系列包含2B、4B和9B三种规模,面向手机、PC及可穿戴设备,目标是在本地运行AI智能体,支持推理、识图、调用工具等能力。

从技术路线看,Ternary Bonsai 2系列基于阿里Qwen 3.5基座构建,并采用“三元”权重表示法,即仅使用-1、0、+1三种数值编码模型参数。官方给出的存储占用数据为:2B模型约0.43GB,4B模型约0.95GB,9B模型约2GB。

在能力定位上,该系列强调本地智能体的实用性,覆盖遵循指令、完成日常任务、在移动设备上调用工具、避免重复输出等场景。官方称已在19项基准上测试智能工具调用、数学、指令遵循、编程、知识与推理、视觉理解六类能力。其中,9B模型在标准指令执行和日常数学任务中,所需token数量约减少40%。

性能方面,PrismML表示,在RTX 4090和M5 Pro等硬件上,新模型相较对应全精度模型可实现吞吐量提升可达5倍、能效提升可达3倍。在iPhone 18 Pro Max上,9B模型可达每秒34个词元,2B模型可达每秒120个词元。

产品与生态方面,该系列可与已有的Bonsai 2 27B组成从轻量任务到复杂工作流的完整产品线。开发者可通过llama.cpp在NVIDIA GPU上运行,也可通过MLX在Mac、iPhone和iPad上部署;模型权重以Apache 2.0许可证开放。

版权声明:本文由驱动中国整理发布,转载需注明出处与原文链接。如有疑问请联系 editor@qudong.com。
来源:驱动中国 · 原文链接:https://www.qudong.com/article/526284.html
本文价值 ★★★★★ 3.5 2 人已评
登录后为本文打分
网友评论0 条评论
正在回复 的评论取消
评论加载中…
🔐

登录后参与互动

评论、点赞均可赚积分
连续签到、邀请好友也有奖励 🎁

电脑端: 微信扫码登录 微信内: 一键登录

微信扫一扫

打开微信「扫一扫」,分享本文到朋友圈或好友