🐌 蜗牛AI
← 返回 AI 资讯
科技👁 0

每秒输出最高 43 词元:Garlic LLM 可让越狱 PS4 运行 9B 参数本地 AI 模型

每秒输出最高 43 词元:Garlic LLM 可让越狱 PS4 运行 9B 参数本地 AI 模型
IT之家 11 月 17 日消息,科技媒体 Gigazine 今天(11 月 17 日)发布博文, 报道称开源项目 Garlic LLM 可以让越狱版 PlayStation 4 运行 90 亿参数的本地大语言模型,最高生成速度可达每秒 43 个词元(Token) ,且无需联网即可完成 AI 聊天与语音对话。 该项目由开发者 Leonardo Alegria 创建,技术实现上是绕过 PS4 原本面向游戏图形处理的驱动程序,直接向其 AMD GCN 架构 GPU 下达底层指令,把游戏主机变成一台可运行 AI 推理的“离线电脑”。 由于 PS4 并未提供非官方程序调用的通用 GPU 计算接口或机器…

以上为资讯摘要,完整内容请访问原文网站。

阅读原文 →