使用260K LLM和Llama架构在Windows 98上实现了“35.9 tok/s”的速度,根据EXO的博客,升级到15M LLM后,生成速度略高于1 tok/s,Llama 3.2 1B的速度则慢得多,为0.0093 tok/s。
机器之心报道编辑:陈陈、蛋酱让 Llama 2 在 Windows 98 奔腾 2(Pentium II)机器上运行,不但成功了,输出达到 39.31 tok / 秒。这台 PC 可能比你的年龄还大,要知道它已经是 26 年前的硬件了,配备英特尔奔腾 ...
让 Llama 2 在 Windows 98 奔腾 2(Pentium II)机器上运行,不但成功了,输出达到 39.31 tok / 秒。 该项目是一个名为 EXO Labs 组织的一次大胆尝试,其证明了如果 Llama 模型能在 26 ...
小黑盒数码硬件 on MSN17 天
用Windows 98老旧PC成功运行大模型AI
【本文由小黑盒作者@AEchihiro于12月30日发布,未经许可不得转载!】 EXO Labs最近发布了一段令人惊叹的视频,展示了他们在一台拥有26年历史的老旧Windows ...
IT之家注意到,视频中一台 350MHz 的 Elonex 奔腾 II 电脑启动 Windows 98 后,EXO Labs 运行了基于 Andrej Karpathy 的 Llama2.c 开发的定制纯 C 推理引擎,并让 LLM ...
成功!在 Windows 98 上运行的 260K 参数 Llama 模型生成了一个关于 Sleepy Joe 的故事。 结果 终于让它工作了!以下是我们实现的结果,完全在 Pentium II CPU ...
这台主频350MHz电脑成功启动进入Windows 98系统,随后EXO启动了基于Andrej Karpathy的Llama2.c定制的纯C推理引擎,并要求LLM生成关于“Sleepy Joe”的故事 ...
IT之家注意到,视频中一台 350MHz 的 Elonex 奔腾 II 电脑启动 Windows 98 后,EXO Labs 运行了基于 Andrej Karpathy 的 Llama2.c 开发的定制纯 C 推理引擎,并让 LLM 生成了一个关于“Sleepy Joe”的故事。令人惊讶的是,整个过程运行流畅,故事生成速度也相当可观。 EXO Labs 由 ...
并让 LLM 生成了一个关于“Sleepy Joe”的故事。令人惊讶的是,整个过程运行流畅,故事生成速度也相当可观。 EXO Labs 由牛津大学的研究人员和工程师 ...
最近,一个名为 EXO Labs 的团队发布了一段视频,展示了在一台有着 26 年历史的 Windows 98 Pentium II PC 上运行强大的 LLM 的经历。令人惊讶的是,这一过程成功了,而且大模型生成速度相当不错,每秒能有 39.31 ...