EXO Labs成功在一台26年历史的Windows 98奔腾2 PC上运行了大语言模型（LLM）。他们使用定制的纯C推理引擎Llama2.c，在350MHz的电脑上实现了文本生成，尽管速度受限，但证明了即使在资源有限的情况下也能运行AI。EXO Labs致力于“民主化AI”，希望通过开放基础设施，让更多人能够运行前沿模型。他们克服了在老旧设备上数据传输和代码编译的挑战，最终在Windows 98上成功运行了LLM，并分享了详细过程和代码。

💻EXO Labs在Windows 98系统上成功运行LLM，展示了在老旧硬件上运行AI的可能性。他们使用基于Llama2.c的纯C推理引擎，在350MHz的奔腾2 PC上实现了这一壮举。

💾数据传输和代码编译是关键挑战。EXO Labs使用老式FTP通过以太网端口传输文件，并利用Borland C++ 5.02 IDE和编译器，将llama2.c代码适配为Windows 98兼容的可执行文件。

🚀性能方面，使用260K LLM在Windows 98上达到了35.9 tok/s的速度，而升级到15M LLM后，速度降至1 tok/s。这表明即使在老旧硬件上也能运行AI，但性能会受到限制。

💡EXO Labs的目标是“民主化AI”，他们认为AI不应由少数大型企业控制。通过构建开放基础设施，他们希望让任何人在任何地方都能运行AI模型。

快科技12月30日消息，据媒体报道，EXO Labs最近发布了一段视频，展示了在一台26年历史的Windows 98奔腾2 PC上运行大模型（LLM）。

这台主频350MHz电脑成功启动进入Windows 98系统，随后EXO启动了基于Andrej Karpathy的Llama2.c定制的纯C推理引擎，并要求LLM生成关于“Sleepy Joe”的故事，令人惊讶的是生成速度相当可观。

EXO Labs的这一壮举并非偶然，该组织自称为“民主化AI”而生，由牛津大学的研究人员和工程师组成，他们认为，少数大型企业控制AI对文化、真理和社会的其他基本方面是不利的。

因此，EXO希望建立开放的基础设施，训练前沿模型，并使任何人在任何地方都能运行它们，这项在Windows 98上的AI演示，展示了即使在资源极其有限的情况下也能完成的事情。

EXO Labs在文章中详细描述了在Windows 98上运行Llama的过程，他们购买一台旧的Windows 98 PC作为项目基础，但面临了许多挑战。

将数据传输到老设备上就是一个不小的挑战，他们不得不使用“老式的FTP”通过古老机器的以太网端口进行文件传输。

编译现代代码以适应Windows 98可能是一个更大的挑战，EXO找到了Andrej Karpathy的llama2.c，可以总结为“700行纯C代码，可以运行Llama 2架构模型的推理”，Karpathy曾是特斯拉的AI主管，也是OpenAI的创始团队成员。

利用这个资源和旧的Borland C++ 5.02 IDE和编译器（以及一些轻微的调整），代码可以被制作成Windows 98兼容的可执行文件并运行，GitHub上有完成代码的链接。

使用260K LLM和Llama架构在Windows 98上实现了“35.9 tok/s”的速度，根据EXO的博客，升级到15M LLM后，生成速度略高于1 tok/s，Llama 3.2 1B的速度则慢得多，为0.0093 tok/s。