开发者 Yeo Kheng Meng 利用开源项目 llama2.c，成功将 Meta 发布的 Llama 2 大语言模型移植到古老的 DOS 系统上。他为 DOS 系统开发了一个可以离线执行推理任务的 LLM 客户端。为了适配 DOS 环境，Meng 对编译器和内存管理进行了调整。他在多台运行 MS-DOS 6.22 的系统上进行了基准测试，包括老式 486 和现代 Ryzen 机器，结果显示新系统速度更快。甚至2004年的ThinkPad T42的性能超过了 16 年后发布的 ThinkPad X13G1。该项目展示了在旧硬件上运行现代 AI 模型的可能性。

💻 Yeo Kheng Meng 成功地在 DOS 系统上运行了 Llama 2 大语言模型，展示了在老旧硬件上运行现代 AI 的潜力。他之前曾因开发 ChatGPT 的 DOS 客户端而闻名。

🛠️ 为了在 DOS 环境中运行 Llama 2，Meng 使用了开源项目 llama2.c，并针对 DOS 系统的限制进行了一系列调整，包括选择合适的 DOS 扩展工具以访问更大的 RAM 池，并修改 OWC 编译器以适应 llama2.c 的需求。

⏱️ Meng 在多台运行 MS-DOS 6.22 的系统上进行了基准测试，结果显示，搭载 1.7GHz Pentium M 处理器的 ThinkPad T42 性能甚至超过了 16 年后发布的 ThinkPad X13G1，令人惊讶。这也说明了硬件发展速度之快。

一位开发人员独自花了一个周末的时间，尝试在老式的 DOS 机器上运行 Llama 2 大语言模型。得益于随时可用的开源代码，该项目最终成功了。然而，将 Llama 2 适配到古老的 DOS 环境并非易事。

Yeo Kheng Meng 是一位程序员，曾因开发 ChatGPT 的 DOS 客户端而闻名。最近，他启动了一个新的 AI 相关项目，专注于过去基于提示的计算环境。他的最新成果是一个完全基于 DOS 的大型语言模型 (LLM)，可以离线执行推理任务。

FreeDOS 项目指出，孟使用 Meta 于 2023 年发布的 Llama 2 模型开发了DOS LLM 客户端。这位程序员在搭载新旧组件的系统上测试了该软件，并在 Thinkpad T42（2004 年）和东芝 Satellite 315CDT（1996 年）之间进行了惊人的性能对比。不出所料，在旧系统上运行 LLM 耗时许久。

他借助 llama2.c（一个旨在快速将 Llama 2 模型移植到各种系统和硬件平台的开源项目）开发了一个功能齐全的 DOS LLM。Meng解释说，尽管 llama2.c 的编写初衷是提高可移植性，但它仍然需要进行一些编码调整，以应对传统计算环境的挑战。

程序员必须选择合适的 DOS 扩展工具才能访问超过传统 640KB 常规内存的更大 RAM 池。他还必须修改 OWC 编译器，因为 llama2.c 需要功能相对先进的 C 编译器。在调整编译过程后，Meng 创建了一个可以在他的 DOS 系统上运行的、功能齐全的 llama2 二进制文件。

这位程序员对几台运行 MS-DOS 6.22 的系统进行了基准测试，从老式的 486 DX2 66MHz PC 到现代的基于 Ryzen 的台式机。不出所料，新系统提供了更快的推理速度。令人惊讶的是，搭载 1.7GHz Pentium M 处理器的 ThinkPad T42 的性能甚至超过了 16 年后发布的 ThinkPad X13G1。

Meng将 llama2.c 的测试、文档编写以及移植到 DOS 的过程描述为一个周末的项目。他感谢开源 llama2.c 的 Andrej Karpathy 使这一切成为可能。