如何在DOS上运行Llama 2 LLM？（音频）

来自新加坡的嵌入式安全研究员yeokm1分享了他在1993年PC上安装Linux的副项目，并且创建了一个可在MS-DOS上运行的ChatGPT客户端。最近，他又推出了一个新项目——在DOS上安装Llama 2。 尽管传统观点认为运行本地大语言模型需要高性能计算机，特别是带有大量VRAM的GPU，但他通过一个开源项目成功让复古机器在DOS上进行Llama 2 LLM模型的推理。虽然结果有许多限制，但结果仍然令人惊讶。 该项目的一切均已开源，并且提供了可执行文件。 尽管老旧系统的推理速度较慢，但他对复古系统仍然能实现的成果感到惊讶。

打开APP收听