V2EX 07月25日 16:22
[开源软件] Nano-SGLang 项目初期
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

针对SGLang优化后的复杂代码,作者推出了简洁版项目nano-sglang,旨在帮助初学者理解其推理工作流程,并欢迎感兴趣的开发者加入。

目前的主流推理引擎:vLLM 、sglang 等目前都已经随着优化需求更高,优化方法更加丰富,支持平台越来越多而丢失了原本简洁,可读的代码结构,所以在看到 github 最近比较火的[nano-vllm][https://github.com/GeeeekExplorer/nano-vllm],之后也是打算为 SGLang 构建一个更适用于初学者,并且保留了 SGLang 最核心的设计思想--RadixAttention 的一个简洁的项目[nano-sglang][https://github.com/Hayden727/nano-sglang],能够帮助初学者更快理解 SGLang 推理的工作流程!欢迎感兴趣的小伙伴一起来开发!(预计与 3 ~ 5 个核心 contributers 一起开发)

感兴趣的小伙伴可以发送邮件至我的[个人邮箱][hayden.cc@zohomail.com],记得附带简历或者个人经历介绍喔

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

SGLang 推理引擎 编程项目
相关文章