奇绩创坛 2024年10月28日
奇绩潜空间活动报名 | 李卓翰—— vLLM : 构建高效的开源 LLM 推理引擎
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

9月28日,奇绩潜空间第四季第一期邀请vLLM创始团队成员李卓翰,带来关于构建高效开源LLM推理引擎的分享。该活动是AI人才社区,定期邀前沿创业者、学者分享,设置线下交流环节,还创建了交流群。活动在北京、上海线下及线上均有场次,可扫码报名。

🎤奇绩潜空间是GenAI时代的AI人才社区,定期邀请大模型前沿创业者分享产品实践探索,前沿科研学者分享最新技术进展,为参与者提供交流平台。

🌟vLLM创始团队成员李卓翰是加州大学伯克利分校博士生,专注机器学习系统研究,在优化提升大型语言模型性能方面有显著贡献,负责vLLM高层框架设计与开源社区管理。

🚀vLLM作为开源大模型推理加速框架,以PagedAttention为核心算法,突破模型部署阻碍,支持30+生成式大语言模型,能实现与Hugging Face Transformers相比24倍的吞吐量。

原创 奇绩创坛 2024-09-23 21:30 北京

9月28日,与李卓翰和大模型推理创作者面对面交流。


【奇绩潜空间】第四季第一期我们邀请到的嘉宾是 vLLM 创始团队成员——李卓翰,他将给我们带来《vLLM : 构建高效的开源 LLM 推理引擎》(vLLM:Building Efficient Open-Source LLM Inference Engine)的分享。


奇绩潜空间是 GenAI 时代冲得最快的一批科研学者/从业者/创业者聚集的 AI 人才社区,我们定期邀请大模型前沿创业者分享产品实践探索,邀请前沿科研学者分享最新技术进展。除嘉宾分享外,每期在北京和上海线下都设置了【匹配合伙人 Cofounder Matching】环节。在这里你可以和 GenAI 时代最有活力的创业者和研究者线下面对面交流(往期参与者大多是来自大厂的算法工程师、架构师、AI 产品经理、创新战略部经理及创业者们)。这是一个能让你拓展人脉、碰撞思维火花、共同探索创新之路的平台。你可以在这里找到一起讨论相同研究方向、解决技术问题的伙伴,甚至有机会找到志同道合、有共同创业梦想的朋友。


此外,我们创建了「大模型推理创业者交流群」,欢迎添加小助手进群交流互动。




活动介绍


【分享嘉宾介绍】


李卓翰是 vLLM 创始团队成员,加州大学伯克利分校博士生,专注于机器学习系统的研究,研究的主要内容涉及优化系统以提高机器学习算法和模型的执行速度,以及如何在大规模场景下实现更高效的多任务并行处理。李卓翰在计算机科学和人工智能领域有着丰富的背景和经验,尤其在优化和提升大型语言模型的性能方面有显著贡献,目前主要负责 vLLM 的高层框架设计与开源社区管理。


vLLM 从加州大学伯克利分校的一个 Demo 项目成长为全球范围内最受欢迎的开源大模型推理加速框架之一,发展迅速。其作为一个开源的大模型推理加速框架,以 PagedAttention 为核心算法,突破了模型部署常常受到推理速度过慢、GPU 利用率过低的阻碍,已经可以支持 30+ 生成式大语言模型,能够做到与 Hugging Face Transformers 相比 24 倍的吞吐量,不断突破 AI 技术的极限。


【活动时间】


北京时间:9 月 28 日 10:00 - 13:30


【活动地点】


北京线下 / 上海线下 / 线上 均有场次

(具体见活动短信/邮件)


【活动报名】


扫描下方二维码,填写信息完成报名

(找到奇绩校友帮忙推荐,可增加报名成功率)



(提醒:报名的小伙伴联系小助手获取往期潜空间嘉宾分享笔记)




加入 #奇绩创业社区# 


扫描创业营二维码,提交奇绩创业营申请表,即可【免费】加入社区,【滑动】查看并免费领取创业社区独家资源:


左右滑动查看更多资源




阅读原文

跳转微信打开

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

奇绩潜空间 vLLM 大模型推理 AI人才社区
相关文章