报告主题：Stability AI｜时间和空间一致性动态3D内容生成，SV4D

报告日期：8月14日（周三）10:30-11:30

报告要点：
在大语言模型不断给人们带来惊喜的同时，大语言模型的资源耗费和部署成为了其大规模应用的瓶颈。为了应对不断增加而导致的移动设备上对高效大型语言模型 (LLM) 日益增长的需求，我们设计参数少于十亿的 LLM，称为 MobileLLM，与之前的 125M/350M 最先进技术相比，其准确率显着提高了 2.7%/4.3%。与之前的数十亿级模型相比，MobileLLM 模型系列在聊天任务中显示出显着改进，并在 API 调用任务中展示了与 LLaMA-v2 7B 接近的正确性，突出了小型模型针对常见设备上应用的的能力。近期，我们进一步研究量化大语言模型。LLM 量化的难度主要来自于网络中存在长尾分布值（outliers），我们发现旋转激活或权重矩阵有助于消除异常值并有利于量化。我们提出 SpinQuant ，将 LLaMA-2 7B 模型上4-bit 量化精度与全精度的差距缩小到仅 2.9 点，超过 LLM-QAT 19.1 点和 SmoothQuant 25.0 点。
报告嘉宾：
谢一鸣，美国东北大学博士生，导师是Huaizu Jiang 教授。目前在Stability AI实习。在此之前，他于 2019 年获得浙江大学学士学位，师从周晓巍教授。他的研究重点是 3D 计算机视觉，特别是 3D 重建、感知和生成。他在CVPR、ICCV、ECCV、ICLR等顶级会议上发表了多篇文章。论文曾入围2021 CVPR Best Paper Candidates。2024年获得Apple Scholars in AI/ML PhD fellowship。

扫码报名

近期热门报告