SAM 2.1上新、Lingua代码库发布，一大波Meta开源工具来袭

2024-10-19 13:09 北京

Meta发布一大波开源工具。

机器之心报道

机器之心编辑部‍‍‍‍

今天，Meta 分享了一系列研究和模型，这些研究和模型支撑 Meta 实现高级机器智能（AMI）目标，同时也致力于开放科学和可复现性。

这些工作侧重于 AMI 的构建模块，包括感知、语音和语言、推理、具身智能和对齐。研究工作包括 SAM 2.1、Spirit LM、Layer Skip、自学习评估器等。‍‍‍‍‍‍‍

SAM 2.1

SAM 2 已经被应用于跨学科（包括医学图像、气象学等）研究，并且产生了良好的影响。现在，Meta 宣布推出性能更强的 SAM 2.1。

Meta 引入了额外的数据增强技术来模拟 SAM 2 之前遇到的视觉相似物体和小物体的存在，通过在较长的帧序列上训练模型并对空间和物体指针内存的位置编码进行一些调整，提高了 SAM 2 的遮挡处理能力。

项目链接：https://github.com/facebookresearch/sam2

Spirit LM

大型语言模型经常被用于构建文本到语音 pipeline，其中语音通过自动语音识别 (ASR) 进行转录，然后由 LLM 生成文本，最终使用文本到语音 (TTS) 转换为语音。然而，这个过程损害了语音表达。

为了解决这一限制，Meta 构建了开源多模态语言模型 Spirit LM，实现了语音和文本的无缝集成。

Spirit LM 在语音和文本数据集上使用词级交织方法进行训练，以实现跨模态生成。Meta 开发了两个版本的 Spirit LM，以展示文本模型的语义生成能力和语音模型的表达能力。

论文链接：https://arxiv.org/abs/2402.05755

代码链接：https://github.com/facebookresearch/spiritlm

模型权重：https://ai.meta.com/resources/models-and-libraries/spirit-lm-downloads/

Layer Skip

大型语言模型已在各个行业中广泛采用，但其高计算和内存要求会消耗大量能源，并且可能带来高昂的经济成本。为了应对这些挑战，Meta 提出了一种端到端解决方案 ——Layer Skip，以加快 LLM 在新数据上的生成时间，而无需依赖专门的硬件或软件。

论文链接：https://arxiv.org/abs/2404.16710

代码链接：https://github.com/facebookresearch/LayerSkip

权重链接：https://huggingface.co/collections/facebook/layerskip-666b25c50c8ae90e1965727a

Layer Skip 通过执行其层的子集并利用后续层进行验证和校正来加速 LLM。现在，Meta 又要发布 Layer Skip 的推理代码和微调检查点。Llama 3、Llama 2 和 Code Llama 等模型已经使用 Layer Skip 进行了优化。Layer Skip 可以将模型性能提升高达 1.7 倍。

Lingua

Lingua 是一个轻量级且独立的代码库，旨在助力大规模训练语言模型。Lingua 将使人们更容易将概念转化为实际实验，并优先考虑简单性和可复用性以加速研究。高效且可定制的平台还允许研究人员以最少的设置快速测试他们的想法。