Meta Reality 实验室发布了名为 Sapiens 的 AI 视觉模型，专门用于提升人机交互体验。该模型支持四种以人为中心的基本视觉任务：二维姿势预估、身体部位分割、深度估计和表面法线预测，并采用了视觉转换器架构，以共享编码器和不同的解码器头来实现不同的功能。Sapiens 模型可原生支持 1K 高分辨率推理，并能够在标注数据稀缺的情况下，对野生数据表现出卓越的泛化能力，为增强现实、虚拟试穿、自动驾驶等领域提供了更精确和高效的视觉解决方案。
😁 **二维姿势预估**：Sapiens 模型能够精准地检测和定位二维图像中人体的关键点，如肘、膝和肩等关节，帮助理解人的姿势和动作，为动作捕捉、运动分析等应用提供支持。
😊 **身体部位分割**：该模型可以将图像分割成不同的身体部位，如头部、躯干、手臂和腿部，为虚拟试穿、医学成像等应用提供精准的分割结果。
🤩 **深度估计**：Sapiens 模型能够估算图像中每个像素与摄像头的距离，有效地从二维图像中生成三维图像，为增强现实、自动驾驶等领域提供更准确的空间信息。
🥳 **表面法线预测**：该模型可以预测图像中表面的方向，为三维重建、场景理解等应用提供更详细的几何信息。
🥰 **高分辨率推理和泛化能力**：Sapiens 模型可原生支持 1K 高分辨率推理，并能够在标注数据稀缺或完全是合成数据的情况下，对野生数据表现出卓越的泛化能力，为实际应用场景提供了更强大的支持。
IT之家 8 月 24 日消息，Meta Reality 实验室最新推出了名为 Sapiens 的 AI 视觉模型，适用于二维姿势预估、身体部位分割、深度估计和表面法线预测 4 种以人为中心的基本视觉任务。
这些模型的参数数量各不相同，从 3 亿到 20 亿不等。它们采用视觉转换器架构，任务共享相同的编码器，而每个任务有不同的解码器头。
二维姿势预估：这项任务包括检测和定位二维图像中人体的关键点。这些关键点通常与肘、膝和肩等关节相对应，有助于了解人的姿势和动作。
身体部位分割：这项任务将图像分割成不同的身体部位，如头部、躯干、手臂和腿部。图像中的每个像素都被归类为属于特定的身体部位，这对虚拟试穿和医学成像等应用非常有用。
深度估计：这项任务是估算图像中每个像素与摄像头的距离，从而有效地从二维图像中生成三维图像。这对增强现实和自动驾驶等应用至关重要，因为在这些应用中，了解空间布局非常重要。
表面法线预测：这项任务是预测图像中表面的方向。每个像素都会分配一个法向量，表示表面朝向的方向。这些信息对于三维重建和了解场景中物体的几何形状非常有价值。
Meta 公司表示该模型可原生支持 1K 高分辨率推理，并且非常容易针对个别任务进行调整，只需在超过 3 亿张野生人类图像上对模型进行预训练即可。
即使在标注数据稀缺或完全是合成数据的情况下，所生成的模型也能对野生数据表现出卓越的泛化能力。
IT之家附上参考地址
