苹果的最新研究揭示了语音识别模型如何通过处理心音图来确定人的心率，这可以用于AirPods。周四，在苹果发布其与机器人技术相关的人形机器人政策研究一周后，该公司又发布了一项探索健康应用的新研究，具体来说，是心率估算。
最新研究题为“通过听诊估计心率的基础模型隐藏表示”，该公司的研究人员解释了如何使用基础模型通过录音确定心率，即使这些模型的创建目的有所不同。
苹果测试了六种流行的基础模型，包括用于音频转录的 Whisper ，以确定它们是否可以在其预期用途之外使用。此外，苹果还测试了一个内部 CLAP（对比语言-音频预训练）模型。
基础模型不是用来处理录音的语音，而是用来处理心音图记录或心音，总共约 20 小时。
所讨论的录音属于公开的 CirCor DigiScope 心音图数据集，长度从 5.1 秒到 64.5 秒不等。
苹果公司对约 20 小时的心音图音频文件进行了测试。图片来源：苹果
人工注释员对心音图音频文件中的心脏杂音进行了注释，并将文件分割成每秒变化的五秒片段。整个过程共生成了23381个心音片段，用于转换为心率测量数据。
该公司的研究解释说，其内部 CLAP 模型在此任务中的表现优于现有模型。“我们观察到，内部 CLAP 模型的音频编码器的表征在不同数据分割中实现了最低的平均绝对误差 (MAE)，优于使用标准声学特征训练的基线模型。”
与该公司以相同方式测试的 Whisper、wav2vec2 和 wavLM 不同，其内部 CLAP 模型采用的音频数据训练，其内容不仅仅局限于录音语音。研究指出，多样化的训练数据“可能增强了其捕捉与心音相关的非语音特征的能力，从而有助于提高其有效性”。
苹果公司内部开发的 CLAP 模型表现优于其他基础模型。图片来源：苹果
苹果公司的研究人员表示，为语音处理创建的基础模型“可以有效地适应听诊和生命体征估计，为一些传统方法提供强大而有效的替代方案”。该公司的研究结果还表明，较大的基础模型在确定心率方面并不总是表现更好。
研究表明，对基础模型进行额外的微调或能获得更准确的心率估计。该公司的研究人员看到了其在“心肺音病理分析”方面的潜在应用，这可能有助于更准确地检测心律失常和杂音等异常情况。
至于设备应用，鉴于苹果对健康相关功能的兴趣，该公司可能会将这项技术融入未来的 AirPods 型号中。例如， AirPods Pro 2支持一系列听力健康功能，并通过内置麦克风提供主动降噪 (ANC) 功能。
2024年12月有传言称，苹果正在考虑在AirPods中集成心率传感器、温度传感器等。该公司可能会将AirPods现有的麦克风与新的传感器结合使用，以实现更精确的心率测定。
