苹果公司一项最新研究表明，未来AirPods耳机产品有望通过处理语音的基础模型来监测用户的心率。研究人员利用包括Whisper、wav2vec2、wavLM在内的六个主流模型，以及自研的CLAP模型，对心音图数据进行分析，从而推算心率。通过使用公开的CirCor DigiScope Phonocardiogram数据集，研究团队将音频文件分割成5秒片段进行心率测量。结果显示，苹果自研的CLAP模型在不同数据分割中均取得最低平均绝对误差，优于传统声学特征训练的基准模型。这项技术有望用于心肺声音的病理分析，帮助更精准地检测心律失常和杂音等异常。

❤️ 苹果公司研究的核心在于探索如何利用处理语音的基础模型来估算心率。研究人员测试了多个模型，包括Whisper、wav2vec2、wavLM等，并与自研的CLAP模型进行对比实验，以评估其在心音图数据处理中的效果。

🎧 研究采用公开的CirCor DigiScope Phonocardiogram数据集，该数据集包含约20小时的心音录音。研究团队将音频文件分割为每秒移动一次的5秒片段，共生成23381个心音片段，用于心率转换测量。

🥇 实验结果表明，苹果自研的CLAP模型在不同数据分割中均取得最低平均绝对误差（MAE），优于传统声学特征训练的基准模型。这说明CLAP模型在捕捉心音相关特征方面具有优势。

💡 研究人员认为，语音处理的基础模型可以有效适应听诊和生命体征估算任务，成为传统方法的有力替代方案。这项技术有望用于心肺声音的病理分析，帮助更精准地检测心律失常和杂音等异常。

IT之家 5 月 30 日消息，苹果公司一项最新研究如果能商用转化，意味着未来 AirPods 耳机产品可以监测用户心率。

苹果公司近期公布名为《Foundation Model Hidden Representations for Heart Rate Estimation from Auscultation》的研究报告，探索如何利用处理语音的基础模型估算心率。

研究人员发现，尽管这些模型最初是为识别语音设计，但它们也能有效处理心音图（IT 之家注：phonocardiogram，用换能器将心脏的机械震动转换成电流信号记录下来的曲线变化图）数据，从而推算心率。

苹果测试了包括 Whisper、wav2vec2、wavLM 等六个主流模型，并加入自研的 CLAP（Contrastive Language-Audio Pretraining）模型进行对比实验。

研究使用的是公开的 CirCor DigiScope Phonocardiogram 数据集，总计约 20 小时的心音录音，单段录音时长在 5.1 至 64.5 秒之间。研究团队将音频文件分割为每秒移动一次的 5 秒片段，共生成 23381 个心音片段，用于心率转换测量。

结果显示，苹果自研 CLAP 模型在不同数据分割中均取得最低平均绝对误差（MAE），优于传统声学特征训练的基准模型。研究认为，CLAP 模型因训练数据涵盖更多非语音内容，能更好地捕捉心音相关特征，从而提升估算效果。

苹果研究人员表示，语音处理的基础模型可有效适应听诊和生命体征估算任务，成为传统方法的强劲替代方案。他们还发现，模型规模越大并不意味着心率估算效果越好，但通过进一步微调或能提升精度。这项技术有望用于心肺声音的病理分析，帮助更精准地检测心律失常和杂音等异常。