掘金 人工智能 16小时前
英伟达开源语音识别模型!0.6B 参数登顶 ASR 榜单,1 秒转录 60 分钟音频!
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

英伟达推出开源语音识别模型Parakeet TDT 0.6B V2,以600M参数在Hugging Face Open ASR榜单上名列前茅。该模型平均词错误率仅为6.05%,超越了许多闭源模型,且能在1秒内转录60分钟高质量音频。Parakeet TDT 0.6B V2基于FastConformer架构和TDT解码器,具有极低的WER和极快的推理速度。它使用CC-BY-4.0许可,支持商业和非商业使用,适用于多种应用场景,如实时会议转录、语音助手等。虽然目前仅支持英文,但其轻量级、高精度和高鲁棒性使其成为低延迟、高精度语音识别的理想选择。

🚀 **极致转录效率:** Parakeet TDT 0.6B V2模型能够在1秒内完成对60分钟音频的转录,这得益于其高效的架构和优化。

🥇 **OpenASR榜首表现:** 该模型在Hugging Face Open ASR榜单上表现出色,超越了Whisper、Conformer、Wav2Vec等主流闭源模型,证明了其卓越的性能。

💡 **极小参数量:** 仅0.6B的参数量使其成为轻量级模型,适合在边缘设备上部署,降低了对计算资源的需求。

🎯 **高精度:** 模型平均词错误率(WER)仅为6.05%,在Hugging Face Open ASR榜单中表现优异,保证了转录的准确性。

🌍 **高鲁棒性:** 模型在多语速、多口音、多录音环境下的表现稳定,尤其是在英文语音识别方面展现出强大的适应能力。

英伟达在5月1日发布了一款开源语音识别模型:Parakeet TDT 0.6B V2,其以 600M 参数登顶 Hugging Face Open ASR 榜单。

平均词错误率(WER)仅 6.05%,超越所有主流闭源模型。它能在 1 秒内转录 60 分钟高质量音频。

基于 FastConformer 架构和 TDT 解码器,仅用 600M 参数实现超低 WER 和极快推理速度。训练数据为 12 万小时 Granary 数据集(含 LibriSpeech、Common Voice 等)。

CC-BY-4.0 许可允许商业和非商业使用!

核心优势

快速使用

Parakeet TDT 0.6B V2 需 NVIDIA NeMo 工具包。

官方建议在安装最新版本的PyTorch之后再进行安装 NVIDIA NeMo。

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126

安装 NVIDIA NeMo 工具包:

pip install -U nemo_toolkit['asr']

该模型可在NeMo工具包[3]中使用,可作为推理或用于在另一个数据集上进行微调的预训练检查点。

自动实例化模型:

import nemo.collections.asr as nemo_asrasr_model = nemo_asr.models.ASRModel.from_pretrained(model_name="nvidia/parakeet-tdt-0.6b-v2")

使用方法

借助 Python 转录,先获取一个样本

wget https://dldata-public.s3.us-east-2.amazonaws.com/2086-149220-0033.wav

获取Text文本:

output = asr_model.transcribe(['2086-149220-0033.wav'])print(output[0].text)

带有时间戳的转录:

output = asr_model.transcribe(['2086-149220-0033.wav'], timestamps=True)# by default, timestamps are enabled for char, word and segment levelword_timestamps = output[0].timestamp['word'# word level timestamps for first samplesegment_timestamps = output[0].timestamp['segment'# segment level timestampschar_timestamps = output[0].timestamp['char'# char level timestampsfor stamp in segment_timestamps:    print(f"{stamp['start']}s - {stamp['end']}s : {stamp['segment']}")

应用场景推荐

技术构建说明

写在最后

英伟达的 Parakeet-TDT-0.6B V2 模型不仅在参数规模小(仅 0.6B)的前提下超越了许多更大体量的闭源模型。

而且具备极高的推理效率和极低的词错误率(WER),尤其适合需要低延迟 + 高精度 + 商用许可的语音转写场景。

不过目前对于语言支持方面,仅支持英文,期待后续能够支持中文。

这个模型对于需要轻量部署 + 高精度语音识别的开发者来说,是当前最具性价比的选择之一。

HF 模型地址:huggingface.co/nvidia/para…

ASR 排行:huggingface.co/spaces/hf-a…

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

英伟达 语音识别 Parakeet 开源 ASR
相关文章