英伟达在5月1日发布了一款开源语音识别模型:Parakeet TDT 0.6B V2,其以 600M 参数登顶 Hugging Face Open ASR 榜单。
平均词错误率(WER)仅 6.05%,超越所有主流闭源模型。它能在 1 秒内转录 60 分钟高质量音频。
基于 FastConformer 架构和 TDT 解码器,仅用 600M 参数实现超低 WER 和极快推理速度。训练数据为 12 万小时 Granary 数据集(含 LibriSpeech、Common Voice 等)。
CC-BY-4.0 许可允许商业和非商业使用!
核心优势
极致转录效率:60 分钟音频仅需 1 秒内完成转录(A100 推理)
OpenASR 榜首表现:超越 Whisper、Conformer、Wav2Vec 等主流闭源模型
极小参数量:仅 0.6B(轻量级,适合边缘设备)
高精度:平均 WER 6.05%(Hugging Face Open ASR 榜单),优于 Whisper-large-v3
高鲁棒性:多语速、多口音、多录音环境下表现稳定(英文)
快速使用
Parakeet TDT 0.6B V2 需 NVIDIA NeMo 工具包。
官方建议在安装最新版本的PyTorch之后再进行安装 NVIDIA NeMo。
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126
安装 NVIDIA NeMo 工具包:
pip install -U nemo_toolkit['asr']
该模型可在NeMo工具包[3]中使用,可作为推理或用于在另一个数据集上进行微调的预训练检查点。
自动实例化模型:
import nemo.collections.asr as nemo_asrasr_model = nemo_asr.models.ASRModel.from_pretrained(model_name="nvidia/parakeet-tdt-0.6b-v2")
使用方法
借助 Python 转录,先获取一个样本
wget https://dldata-public.s3.us-east-2.amazonaws.com/2086-149220-0033.wav
获取Text文本:
output = asr_model.transcribe(['2086-149220-0033.wav'])print(output[0].text)
带有时间戳的转录:
output = asr_model.transcribe(['2086-149220-0033.wav'], timestamps=True)# by default, timestamps are enabled for char, word and segment levelword_timestamps = output[0].timestamp['word'] # word level timestamps for first samplesegment_timestamps = output[0].timestamp['segment'] # segment level timestampschar_timestamps = output[0].timestamp['char'] # char level timestampsfor stamp in segment_timestamps: print(f"{stamp['start']}s - {stamp['end']}s : {stamp['segment']}")
应用场景推荐
实时会议转写
手机/设备端语音助手
视频字幕生成
大模型音频输入预处理器
教育/课程转录系统
技术构建说明
架构:TDT(Time-Depth Transformer),专注于时间维度建模
数据:英伟达自建 + 公共语音数据集大规模训练
推理引擎优化:支持 TensorRT / ONNX Runtime 等高性能部署方案
写在最后
英伟达的 Parakeet-TDT-0.6B V2 模型不仅在参数规模小(仅 0.6B)的前提下超越了许多更大体量的闭源模型。
而且具备极高的推理效率和极低的词错误率(WER),尤其适合需要低延迟 + 高精度 + 商用许可的语音转写场景。
不过目前对于语言支持方面,仅支持英文,期待后续能够支持中文。
这个模型对于需要轻量部署 + 高精度语音识别的开发者来说,是当前最具性价比的选择之一。
HF 模型地址:huggingface.co/nvidia/para…
ASR 排行:huggingface.co/spaces/hf-a…