掘金 人工智能 07月25日 17:33
Franky — 边缘计算智能语音助手 / Edge‑Computing Smart Voice Assistant
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

Franky是一款基于树莓派5(Raspberry Pi 5)开发的个性化智能语音助手,它运行在本地,支持低功耗长时间运行,并可扩展至普通电脑使用。该助手可以通过语音或WebUI进行控制,并提供粉色萌系的交互反馈。Franky集成了关键词唤醒、通义千问的语音识别与TTS、音频抢占调度、音乐播放、联系人查询、意图解析、定时提醒、天气查询、多轮LLM聊天以及图片理解等多种核心功能,旨在为用户打造一个便捷、智能的语音交互体验。

🌟 本地化与低功耗运行:Franky的核心优势在于其边缘计算能力,能够直接在树莓派5或本地电脑上运行,无需依赖云端服务器,响应速度快且能耗低,适合长时间使用。

🔊 全面语音交互能力:集成了Porcupine进行本地关键词唤醒,使用通义千问的实时语音识别和CosyVoice模型进行文字转语音,保证了自然流畅的语音交互体验,并能智能调度音频,避免内容冲突。

💡 多样化功能集成:Franky不仅支持音乐播放、天气查询、联系人查询、定时提醒等实用功能,还具备NLU意图解析能力,能够理解用户的指令并执行相应任务,甚至能通过LLM进行多轮对话和图片内容理解。

🎨 友好交互与扩展性:提供粉色萌系的WebUI界面,通过Socket.IO实现实时双向交互,用户可以通过手机或电脑在局域网内方便地控制Franky。其Python开发语言也为爱好者提供了本地运行和二次开发的可能。

🎀 Franky — 边缘计算智能语音助手 / Edge‑Computing Smart Voice Assistant

🚀 简介|Introduction

我想自己做一款属于我的个性化的智能语音助手,受到儿子绘本的启发,我给它起名叫Franky,Franky是一款运行在 树莓派5(Raspberry Pi 5) 上的本地化智能语音助手,目前我就给它放在我的办公室,可以长时间低功耗运行,Franky已经成为了我日常的一部分了。

Franky虽然目前运行在树莓派上,但它不局限于只运行在树莓派,我选择的开发语言是python,喜欢的朋友也可以下载代码,在本地的电脑上就可以运行体验。

Franky可以通过语音或者webui控制,只需要保证同在一个局域网使用手机或者电脑控制。Franky提供了语音和粉色萌系的webui交互反馈,有很大的扩展空间。

✨ 核心特性|Key Features

编号特性                功能
🔔 关键词唤醒      本地 Porcupine,响应快,无需联网
🎙️ 语音识别      通义千问实时语音识别
🗣️ 文字转语音(TTS)通义千问CosyVoice模型,亲切自然
🔊音频抢占调度音乐 ↔ TTS ↔ 提醒 互不打架
5🎵音乐支持音乐列表播放,暂停,继续、上一曲下一曲等操作
6📱联系人查询办公时,通过模糊姓名,拼音,手机或座机尾号查询联系人
5🤖 NLU 意图解析支持音乐、天气、提醒、联系人查询、聊天
6📆 定时/提醒语音或 WebUI 一键设定提醒,删除,提醒列表功能
🌤️ 天气查询实时查询本地天气 API 获取并播报
💬 多轮 LLM 聊天Qwen‑Turbo + 流式 TTS,聊天更流畅
9📷 图片理解通过拍照或者上传图片,理解图片内容
10🌈 粉色萌系 WebUI Socket.IO 双向交互,实时可视化

🏗️ 架构|Architecture

架构设计的也比较简洁,输入通过语音或者WebUI交互输入,然后通过意图识别模块理解我的输入意图,最后分派给不同的任务处理,并反馈结果。

架构图如下,非常清晰。

⚙️ 环境搭建|Setup

硬件方面,需要准备如下:

其实树莓派5也可以不用,本地的电脑就可以运行语音助手的代码,准备好这些东西就可以运行语音助手啦!


🎬 使用示例|Quick Demo

“Franky,播放音乐” → 背景歌单自动播放

“Franky,今天天气怎么样” → 天气播报 +

“Franky,提醒我下午 3 点开会” → 设置提醒 & 到点播报

WebUI 上传图片 → AI 图像理解结果实时返回

Chat聊天 “Franky 罗湖区哪有好吃的” → AI 实时反馈

“Franky,找5257或者找王xx → 工作常用联系人


🤝 贡献|Contributing

项目地址:github.com/gdhucoder/p… ,欢迎✨star 和交流🤝。


🧾 声明:所有内容均为我非工作时间的个人开发探索,技术探索过程公开透明,旨在分享语音交互领域的实战经验,不代表任何单位或组织,不涉及任何职务行为或工作成果,仅供学习参考。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

Franky 边缘计算 语音助手 树莓派 智能家居
相关文章