深度财经头条 05月28日 15:45
硅谷跑出一匹AI应用黑马 视频实时换脸真假莫辨 背后创始人系中国90后
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

硅谷初创公司Akool发布全球首款实时摄像头Akool Live Camera,具备实时翻译多语言、虚拟数字人、实时换脸、动态生成影视级画质视频等核心功能。该摄像头能实时翻译150+种语言,保持说话者声音特色和口型同步;通过4D面部映射技术驱动虚拟数字人,实现自然语言和非语言信号同步输出;精准替换人脸,还原人物情绪和微表情;无需预先录制即可即时生成超逼真视频内容。与Sora等产品相比,Akool Live Camera具有实时性、超低延迟和智能交互能力,适用于广告营销、直播、跨国会议和影视作品创作等场景。

🗣️Akool Live Camera的核心功能包括实时翻译多语言(已支持150+种语言),并能保持说话者的声音特色和口型同步,打破语言障碍。

🎭虚拟数字人功能通过4D面部映射技术和传感器融合方案,精准捕捉人类微表情、手势轨迹及语音语调变化,驱动虚拟数字人实现自然语言处理+非语言信号同步输出,甚至能根据观众所在国家切换语言和手势。

🔄实时换脸功能可以精准替换人脸,还原人物的情绪和微表情特征,还能将主播切换成本地人,增强本地化体验。

🎥实时AI视频生成功能无需预先录制、编写脚本和复杂的后期制作,就能根据用户需求理解对话上下文,即时生成超逼真的视频内容,极大地简化了视频制作流程。

💡Akool Live Camera具备环境感知能力和情感响应的智能交互能力,例如在强光下自动调整面部光影,在嘈杂环境中增强语音清晰度,并能根据用户情绪调整虚拟形象的行为,实现互动式沟通。


《科创板日报》5月28日讯(编辑 宋子乔) AI应用侧又跑出一匹黑马。硅谷初创公司Akool正式发布了全球首款实时摄像头——Akool Live Camera,核心功能包括:实时翻译多语言、虚拟数字人、实时换脸、动态生成影视级画质的视频画面

AI视频翻译功能打破语言壁垒:Akool Live Camera已经能够实时翻译150+种语言,并保持说话者的声音特色和同步口型动作。

虚拟数字人功能可以打造出数字分身:通过4D面部映射技术与传感器融合方案,实时摄像头可精准捕捉人类微表情、手势轨迹及语音语调变化,驱动虚拟数字人实现自然语言处理+非语言信号同步输出。虚拟形象还可根据观众所在国家的语言、文化习惯实时切换语言和手势。

实时换脸功能可以实现人脸的精准替换,并且还原人物的情绪和微表情特征。在面对全球不同地区的用户时,还可以将主播切换成本地人。

实时AI视频生成功能:无需预先录制、编写脚本和复杂的后期制作,Akool实时摄像头就能根据用户的实际需求,理解对话上下文,即时生成超逼真的视频内容。

与其他AI视频生成类产品相比,Akool Live Camera最显著的特点在于实时性、超低延迟,以及环境感知+情感响应的智能交互能力

生成的虚拟形象最低延迟只有500毫秒,在盲测中94%的人无法区分真假;

区别于Sora的静态逻辑,只能基于固定文本指令生成内容,无法感知环境变化或用户实时反馈。Akool Live Camera具备环境感知能力,例如在会议室强光下自动调整面部光影,在嘈杂环境中增强语音清晰度;能实时解析用户情绪,比如观众皱眉时,虚拟形象会放慢语速、重复重点;学生走神时,虚拟教师会切换教学案例,真正实现互动式沟通。

广告营销、直播、跨国会议、影视作品创作是该产品的主要应用场景。Akool创始人兼CEO吕家俊表示:“Akool Live Camera不仅在改进视频创作技术,更在改变视频制作方式。从全球产品发布会到企业会议,甚至医疗保健,我们正在为实时视频开辟新的可能。”

起底Akool和它的90后创始人

Akool成立于2022年,总部位于美国硅谷。其创始人吕家俊是中国人、90后(1990年出生)

他从2009年开始在浙江大学CAD&CG实验室攻读计算机图形学,研究3D建模及用AI辅助3D建模,接触AIGC领域;后师从人工智能领域泰斗大卫•福塞斯(David Forsyth,一位在计算机视觉非常有影响力的教授),在伊利诺伊大学香槟分校(UIUC)深造,获得计算机科学博士学位。

翻阅他的履历,吕家俊曾供职于苹果、谷歌等科技巨头公司,在视觉影像部门担任核心成员。2018年毕业后加入苹果,参与Face ID项目开发,实现戴口罩情况下的人脸识别;2020年前往Google Cloud,专注视频处理和人体动作识别;还兼职做了一年Xreal的Adviser,搭建AI/ML团队并推进AI/ML应用开发,核心方向为手势识别用于AR眼镜的手势控制。

成立两年(2022年-2024年)至今,Akool已有500万用户,年度经常性收入(ARR)达4000万美元,其合作企业包括苹果、可口可乐、麦当劳等。

Akool在中国也成立了代理机构——位于上海的艾库尔科技。资料显示,该公司提供AI视频解决方案,包括视频虚拟人、实时交互虚拟人、视频翻译和视频换脸等服务,其法定代表人为吕家俊,注册资本为100万元人民币,拥有3个注册商标和1项软件著作权。招聘软件显示,艾库尔科技已经完成A轮融资,目前有20-99名员工,正在招聘语音算法工程师等职位。

在2024年底的一次专访中,吕家俊曾向媒体透露,其差异化优势在于对B端企业市场的深度聚焦,“与专注于消费者市场的竞争对手不同,我们认为,企业市场的天花板更高、壁垒更深,客户的黏性也较强。”

长期来看,我们还是想做类似Adobe的公司。所以我们接下来几年的目标就是成为最好的商业视频生产平台,去赋能各种商业应用场景,包括广告营销、电影制作等。”吕家俊说。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

Akool Live Camera 实时AI视频 虚拟数字人 AIGC
相关文章