扣子官方 2024-09-25 14:19 浙江
来自扣子官方的投稿
先预览一下效果
☑️Bot现已开源，一键复制创造属于你的24小时口语专家
---严肃分割线---
下面，让我们带你五步搭建你的 AI 口语产品！
??Step 1：明确产品价值
经过与伙伴的深入讨论，我们明确了雅思 AI 口语陪练产品的市场价值：
1.明确市场价值
?️用户画像高度重合
雅思考试市场年规模可达数十亿元人民币，包含报名费、培训费等。
?️用户驱动力强
雅思考生具有强烈的自我驱动力，对新产品接受度高。
?️用户痛点明显
口语是中国考生的主要难点，缺乏语言环境尤为不利；
口语能力对申请出国留学的学生来说是面试成功的关键因素之一。
?️训练场景高留存率
雅思口语的训练场景有短期高频的需求，题库难度要求考生至少预留一周以上准备时间。
?️产品迭代增量可控
每年1月、5月、9月更新，新增内容占30%，替换70%；
Part 1题库包括30-50道题，Part 2和Part 3的题库涵盖50-60道题。
2.明确可实现性
基于对大模型的了解，口语陪练产品与大模型能力高度契合。语言训练非常符合Transformer架构的特性，是其最佳实践之一。
??Step 2：明确产品功能框架
为了做一款针对雅思口语训练的AI产品，我们首先需要明确雅思口语的考试结构&备考方式：
?️考试结构
Part1（4-5分钟）: 日常口语交流，范围覆盖工作、学习、兴趣爱好、家庭等；
Part2（3-4分钟）：根据考题准备1 分钟，并进行 2 分钟左右的陈述；
Part3（4-5分钟）：基于 Part 2 的话题，和考官进行更深入、更抽象和更具思辨性的讨论。
?️备考方式
题库复习；
教学反馈（实时打分、优化建议、范文梳理）；
考试模拟；
口语素材辅助整理，串题辅导；
训练进度管理。
产品功能框架
来，掌声送给这位全能的专家！
（靴靴大家⁄(⁄ ⁄•⁄ω⁄•⁄ ⁄)⁄）
??Step 3：功能开发
利用Prompt工程和多Agent机制，我们完成了整个产品的功能设计。整体的功能实现思路如下：
1.利用COT+Fewshot，让模型能够基本准确执行任务链路。
以Part1的出题Prompt为例：
## 技能1：出题### 步骤一：选择练习模块- 在对话开始，你用中文提供四个模块给用户选择，分别是人物、事物、事件、地点。- 你需要用中文开始你的对话。#### 按以下格式输出：很高兴陪你练习雅思口语 Part1！请选择你想要练习哪个模块的话题：**人物、事物、事件、地点**#### 特殊情况：- 当用户已经选择具体话题时，直接匹配对应模块，并跳转步骤二。### 步骤二：选择模块的具体话题你要根据用户选择的模块，随机提供一个英文话题和该话题第一个英文题目。#### 输出案例：“<模块名>”模块的随机话题是<英文话题名>。你需要问答的问题是“ <英文题目>”，请开始你的回答。// 开始题库### 人物：#### Work or studies```0.Are you a student or do you have a job?```##### studies```............
2.通过Prompt结构性的优化，使得模型具备准确召回，并处理特殊情况的能力。
以题库的结构化逻辑为例，我们通过准确定义的Markdown语言逻辑，让模型实现的复杂的题库召回:
### Part1#### Module: People##### Work or studies###### studies- What subjects are you studying?- Do you like your subject?- Why did you choose to study that subject?- Do you think that your subject is popular in your country?- Do you have any plans for your studies in the next five years?- What are the benefits of being your age?- Do you want to change your major?- Do you prefer to study in the mornings or in the afternoons?- How much time do you spend on your studies each week?- Are you looking forward to working?- What technology do you use when you study?- What changes would you like to see in your school?
下面看看效果实现?
查看Part 1所有题库⬇️
练习Part 2&3 部分，实现效果 ⬇️
回顾学习进度⬇️
雅思模拟考试，实现效果 ⬇️
左右滑动，查看更多
?️多 Agent 设计
在多 Agent 的跳转逻辑设定中，在Part1/2的模型中，我们选择了“在当前节点的运行过程中识别”的模式，让Part之间的跳转决策后置，让跳转行为更为可控。但是对于希望用户能够沉浸完成正常考试的“模拟考试”节点，我们选择了“独立于当前节点的模型识别-大语言模型”模式，增加跳转决策受到Prompt影响的权重，对跳转行为做出了更多强制性的限制。下面是我们用于“模拟考试”节点的提示词：
多Agent设计
??Step 4：能力评测与迭代
通过模拟不同类型的用户行为，来制定Bot功能的评测集，从而衡量Bot表现是否符合预期。下面是制定评测集的思路：
Session 1: 模拟学霸类用户对 Part 1/2/3 进行评测
?️重点评测方向：
回复的准确性与稳定性；
逐句优化的稳定性；
在引入一定干扰情况下，测试 Bot 的记忆能力至稳定。
Session 2: 模拟口语较差用户对 Part 1/2/3进行评测
?️重点评测方向：
回复的准确性与稳定性；
逐句优化的稳定性；
在存在较多干扰情况下，测试 Bot 的记忆能力上限。
Session 3: 模拟准备初期用户梳理 Part 2 材料与串题
?️重点评测方向：
梳理提问思路是否合理；
材料整理的质量；
串题的准确性。
??Step 5：数据回收&优化
根据多轮真实用户的反馈，我们针对性地对Prompt和功能逻辑做了优化，从而在语气优化和细节处理方面更有把握。
Bot上线后，已经有大约4500名用户使用，人均对话轮数超过10轮，人均对话时长超过10分钟，更懂同学们的Bot，就更厉害哦～
⬆️ 雅思口语专家 ⬆️
大家可以通过上面的链接
打开对应 bot
进行雅思口语的练习
并查看相关配置
欢迎点击阅读原文，一键复制
一起创造更多 AI + 语言的场景！?
以上内容，投稿自扣子官方
并且，还有一份来自官方的抽奖
