原创 PaperAgent 2024-08-27 17:00 湖北
重大福利，今天（8⽉27⽇），智谱AI BigModel开放平台宣布：GLM-4-Flash API全部免费，再也不用担心没token了。
PaperAgent迫不及待的就最经典的LLM落地应用Agentic RAG以及问答生成微调来对GLM-4-Flash（128K）进行了第一手实测：
一、RAG问答
将RAG过程应用于问答的一个代表性实例。主要由3个步骤组成。
索引，文档被分割成块，编码成向量，并存储在向量数据库中。
检索，根据语义相似性检索与问题最相关的前k个块。
生成，将原始问题和检索到的块一起输入到大型语言模型（GLM-4-Flash）中，生成最终答案。
原生RAG问答流程（GLM-4-Flash）
从RAG问答常见的三种问答类型为例：
事实类
总结类
拒绝回答
【案例说明】
多问题事实类型Query: 药明康德2022-2024年归母净利润预测分别是多少？
GLM-4-Flash回答：答案正确、溯源正确（来源于参考资料5）
根据已知信息，药明康德(603259)2022-2024年的净利润预测分别为：- 2022年：80.29亿元- 2023年：99.05亿元- 2024年：127.56亿元这些预测来源于参考材料[5]。
输入：
归纳总结类型Query: 三七互娱未来公司在海外市场的发展战略是什么？
GLM-4-Flash回答：回答全面且具有概括性
三七互娱未来公司在海外市场的发展战略包括以下几点：1. **持续发行优质游戏**：三七互娱将继续推出更多自研和代理游戏，如《云上城之歌》、《斗罗大陆：魂师对决》、《叫我大掌柜》等，以提升海外市场的知名度和收入。2. **突破增长**：公司致力于在MMO、SLG、卡牌以及模拟经营四大赛道中深耕，以实现品类创新和迭代。3. **储备更多游戏**：三七互娱海外发行储备了16款游戏，包括自研和代理产品，预计这些产品将助力公司未来在海外市场的持续增长。4. **元宇宙布局**：公司正积极布局元宇宙，通过投资元宇宙上下游优质标的，与相关企业合作，并上线全国首个元宇宙游戏艺术馆，探索数字藏品与元宇宙社交领域的创新玩法。5. **区域拓展**：未来，三七互娱将继续在日本、韩国等地发行游戏，扩大其海外市场覆盖范围。6. **技术创新**：在流量经营核心优势上加码自研，进行品类创新迭代，以适应海外市场变化。总体来看，三七互娱在海外市场的发展战略是多元化游戏发行、深耕特定游戏品类、布局元宇宙、持续技术创新以及区域市场拓展。
输入：
归纳总结类型Query: 兴齐眼药在眼科医疗领域的竞争对手有哪些？
GLM-4-Flash回答：参考资料无答案，按着指令要求回答了“未知”
未知输入：
GLM-4-Flash使用指南
pip install --upgrade zhipuaifrom zhipuai import ZhipuAIclient = ZhipuAI(api_key="") # 填写您自己的APIKeyresponse = client.chat.completions.create(model="glm-4-flash", # 填写需要调用的模型编码messages=[{"role": "user", "content": "作为一名营销专家，请为智谱开放平台创作一个吸引人的slogan"},{"role": "assistant", "content": "当然，为了创作一个吸引人的slogan，请告诉我一些关于您产品的信息"}],)print(response.choices[0].message)
二、Agentic RAG
RAG问答还常常遇到一些多跳推理问题，例如Query=“与第五交响曲创作于同一世纪的交通工具是什么？”，大模型（GLM-4-Flash）需要分两个子问题来解决：
第五交响曲是在哪个世纪创作的？
19世纪发明的交通工具
GLM-4-Flash用于Agentic RAG
【案例说明】
多跳推理Query: 与第五交响曲创作于同一世纪的交通工具是什么？
GLM-4-Flash回答：工具识别正确、且参数提取正确
第一轮回答：Function(arguments='{"search_term": "第五交响曲创作年份"}', name='get_timeline_explorer')tool_answer: 第五交响曲是由德国作曲家路德维希·范·贝多芬创作的，完成于1808年。第二轮回答：Function(arguments='{"time_period": "1808"}', name='transportation_evolution_archive')tool_answer:19世纪初，以下是一些重要的交通工具发展：1. 马车：虽然马车在19世纪初仍然普遍使用，但这一时期也见证了马车技术的改进，例如蒸汽动力马车的出现。2. 蒸汽机车（蒸汽火车）：1825年，乔治·斯蒂芬森设计的“旅行者号”蒸汽机车在斯托克顿和达灵顿铁路上进行了首次商业运行，标志着铁路运输时代的开始。3. 蒸汽船：19世纪初，蒸汽船开始取代帆船，成为更高效的水上交通工具。例如，克莱门特·阿特金斯设计的“萨凡纳号”蒸汽船在1830年完成了从纽约到英国的航行。
输入：
tools = [{"type": "function","function": {"name": "get_timeline_explorer","description": "通过输入年份或世纪，用户可以获取该时期内的重大历史发展，包括科学、技术、艺术和社会变革等方面的信息","parameters": {"type": "object","properties": {"search_term": {"description": "用户输入的关键词，用于在历史时间线中搜索相关事件","type": "string"}},"required": [ "search_term"]},}},{"type": "function","function": {"name": "transportation_evolution_archive","description": "交通工具发展数据库","parameters": {"type": "object","properties": {"time_period": {"description": "用户可以指定一个年份，以查找该时间内发展的交通工具","type": "string"}},"required": [ "time_period"]},}},]messages = []messages.append({"role": "user", "content": "以下对话优先使用工具"})messages.append({"role": "user", "content": "与第五交响曲创作于同一世纪的交通工具是什么？"})response = client.chat.completions.create(model="glm-4-flash", # 填写需要调用的模型名称messages=messages,tools=tools,)print(response.choices[0].message)
三、问答生成微调
在大模型企业落地的时候经常会遇到有客户用RAG对一些客服场景的FAQ数据集进行问答，这里一个更好的选择是用大模型微调固定的QA对，刚好GLM-4-Flash也支持私域数据微调。
GLM-4-Flash微调的4个主要步骤：
GLM-4-Flash训练完成：
GLM-4-Flash部署完成：
【案例说明】
微调后，GLM-4-Flash可以正确回答。
药明康德2022-2024年归母净利润预测分别是86.21亿元、94.29亿元、116.27亿元。微调前，GLM-4-Flash因为训练数据时效性，是无法回答该问题的。
可以点击阅读原文体验～
