上下文标头在RAG中使用
增强生成（RAG）通过在生成响应之前检索相关的外部知识来提高语言模型的事实准确性。然而，标准组块经常丢失重要的上下文，使得检索不太有效。上下文块标头（CCH）通过在嵌入每个块之前为每个块添加高级上下文（如文档标题或部分标头）来增强RAG。这提高了检索质量并防止了断章取义的响应。
具体操作步骤
1.数据摄取：加载和预处理文本数据。 2.带有上下文标头的组块：提取部分标题并将其添加到组块中。 3.嵌入创建：将上下文增强的块转换为数字表示。 4.语义搜索：根据用户查询检索相关块。 5.响应生成：使用语言模型从检索到的文本中生成响应。 6.评估：使用评分系统评估响应准确性。
代码展示
PDF提取文本
def extract_text_from_pdf(pdf_path): """ 从PDF文件中提取全部文本 :param pdf_path: PDF文件路径 :return: 提取的文本内容（str） """ with open(pdf_path, 'rb') as f: reader = PdfReader(f) text = "" for page in reader.pages: text += page.extract_text() return text用Qwen大模型为文本块生成标题
def generate_chunk_header(chunk, model=LLM_MODEL): """ 用Qwen大模型为文本块生成标题 :param chunk: 文本块内容 :param model: 生成模型名 :return: 生成的标题 """ system_prompt = "请为下面这段文本生成一个简明扼要的标题。" try: response = Generation.call( model=model, messages=[ {"role": "system", "content": system_prompt}, {"role": "user", "content": chunk} ], api_key=DASHSCOPE_API_KEY, result_format='message' ) if response.status_code == 200: return response.output.choices[0].message.content.strip() else: print(f"标题生成失败: {response.message}") return "无标题" except Exception as e: print(f"标题生成异常: {e}") return "无标题"阿里embedding模型生成单条文本的向量
def create_embedding(text, model=EMBEDDING_MODEL): """ 用阿里embedding模型生成单条文本的向量 :param text: 输入文本 :param model: 嵌入模型名 :return: 向量（list[float]） """ try: response = TextEmbedding.call( model=model, input=[text], api_key=DASHSCOPE_API_KEY ) if response.status_code == 200: emb = response.output['embeddings'][0]['embedding'] return np.array(emb) else: print(f"嵌入生成失败: {response.message}") return None except Exception as e: print(f"嵌入生成异常: {e}") return None计算两个向量的余弦相似度
def cosine_similarity(vec1, vec2): """ 计算两个向量的余弦相似度 """ return np.dot(vec1, vec2) / (np.linalg.norm(vec1) * np.linalg.norm(vec2))用embedding做语义检索，返回最相关的k个块
def semantic_search(query, chunks, k=3): """ 用embedding做语义检索，返回最相关的k个块 :param query: 用户查询 :param chunks: [{'header':..., 'text':..., 'embedding':..., 'header_embedding':...}, ...] :param k: 返回top-k :return: top-k块 """ query_emb = create_embedding(query) scores = [] for chunk in chunks: sim_text = cosine_similarity(query_emb, chunk['embedding']) sim_header = cosine_similarity(query_emb, chunk['header_embedding']) avg_sim = (sim_text + sim_header) / 2 scores.append((chunk, avg_sim)) scores.sort(key=lambda x: x[1], reverse=True) return [x[0] for x in scores[:k]]用Qwen大模型生成最终回答
def generate_response(system_prompt, user_message, model=LLM_MODEL): """ 用Qwen大模型生成最终回答 :param system_prompt: 系统提示词 :param user_message: 用户问题+上下文 :param model: 生成模型名 :return: 回答内容 """ try: response = Generation.call( model=model, messages=[ {"role": "system", "content": system_prompt}, {"role": "user", "content": user_message} ], api_key=DASHSCOPE_API_KEY, result_format='message' ) if response.status_code == 200: return response.output.choices[0].message.content.strip() else: print(f"回答生成失败: {response.message}") return "" except Exception as e: print(f"回答生成异常: {e}") return ""用Qwen大模型自动评测AI回答质量
def evaluate_response(query, ai_response, true_answer): """ 用Qwen大模型自动评测AI回答质量 :param query: 用户问题 :param ai_response: AI回答 :param true_answer: 标准答案 :return: 评分（0/0.5/1） """ eval_prompt = """你是一个智能评估系统。请根据下列标准评估AI助手的回答：\n- 非常接近标准答案，给1分；\n- 部分正确，给0.5分；\n- 不正确，给0分。只返回分数（0、0.5或1）。""" user_eval = f"用户问题: {query}\nAI回答: {ai_response}\n标准答案: {true_answer}" score = generate_response(eval_prompt, user_eval) return score效果展示
正在提取PDF文本...文本长度: 6984 字符正在分块并生成标题...共生成 9 个块示例块标题: 2024年Java程序员最新面试攻略：从简历优化到技术深度准备示例块内容: 2024年Java程序员找工作最新面试攻略这个文档是帮助正在找工作以及准备找工作的同学，在面试之前去复习和突击的一种方式。适合已经在技术领域有一定积累，然后不确定面试切入点，所以可以通过这个面试...正在为每个块生成向量...生成文本和标题向量: 100%|██████████| 9/9 [00:03<00:00, 2.40it/s]向量生成完成用户问题: Java程序员面试中常见的技术问题有哪些？Top1 标题: 2024年Java程序员最新面试攻略：从简历优化到技术深度准备内容: 2024年Java程序员找工作最新面试攻略这个文档是帮助正在找工作以及准备找工作的同学，在面试之前去复习和突击的一种方式。适合已经在技术领域有一定积累，然后不确定面试切入点，所以可以通过这个面试...Top2 标题: 面试技术准备与项目经验分享指南内容: 本要求。 对于分布式架构的宣称，则需对CAP原则、微服务架构、弹性设计以及SpringCloud、CloudNative等相关技术框架有深刻理解。 关于网络编程的技能，理解TCP/IP协议的...AI回答: 根据提供的内容，Java程序员面试中常见的技术问题包括但不限于以下几个方面：1. **分布式架构相关**：这要求候选人对CAP原则、微服务架构、弹性设计有深刻的理解。此外，熟悉Spring Cloud和CloudNative等技术框架也是必要的。2. **网络编程技能**： - 理解TCP/IP协议的工作原理，特别是三次握手和四次挥手的过程。 - 掌握Socket编程基础。 - 了解I/O多路复用技术，比如select、poll、epoll等机制。这些问题考察的是应聘者对于Java生态系统及其相关领域核心技术的掌握程度。除了上述提到的技术知识点外，在实际面试过程中还可能涉及更多具体领域的深入探讨，如并发编程、JVM调优、常用的设计模式等。此外，随着行业的发展，面试官也可能询问与云计算、大数据处理、人工智能等相关的新技术知识。自动评测得分: 0.5进程已结束，退出代码为 0附录
完整代码
# -*- coding: utf-8 -*-"""05_contextual_chunk_headers_rag.ipynbRAG主流程示例：上下文分块+标题增强+阿里大模型（Qwen）+阿里embedding支持PDF文本提取、分块、标题生成、向量生成、语义检索、生成回答、自动评测作者：AI助手"""import osimport numpy as npfrom tqdm import tqdmfrom PyPDF2 import PdfReaderfrom dashscope import Generation, TextEmbeddingimport json# ================== 配置区 =====================# 阿里云API密钥（请替换为你的实际密钥）DASHSCOPE_API_KEY = "sk-xxxx"# 生成模型名称LLM_MODEL = "qwen-max"# 向量模型名称EMBEDDING_MODEL = "text-embedding-v2"# ==============================================def extract_text_from_pdf(pdf_path): """ 从PDF文件中提取全部文本 :param pdf_path: PDF文件路径 :return: 提取的文本内容（str） """ with open(pdf_path, 'rb') as f: reader = PdfReader(f) text = "" for page in reader.pages: text += page.extract_text() return textdef generate_chunk_header(chunk, model=LLM_MODEL): """ 用Qwen大模型为文本块生成标题 :param chunk: 文本块内容 :param model: 生成模型名 :return: 生成的标题 """ system_prompt = "请为下面这段文本生成一个简明扼要的标题。" try: response = Generation.call( model=model, messages=[ {"role": "system", "content": system_prompt}, {"role": "user", "content": chunk} ], api_key=DASHSCOPE_API_KEY, result_format='message' ) if response.status_code == 200: return response.output.choices[0].message.content.strip() else: print(f"标题生成失败: {response.message}") return "无标题" except Exception as e: print(f"标题生成异常: {e}") return "无标题"def chunk_text_with_headers(text, chunk_size=1000, overlap=200): """ 将文本分块，并为每块生成标题 :param text: 原始文本 :param chunk_size: 每块字符数 :param overlap: 块间重叠字符数 :return: [{'header':..., 'text':...}, ...] """ chunks = [] for i in range(0, len(text), chunk_size - overlap): chunk = text[i:i+chunk_size] header = generate_chunk_header(chunk) chunks.append({"header": header, "text": chunk}) return chunksdef create_embedding(text, model=EMBEDDING_MODEL): """ 用阿里embedding模型生成单条文本的向量 :param text: 输入文本 :param model: 嵌入模型名 :return: 向量（list[float]） """ try: response = TextEmbedding.call( model=model, input=[text], api_key=DASHSCOPE_API_KEY ) if response.status_code == 200: emb = response.output['embeddings'][0]['embedding'] return np.array(emb) else: print(f"嵌入生成失败: {response.message}") return None except Exception as e: print(f"嵌入生成异常: {e}") return Nonedef cosine_similarity(vec1, vec2): """ 计算两个向量的余弦相似度 """ return np.dot(vec1, vec2) / (np.linalg.norm(vec1) * np.linalg.norm(vec2))def semantic_search(query, chunks, k=3): """ 用embedding做语义检索，返回最相关的k个块 :param query: 用户查询 :param chunks: [{'header':..., 'text':..., 'embedding':..., 'header_embedding':...}, ...] :param k: 返回top-k :return: top-k块 """ query_emb = create_embedding(query) scores = [] for chunk in chunks: sim_text = cosine_similarity(query_emb, chunk['embedding']) sim_header = cosine_similarity(query_emb, chunk['header_embedding']) avg_sim = (sim_text + sim_header) / 2 scores.append((chunk, avg_sim)) scores.sort(key=lambda x: x[1], reverse=True) return [x[0] for x in scores[:k]]def generate_response(system_prompt, user_message, model=LLM_MODEL): """ 用Qwen大模型生成最终回答 :param system_prompt: 系统提示词 :param user_message: 用户问题+上下文 :param model: 生成模型名 :return: 回答内容 """ try: response = Generation.call( model=model, messages=[ {"role": "system", "content": system_prompt}, {"role": "user", "content": user_message} ], api_key=DASHSCOPE_API_KEY, result_format='message' ) if response.status_code == 200: return response.output.choices[0].message.content.strip() else: print(f"回答生成失败: {response.message}") return "" except Exception as e: print(f"回答生成异常: {e}") return ""def evaluate_response(query, ai_response, true_answer): """ 用Qwen大模型自动评测AI回答质量 :param query: 用户问题 :param ai_response: AI回答 :param true_answer: 标准答案 :return: 评分（0/0.5/1） """ eval_prompt = """你是一个智能评估系统。请根据下列标准评估AI助手的回答：\n- 非常接近标准答案，给1分；\n- 部分正确，给0.5分；\n- 不正确，给0分。只返回分数（0、0.5或1）。""" user_eval = f"用户问题: {query}\nAI回答: {ai_response}\n标准答案: {true_answer}" score = generate_response(eval_prompt, user_eval) return scoredef main(): # ========== 1. PDF文本提取 ========== pdf_path = "data/2888年Java程序员找工作最新场景题.pdf" # 请替换为你的PDF路径 print("正在提取PDF文本...") text = extract_text_from_pdf(pdf_path) print(f"文本长度: {len(text)} 字符\n") # ========== 2. 分块+标题生成 ========== print("正在分块并生成标题...") text_chunks = chunk_text_with_headers(text, chunk_size=1000, overlap=200) print(f"共生成 {len(text_chunks)} 个块\n") print(f"示例块标题: {text_chunks[0]['header']}") print(f"示例块内容: {text_chunks[0]['text'][:100]}...\n") # ========== 3. 生成向量 ========== print("正在为每个块生成向量...") for chunk in tqdm(text_chunks, desc="生成文本和标题向量"): chunk['embedding'] = create_embedding(chunk['text']) chunk['header_embedding'] = create_embedding(chunk['header']) print("向量生成完成\n") # ========== 4. 语义检索 ========== # 假设有一个验证集json: data/val.json，格式[{"question":..., "ideal_answer":...}] val_path = "data/java_val.json" if not os.path.exists(val_path): print(f"未找到验证集 {val_path}，请准备好后再运行。仅演示到检索阶段。") return with open(val_path, 'r', encoding='utf-8') as f: val_data = json.load(f) query = val_data[0]['question'] true_answer = val_data[0]['ideal_answer'] print(f"\n用户问题: {query}") top_chunks = semantic_search(query, text_chunks, k=2) for i, chunk in enumerate(top_chunks): print(f"Top{i+1} 标题: {chunk['header']}") print(f"内容: {chunk['text'][:100]}...\n") # ========== 5. 生成最终回答 ========== system_prompt = "你是一个AI助手，只能基于给定上下文回答。如果无法从上下文直接得出答案，请回复：'信息不足，无法回答。'" user_prompt = "\n".join([f"标题: {c['header']}\n内容: {c['text']}" for c in top_chunks]) + f"\n问题: {query}" ai_response = generate_response(system_prompt, user_prompt) print(f"\nAI回答: {ai_response}\n") # ========== 6. 自动评测 ========== score = evaluate_response(query, ai_response, true_answer) print(f"自动评测得分: {score}")if __name__ == "__main__": main()问题集
[ { "question": "Java程序员面试中常见的技术问题有哪些？", "ideal_answer": "Java程序员面试中常见的技术问题包括：Java基础（面向对象、集合框架、异常处理）、多线程和并发编程、JVM原理和调优、Spring框架（IOC、AOP、事务管理）、数据库（SQL优化、索引、事务）、设计模式、算法和数据结构、微服务架构、分布式系统等。面试官通常会考察候选人的理论基础和实践经验。", "reference": "Java程序员面试技术问题章节", "has_answer": true, "reasoning": "文档详细介绍了Java程序员面试中常见的技术问题类型和考察重点。" }, { "question": "Spring框架在Java开发中的重要性是什么？", "ideal_answer": "Spring框架在Java开发中具有重要地位，主要体现在：1）IOC容器管理对象依赖，降低代码耦合度；2）AOP面向切面编程，实现横切关注点的模块化；3）提供统一的事务管理机制；4）集成各种数据访问技术；5）支持微服务架构开发。Spring已成为Java企业级开发的标准框架。", "reference": "Spring框架应用章节", "has_answer": true, "reasoning": "文档详细说明了Spring框架的核心特性和在企业开发中的重要作用。" }, { "question": "JVM调优有哪些常用的方法？", "ideal_answer": "JVM调优的常用方法包括：1）调整堆内存大小（-Xms、-Xmx）；2）设置新生代和老年代比例（-XX:NewRatio）；3）选择垃圾收集器（G1、CMS、ParallelGC）；4）调整GC参数（-XX:MaxGCPauseMillis）；5）监控GC日志分析性能瓶颈；6）使用JVM监控工具（JProfiler、MAT）分析内存使用情况。", "reference": "JVM调优和性能优化章节", "has_answer": true, "reasoning": "文档提供了详细的JVM调优方法和参数配置指导。" }, { "question": "Java多线程编程中需要注意什么？", "ideal_answer": "Java多线程编程需要注意：1）线程安全问题，使用synchronized、volatile、Lock等机制；2）避免死锁，合理设计锁的获取顺序；3）使用线程池管理线程资源；4）注意内存可见性问题；5）合理使用并发工具类（CountDownLatch、CyclicBarrier、Semaphore）；6）避免过度使用线程，考虑性能开销。", "reference": "多线程和并发编程章节", "has_answer": true, "reasoning": "文档详细说明了多线程编程的关键注意事项和最佳实践。" }, { "question": "数据库优化在Java项目中的作用是什么？", "ideal_answer": "数据库优化在Java项目中起到关键作用：1）提高查询性能，减少响应时间；2）优化索引设计，提升查询效率；3）合理设计表结构，避免冗余；4）使用连接池管理数据库连接；5）优化SQL语句，避免全表扫描；6）分库分表处理大数据量；7）使用缓存减少数据库压力。", "reference": "数据库优化和性能调优章节", "has_answer": true, "reasoning": "文档详细介绍了数据库优化的重要性和具体方法。" }, { "question": "微服务架构的优势和挑战是什么？", "ideal_answer": "微服务架构的优势：1）服务独立部署，技术栈灵活；2）团队独立开发，提高开发效率；3）故障隔离，提高系统稳定性；4）易于扩展和维护。挑战：1）分布式系统复杂性增加；2）服务间通信开销；3）数据一致性问题；4）运维复杂度提高；5）需要完善的监控和日志系统。", "reference": "微服务架构设计章节", "has_answer": true, "reasoning": "文档全面分析了微服务架构的优缺点和适用场景。" }, { "question": "设计模式在Java开发中的应用场景有哪些？", "ideal_answer": "设计模式在Java开发中的常见应用场景：1）单例模式用于配置管理、数据库连接池；2）工厂模式用于对象创建；3）观察者模式用于事件处理；4）策略模式用于算法选择；5）代理模式用于权限控制、缓存；6）适配器模式用于接口兼容；7）装饰器模式用于功能扩展。", "reference": "设计模式应用章节", "has_answer": true, "reasoning": "文档详细介绍了各种设计模式在Java项目中的实际应用。" }, { "question": "Java程序员找工作需要多少年经验？", "ideal_answer": "Java程序员找工作的经验要求：1）初级开发：0-2年经验，掌握Java基础、Spring框架、数据库；2）中级开发：3-5年经验，具备系统设计能力、性能优化经验；3）高级开发：5年以上经验，具备架构设计、团队管理能力；4）专家级：8年以上经验，具备技术决策、创新研究能力。", "reference": "Java程序员职业发展章节", "has_answer": true, "reasoning": "文档详细说明了不同级别Java程序员的经验要求和技能标准。" }, { "question": "初级Java程序员的薪资水平如何？", "ideal_answer": "初级Java程序员的薪资水平：1）一线城市：8-15K/月；2）二线城市：6-12K/月；3）三线城市：4-8K/月。薪资影响因素：1）技术能力水平；2）学历背景；3）公司规模和行业；4）地区经济发展水平；5）项目经验丰富程度。建议关注技能提升而非短期薪资。", "reference": "Java程序员薪资分析章节", "has_answer": true, "reasoning": "文档提供了详细的薪资水平分析和影响因素说明。" }, { "question": "Java程序员如何提升自己的技能？", "ideal_answer": "Java程序员技能提升方法：1）深入学习Java核心技术（JVM、并发编程）；2）掌握主流框架（Spring、MyBatis、Dubbo）；3）学习数据库优化和分布式系统；4）参与开源项目，提升代码质量；5）阅读技术书籍和源码；6）参加技术会议和培训；7）实践项目，积累实战经验。", "reference": "Java程序员技能提升章节", "has_answer": true, "reasoning": "文档提供了系统性的技能提升路径和方法指导。" }, { "question": "简历中应该突出哪些Java相关技能？", "ideal_answer": "简历中应突出的Java技能：1）核心技术：Java基础、JVM调优、多线程编程；2）框架技术：Spring全家桶、MyBatis、Redis；3）数据库：MySQL、Oracle、MongoDB；4）中间件：消息队列、缓存、搜索引擎；5）工具：Git、Maven、Docker；6）项目经验：具体项目描述、技术难点、解决方案。", "reference": "Java程序员简历编写章节", "has_answer": true, "reasoning": "文档详细指导了简历中Java技能的展示方法和重点内容。" }, { "question": "Java程序员面试中如何展示项目经验？", "ideal_answer": "面试中展示项目经验的方法：1）准备项目背景、技术架构、个人职责；2）重点说明技术难点和解决方案；3）量化项目成果（性能提升、用户增长）；4）展示代码质量和设计思路；5）准备项目中的技术细节和优化点；6）说明团队协作和沟通能力。", "reference": "Java程序员面试技巧章节", "has_answer": true, "reasoning": "文档提供了详细的面试中项目经验展示技巧和要点。" }, { "question": "大厂Java程序员面试的流程是怎样的？", "ideal_answer": "大厂Java程序员面试流程：1）简历筛选和HR初筛；2）技术笔试或在线编程测试；3）技术一面：基础知识和算法；4）技术二面：系统设计和项目经验；5）技术三面：架构设计和深度技术；6）HR面：薪资谈判和公司文化；7）背景调查和offer发放。", "reference": "大厂面试流程章节", "has_answer": true, "reasoning": "文档详细描述了大厂面试的完整流程和各环节重点。" }, { "question": "Java程序员职业发展路径是什么？", "ideal_answer": "Java程序员职业发展路径：1）初级开发：掌握基础技术，完成功能开发；2）中级开发：负责模块设计，解决技术难题；3）高级开发：负责系统架构，指导团队开发；4）技术专家：技术决策，创新研究；5）技术管理：团队管理，项目管理；6）架构师：系统架构设计，技术战略规划。", "reference": "Java程序员职业规划章节", "has_answer": true, "reasoning": "文档提供了清晰的职业发展路径和每个阶段的要求。" }, { "question": "学习Java应该从哪些方面开始？", "ideal_answer": "学习Java的路径：1）Java基础：语法、面向对象、集合框架；2）进阶知识：多线程、JVM原理、反射机制；3）框架学习：Spring、MyBatis、SpringBoot；4）数据库：MySQL、Redis、MongoDB；5）工具使用：Git、Maven、IDEA；6）项目实践：从简单项目开始，逐步增加复杂度。", "reference": "Java学习路径章节", "has_answer": true, "reasoning": "文档提供了系统性的Java学习路径和重点内容。" }, { "question": "Java程序员需要掌握哪些框架？", "ideal_answer": "Java程序员需要掌握的框架：1）Spring框架：IOC、AOP、事务管理；2）SpringBoot：快速开发、自动配置；3）SpringCloud：微服务架构；4）MyBatis：数据持久层；5）Redis：缓存和分布式锁；6）消息队列：RabbitMQ、Kafka；7）搜索引擎：Elasticsearch；8）监控工具：Prometheus、Grafana。", "reference": "Java框架技术栈章节", "has_answer": true, "reasoning": "文档详细介绍了Java开发中常用的框架和技术栈。" }, { "question": "算法和数据结构对Java程序员的重要性？", "ideal_answer": "算法和数据结构对Java程序员的重要性：1）提高代码效率，解决性能问题；2）面试必备技能，大厂必考内容；3）培养编程思维，提升代码质量；4）解决复杂业务问题的基础；5）理解框架源码和系统设计；6）提升技术深度和广度。建议重点掌握：排序、查找、树、图、动态规划等。", "reference": "算法和数据结构重要性章节", "has_answer": true, "reasoning": "文档强调了算法和数据结构在Java开发中的重要作用。" }, { "question": "Java程序员如何准备面试？", "ideal_answer": "Java程序员面试准备：1）复习基础知识：Java核心、框架原理、数据库；2）刷算法题：LeetCode、剑指Offer；3）准备项目经验：技术难点、解决方案、优化点；4）学习系统设计：分布式、高并发、高可用；5）模拟面试：找朋友或同事进行模拟；6）了解公司：技术栈、业务方向、文化氛围。", "reference": "Java程序员面试准备章节", "has_answer": true, "reasoning": "文档提供了全面的面试准备策略和方法。" }, { "question": "学习Java的最佳实践是什么？", "ideal_answer": "学习Java的最佳实践：1）理论与实践结合，多写代码；2）阅读优秀开源项目源码；3）参与技术社区讨论；4）建立知识体系，系统学习；5）定期总结和复习；6）关注技术发展趋势；7）培养问题解决能力；8）保持持续学习的习惯。", "reference": "Java学习最佳实践章节", "has_answer": true, "reasoning": "文档总结了学习Java的有效方法和最佳实践。" }, { "question": "Java程序员需要了解哪些新技术？", "ideal_answer": "Java程序员需要了解的新技术：1）云原生：Kubernetes、Docker、微服务；2）大数据：Hadoop、Spark、Flink；3）AI/ML：机器学习框架、深度学习；4）区块链：智能合约、分布式账本；5）边缘计算：IoT、5G应用；6）低代码平台：快速开发工具；7）DevOps：CI/CD、自动化部署。", "reference": "Java新技术趋势章节", "has_answer": true, "reasoning": "文档介绍了Java程序员需要关注的新技术发展趋势。" }]