[开源求助] 我用AI独立构建了一套先进的本地RAG框架,但在Windows打包上被卡住了,寻求开发者合作!
大家好!
我是一个刚接触编程不久的新人(2025年1月才开始),在 AI 的帮助下,我独立设计并构建了一个我引以为傲的开源项目:zhzAI。
它不是一个简单的AI聊天工具,而是一个功能非常强大的纯本地运行的RAG(检索增强生成)框架。它旨在为普通办公用户提供一个安全、智能、完全离线的私人知识库解决方案。
- 项目 GitHub 链接: github.com/geantendorm…
这个项目的核心技术亮点:
- 先进的混合式 RAG 引擎: 整合了向量检索、BM25关键词检索,并通过 RRF 融合算法 与 Cross-Encoder 精排模型,旨在从用户的海量文档中召回最精准的上下文信息。自动化数据流水线: 实现了纯Python的自动化数据处理流水线,能监控目录变化,并深度解析包括
docx
, pdf
, xlsx
在内的多种复杂文档格式(尤其是能将表格精确转为Markdown)。本地化模型支持与软硬件协同 (HAL): 深度集成了轻量级的本地大语言模型(如Qwen 1.7B GGUF)和嵌入模型。框架能够检测用户硬件,并动态调整GPU使用策略,在普通办公电脑上也能流畅运行。高质量、忠于原文的答案生成: 通过精心设计的 Prompt Engineering,引导LLM严格基于检索到的上下文生成答案,从根本上抑制模型幻觉,使其成为一个忠实的“阅读理解者”。项目的技术细节、架构图景和未来规划都在 README
中有非常详细的介绍。
我遇到的困境(我需要您的帮助!):
我坚信这个RAG框架在功能和架构上已经非常成熟,但我被“最后一公里”的工程化问题卡住了。由于我不懂编程,很多问题无法高效解决。
具体来说,我遇到的核心困难是:
Windows 打包与分发 (最大的瓶颈)
- 项目依赖
torch
, llama-cpp-python
, duckdb
等库,在 Windows 上的编译、打包和环境隔离极具挑战。我的实现细节: 为了性能,LLM推理部分使用的是 llama.cpp
官方编译文件;而嵌入模型部分,则是我通过自己编译 llama-cpp-python
来实现的。这增加了打包的复杂度。已尝试的方案: 我已放弃 PyInstaller
和 Nuitka
,因为它们都无法解决 llama.cpp
的底层依赖问题。目前考虑使用嵌入式 Python 环境的方案,但这同样需要专业的工程经验。Windows 平台迁移
- AI 辅助的局限性: 我发现,由于项目内部各模块(如数据流水线、检索服务、LLM接口等)的代码在逻辑和结构上具有极高的相似性,AI 工具在进行代码迁移时,常常会混淆上下文,产生幻觉,无法实现“像素级”的精确对齐,导致 Windows 上的测试严重失败。
代码的工程化与重构
- 我需要有经验的开发者帮助我梳理和解耦部分核心模块,使其更易于维护和扩展。项目目前缺少一套自动化测试流程,来保证代码的健壮性。
我理想中的合作伙伴:
我真诚地希望能找到对 RAG 技术、本地LLM应用充满热情,并且熟悉 Python 项目工程化,尤其是在 Windows 环境下有打包和部署经验的开发者朋友,与我一同合作。
如果您能深入理解整个项目架构,而不仅仅是修改孤立的代码片段,那将是再好不过了!
如果您对解决这些挑战感兴趣,或者对这个项目有任何想法和建议,我非常期待您的帮助!请通过以下方式联系我,或者直接在 GitHub 上提 Issues。
- X: [@geantendormi76]邮箱 (Email): geantendormi76@gmail.com
感谢大家的时间和关注!