掘金 人工智能 07月01日 11:29
[开源求助] 我用AI独立构建了一套先进的本地RAG框架,但在Windows打包上被卡住了,寻求开发者合作!
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

一位编程新手构建了一个先进的本地RAG框架zhzAI,旨在为办公用户提供安全、智能的离线知识库解决方案。该项目整合了混合式RAG引擎、自动化数据流水线、本地化模型支持等技术,但在Windows打包和分发上面临挑战,寻求有经验的开发者合作。作者希望与熟悉Python项目工程化、尤其在Windows环境下有打包和部署经验的开发者共同解决问题。

💡 项目核心技术:zhzAI是一个本地RAG框架,采用了混合式RAG引擎,结合向量检索、BM25关键词检索,并通过RRF融合算法与Cross-Encoder精排模型,实现精准的上下文信息检索。

⚙️ 自动化数据流水线:框架实现了纯Python的自动化数据处理流水线,能够监控目录变化,并深度解析多种复杂文档格式,包括docx、pdf、xlsx等,特别是将表格精确转换为Markdown。

💻 本地化模型支持:zhzAI深度集成了轻量级的本地大语言模型和嵌入模型,并能根据用户硬件动态调整GPU使用策略,确保在普通办公电脑上流畅运行。

🤔 作者面临的困境:主要集中在Windows打包与分发问题,项目依赖库在Windows上的编译、打包和环境隔离极具挑战。此外,代码的工程化与重构、以及自动化测试流程的缺失,也增加了项目的复杂性。

🤝 合作期望:作者希望找到对RAG技术、本地LLM应用充满热情,并且熟悉Python项目工程化,尤其在Windows环境下有打包和部署经验的开发者一起合作,共同解决技术难题。

[开源求助] 我用AI独立构建了一套先进的本地RAG框架,但在Windows打包上被卡住了,寻求开发者合作!

大家好!

我是一个刚接触编程不久的新人(2025年1月才开始),在 AI 的帮助下,我独立设计并构建了一个我引以为傲的开源项目:zhzAI

它不是一个简单的AI聊天工具,而是一个功能非常强大的纯本地运行的RAG(检索增强生成)框架。它旨在为普通办公用户提供一个安全、智能、完全离线的私人知识库解决方案。


这个项目的核心技术亮点:

项目的技术细节、架构图景和未来规划都在 README 中有非常详细的介绍。


我遇到的困境(我需要您的帮助!):

我坚信这个RAG框架在功能和架构上已经非常成熟,但我被“最后一公里”的工程化问题卡住了。由于我不懂编程,很多问题无法高效解决。

具体来说,我遇到的核心困难是:

    Windows 打包与分发 (最大的瓶颈)

      项目依赖 torch, llama-cpp-python, duckdb 等库,在 Windows 上的编译、打包和环境隔离极具挑战。我的实现细节: 为了性能,LLM推理部分使用的是 llama.cpp 官方编译文件;而嵌入模型部分,则是我通过自己编译 llama-cpp-python 来实现的。这增加了打包的复杂度。已尝试的方案: 我已放弃 PyInstallerNuitka,因为它们都无法解决 llama.cpp 的底层依赖问题。目前考虑使用嵌入式 Python 环境的方案,但这同样需要专业的工程经验。

    Windows 平台迁移

      AI 辅助的局限性: 我发现,由于项目内部各模块(如数据流水线、检索服务、LLM接口等)的代码在逻辑和结构上具有极高的相似性,AI 工具在进行代码迁移时,常常会混淆上下文,产生幻觉,无法实现“像素级”的精确对齐,导致 Windows 上的测试严重失败。

    代码的工程化与重构

      我需要有经验的开发者帮助我梳理和解耦部分核心模块,使其更易于维护和扩展。项目目前缺少一套自动化测试流程,来保证代码的健壮性。

我理想中的合作伙伴:

我真诚地希望能找到对 RAG 技术本地LLM应用充满热情,并且熟悉 Python 项目工程化,尤其是在 Windows 环境下有打包和部署经验的开发者朋友,与我一同合作。

如果您能深入理解整个项目架构,而不仅仅是修改孤立的代码片段,那将是再好不过了!

如果您对解决这些挑战感兴趣,或者对这个项目有任何想法和建议,我非常期待您的帮助!请通过以下方式联系我,或者直接在 GitHub 上提 Issues。

感谢大家的时间和关注!

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

RAG框架 Windows打包 开源 Python
相关文章