V2EX 07月19日 19:56
[程序员] 项目自荐: GPT-Load - 高性能 AI 网关,为多种大模型服务提供统一的负载均衡和密钥管理。
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

gpt-load是一款专为企业和开发者设计的AI接口透明代理服务,支持OpenAI、Gemini等多种渠道的API密钥轮询代理。它采用Go语言开发,具备高性能、企业级架构,提供智能密钥管理、负载均衡、智能故障处理、动态配置和全面的监控功能。通过Vue 3的Web管理界面,用户可以轻松管理密钥分组、进行负载均衡配置,并实时监控服务状态。该项目支持Docker、Docker Compose及源码部署,旨在为高并发生产环境提供稳定可靠的AI服务集成解决方案。

🌟 **多渠道AI模型代理与轮询**:gpt-load能够整合OpenAI、Gemini等多种AI服务提供商的API密钥,并实现密钥池的轮询代理。这意味着用户可以轻松管理和使用来自不同渠道的API密钥,通过智能轮询机制,确保服务的可用性和效率,尤其是在Gemini免费额度恢复的情况下,能够充分利用各类资源。

🚀 **高性能与企业级架构设计**:该代理服务采用Go语言开发,并针对高并发生产环境进行了优化,实现了零拷贝流式传输、连接池复用等高性能设计。其企业级架构支持分布式主从部署,能够实现水平扩展和高可用性,满足大规模应用场景的需求。

🔑 **智能密钥管理与故障恢复**:项目内置了强大的密钥池管理系统,支持密钥的分组管理、自动轮换以及故障恢复机制。当某个API密钥失效或出现问题时,系统能够自动切换到可用的密钥,并具备自动黑名单管理和恢复功能,保障了服务的稳定性和连续性。

🌐 **透明代理与负载均衡**:gpt-load提供完全透明的代理服务,能够保留原生API格式,兼容OpenAI和Google Gemini等多种API规范,并可根据需求持续扩展。同时,它支持多上游端点的加权负载均衡,能够根据设定的权重将请求分发到不同的上游服务,有效提升整体服务的可用性和响应速度。

🔧 **现代化管理与监控**:项目提供基于Vue 3的Web管理界面,操作直观易用,方便用户进行系统设置、分组配置(支持热重载)和监控。全面的监控功能包括实时统计、健康检查和详细的请求日志,使管理者能够全面掌握服务的运行状况,及时发现和处理潜在问题。

项目地址: https://github.com/tbphp/gpt-load
如果对你有用,辛苦点个 Star 吧。

简单说下,能干啥:
支持多个渠道类型( OpenAI ,Gemini )的 Key 池轮询代理服务。现在 Gemini 的免费 Key 又恢复了gemini-2.5-pro可用额度,马上去搞点 Key ,一键部署起来爽用!如果你有很多硅基或者其他渠道的 Key ,也可以用这个项目来方便的管理多 Key 。

一个高性能、企业级的 AI 接口透明代理服务,专门为需要集成多种 AI 服务的企业和开发者设计。采用 Go 语言开发,具备智能密钥管理、负载均衡和完善的监控功能,专为高并发生产环境而设计。

详细请查看 官方文档

功能特性

Docker 快速开始

docker run -d --name gpt-load \    -p 3001:3001 \    -e AUTH_KEY=sk-123456 \    -v "$(pwd)/data":/app/data \    ghcr.io/tbphp/gpt-load:latest# 使用 sk-123456 登录管理界面: http://localhost:3001

还支持Claw Cloud快速部署,Docker Compose及源码部署。
更多部署方式和使用方法情参考 官方文档

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

AI代理 GPT Gemini 负载均衡 密钥管理
相关文章