搭建专属免费AI模型API路由系统,把主流大模型全部统一管理起来

  • A+
所属分类:解决方案
摘要百度已收录

OmniRoute:一个本地跑的AI网关,聚合237个供应商、90+免费额度,RTK+Caveman压缩省15-95% token,支持npm/Docker/Desktop/ARM/Termux/PWA/Fly.io等8种安装方式。

搭建专属免费AI模型API路由系统,把主流大模型全部统一管理起来

你是不是也被这些事搞烦了——

每个月花在AI API上的钱,够吃好几顿火锅了。Claude Pro买了,GPT Plus也买了,Cursor还要另付。结果Claude的额度每个月剩一大截就重置了,GPT那边写代码写到一半 rate limit 弹出来,卡在那等半小时。

最烦的是 token 烧得快。你跑一次 git diff,几百 token 没了。grep 一段日志,又是几百。这些工具输出的东西你根本控制不了它多长,但钱包替你心疼。

还有那些免费额度——散落在十几个平台上,Kiro有、Qoder有、Pollinations也有,但每个平台都要单独注册、单独管 key,光是记住哪个 key 对应哪个服务就够呛了。

后来发现了 OmniRoute,上面这些问题,一次性全解决了。

搭建专属免费AI模型API路由系统,把主流大模型全部统一管理起来


一、OmniRoute 是什么

一句话说清楚:一个本地跑的AI网关,帮你把237个AI供应商的免费额度全部串起来用。

它在你电脑上跑,你的 IDE、Cursor、Cline、Claude Code,所有请求都走它。它干三件事:

第一,帮你找最便宜的。 237个供应商,90多个有免费额度,其中11个永久免费,不用信用卡。OmniRoute 帮你盯着,哪个能用就用哪个。

第二,一个挂了自动换下一个。 额度用完了?毫秒级切到下一个。供应商挂了?再换一个。你写代码的手根本停不下来,后台悄悄就切了。

第三,帮你省 token。 内置的 RTK + Caveman 双重压缩,能砍掉15%到95%的 token。工具密集的 session 里,平均能省89%。同样一个问题,压缩前69个 token,压缩后19个,回答质量没差,但 token 省了七成多。

加在一起,这些免费额度聚合到一块,每个月大约有 16亿个免费 token 可用。第一个月注册时还能多拿一些,大概能到21亿。


二、这玩意儿真的免费?

对,OmniRoute 本身是 MIT 开源协议,完全免费,跑在你自己机器上。

它不收你钱,它只是个路由器。你用的 token 来自各个供应商的免费额度,不是它卖给你的。

你可以这样拼一个零成本方案

供应商 免费模型 额度
Kiro Claude Sonnet 4.5、Haiku 4.5 每月约50积分
Qoder Kimi-K2、DeepSeek-R1 ♾️ 无限
Pollinations GPT-5、Claude、Gemini 无需Key
Cloudflare AI 50+模型 每天10K neurons

这几个加一起,个人开发者日常用完全够用。我自己跑了两个月,一分钱没花。


三、怎么装?多种安装方式,总有一种适合你

OmniRoute 的安装方式非常丰富,基本上覆盖了你能想到的所有平台。

方式一:npm 安装(最推荐,最省事)

npm install -g omniroute
omniroute

跑起来之后 Dashboard 自动弹出,地址在 http://localhost:20128

搭建专属免费AI模型API路由系统,把主流大模型全部统一管理起来

这就是 Dashboard 的样子——供应商、组合路由、使用分析、健康状况、成本统计,一目了然。

方式二:Docker 安装(适合服务器部署)

docker run -d \
  --name omniroute \
  --restart unless-stopped \
  --stop-timeout 40 \
  -p 20128:20128 \
  -v omniroute-data:/app/data \
  diegosouzapw/omniroute:latest

方式三:桌面端应用(Windows / macOS / Linux)

官方提供了 Electron 桌面端,有完整的图形界面,适合不想碰命令行的用户。去 GitHub Releases 页面下载对应系统的安装包即可:

方式四:从源码编译(适合开发者)

git clone https://github.com/diegosouzapw/OmniRoute.git
cd OmniRoute
npm install
npm run dev

适合想自己改源码、或者想研究内部实现的朋友。开发模式跑起来有热更新,改代码实时生效。

方式五:Termux(手机上跑)

Android 用户在 Termux 里也能跑:

pkg install nodejs && npx -y omniroute

手机变 AI 网关,出门在外也能用。

安装方式速查表

方式 适用场景 命令/操作
npm 个人电脑,最推荐 npm install -g omniroute && omniroute
Docker 服务器长期运行 docker run diegosouzapw/omniroute
Desktop Win/Mac/Linux 桌面用户 GitHub Releases 下载
源码 开发者/二次开发 git clone && npm run dev
ARM 树莓派/ARM设备 npm install -g omniroute
Termux Android 手机 pkg install nodejs && npm i -g omniroute
PWA 浏览器即开即用 访问 omniroute.online
Fly.io 云上部署 fly deploy

四、连供应商,配工具

连免费供应商

Dashboard 的 Providers 页面,点 Connect,把 Kiro、Pollinations 这些免费的都连上。每个供应商有独立的配置向导,跟着走就行。

搭建专属免费AI模型API路由系统,把主流大模型全部统一管理起来

上面这个界面就是连接供应商的操作,支持 OAuth 一键登录,也支持手动填 API Key。点一下 Connect,供应商就接好了。

配你的AI工具

Cursor、Cline、Copilot,任何一个都行,把 API 地址改成:

Base URL: http://localhost:20128/v1
API Key:  从 Dashboard 复制
Model:    auto

Model 填 auto 最省心——OmniRoute 会根据健康状态、配额、成本、延迟,自动选最优的供应商。也可以选:

Model ID 用途
auto 默认均衡模式
auto/coding 偏向代码质量
auto/fast 追求响应速度
auto/cheap 最省钱模式
auto/offline 优先用额度最多的
auto/smart 质量优先 + 10%探索新模型

组合路由配置

OmniRoute 还支持组合路由——把多个模型串成一条链,自动按需切换:

搭建专属免费AI模型API路由系统,把主流大模型全部统一管理起来

比如你配一条链:Claude(订阅)→ GPT-4(API)→ GLM(便宜)→ Claude Haiku(免费)。前面挂了就自动切后面,你根本感知不到,代码写到手软。


五、几个我觉得特别值的点

Token 压缩是真的香

OmniRoute 内置了10个压缩引擎,最实用的是 RTK + Caveman 组合。举个例子你就懂:

压缩前(69 tokens): "The reason your React component is re-rendering is likely because you're creating a new object reference on each render cycle..." 压缩后(19 tokens): "New object ref each render. Inline object prop = new ref = re-render. Wrap in useMemo."

意思一模一样,token 少了七成。一天跑几十次 coding session,省下来的 token 够你多用好几个模型。

17种路由策略,够你折腾

优先级路由、加权随机、成本优化、round-robin、上下文接力……17种策略随便组合。不想折腾的话,auto 模式一个字搞定。

比较推荐 auto/smart——它会在保证质量的前提下,有10%的概率去探索没用过的模型,帮你发现新的好东西。

三层容错架构

层级 作用域 做什么
🔌 熔断器 整个供应商 供应商挂了就停,自动探测恢复
💤 连接冷却 单个 Key 某个 Key 限流了就跳过,其他 Key 照常
🎯 模型锁定 某模型 一个模型额度用完就隔离,不影响其他模型

使用分析

Dashboard 的 Analytics 页面能清楚看到所有使用数据:

搭建专属免费AI模型API路由系统,把主流大模型全部统一管理起来

谁用了多少、什么模型、花了多少 token,清清楚楚,再也不用猜。

本地跑,不碰你的隐私

所有东西跑在你自己机器上。API 密钥 AES-256 加密存着。提示词只发给你选的供应商,不经过任何第三方。MIT 开源,想审计随时审计。


六、适合什么人

说白了——

  • 自己掏钱买 AI 订阅觉得肉疼的开发者
  • 学生党零预算但想要顶级 AI 辅助
  • 同时用 Cursor、Cline、Claude Code 好几个工具,想统一管理的人
  • 被地区限制搞得很烦的人——OmniRoute 内置三级代理,哪儿都能用

七、和其他方案对比

与 LiteLLM 和 OpenRouter 相比:

  • 供应商数量:OmniRoute 有 237个,同类一般 100 出头
  • 免费供应商90多个有免费额度,其中 11 个永久免费
  • Token 压缩:RTK + Caveman 双重压缩,同类基本没有
  • 路由策略17种,同类一般三五种
  • 价格:MIT 完全免费,同类多为商业产品
  • GitHub: diegosouzapw/OmniRoute

别光收藏不试。装上跑起来,五分钟的事。跑完你会回来谢我的。

下载服务恢复

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

Captcha Code