MaaS 渠道分组与成本优先配置¶
渠道怎么配、钱怎么省、出问题先看哪。
每条请求进来,都要先定一个「档位」,再从那个档位里挑一条渠道发出去。档位决定打几折,渠道决定走哪家。日常真正要动的其实不多——加一条渠道、开一个档位、把便宜的那条排到前面,基本就这些。
最要紧的是记住一点:这套配置配错了不会报错。它只会安静地一直走最贵的渠道,然后在月底账单上体现出来。
所以「出问题先看哪里」和每周巡检这两节,比原理部分更值得反复看。
一、先认识三样东西¶
New API 里所有的配置,说到底是三样东西在配合:账号、分组、渠道。把它们想成一家公司就通了。
账号是客户。他有余额,能发请求。每个账号身上会挂一个「分组」,而且只能挂一个——这是系统的硬规定,改不了。
分组是柜台。它同时管两件事:这个柜台能调哪些货(能看到哪些渠道),以及在这个柜台上拿货打几折(按什么倍率扣钱)。所以分组不是简单的分类标签,它一半是权限,一半是价签。
渠道是真正的供货线路。一条渠道对应一家上游——一个地址、一把密钥、一份能提供的模型清单。请求最后是从渠道发出去的。我们平时最常打交道的也是它。
还有第四样东西叫模型,但它不是独立配置的,而是渠道勾选出来的。一条渠道勾了哪些模型,就代表它能供哪些货。
graph LR
U["账号<br/>有余额,能发请求<br/>只能挂一个分组"]
G["分组<br/>一个柜台 / 一个档位<br/>决定能调哪些货<br/>决定打几折"]
C["渠道<br/>一条供货线路<br/>地址 + 密钥<br/>优先级 / 权重"]
M["模型<br/>这条渠道能供哪些货"]
U -->|挂一个| G
G -->|给渠道打标签| C
C -->|服务多个分组| G
C -->|勾选声明| M
账号挂在分组上,分组和渠道是互相挂的——一条渠道可以同时给好几个分组供货。
分组和渠道是「多对多」,这点很关键¶
一般我们会以为分组像文件夹:渠道放进哪个文件夹就属于哪个分组。但 New API 不是这样。渠道身上有个「分组」栏,里面可以写好几个名字,中间用英文逗号隔开。一条渠道可以同时给好几个分组供货。
举个具体的例子。假设我们有两条业务线,各自要一批渠道:
graph LR
G1["分组 1<br/>(a、b、c)"] --> a["渠道 a"]
G1 --> b["渠道 b"]
G1 --> c["渠道 c"]
G2["分组 2<br/>(a、c、d)"] --> a
G2 --> c
G2 --> d["渠道 d"]
分组 1 有 a、b、c,分组 2 有 a、c、d。a 和 c 是共用的,建一条渠道、在「分组」栏里写两个名字就够了,不用重复建。
落到每条渠道上,区别只在「分组」这一栏怎么写
| 渠道 | 「分组」栏填写 | 分组 1 能用 | 分组 2 能用 |
|---|---|---|---|
a |
分组1,分组2 |
✓ | ✓ |
b |
分组1 |
✓ | — |
c |
分组1,分组2 |
✓ | ✓ |
d |
分组2 |
— | ✓ |
几个词的大白话说法¶
后台界面上这些词会反复出现,先混个眼熟:
| 界面上的说法 | 大白话 |
|---|---|
| 分组 | 一个柜台 / 一个档位。决定能用哪些渠道,也决定打几折 |
| 渠道 | 一条供货线路。请求最后从它发出去 |
| 优先级 | 排队号码。数字越大越靠前,越大越先用 |
| 权重 | 同一个排队号码里的分摊比例。只在这一层内部有用 |
| 倍率 | 折扣。0.52 就是 5.2 折,0.33 就是 3.3 折。数字越小越便宜 |
| 令牌 | 发给客户端的钥匙,就是那串 sk-...
|
| auto(自动分组) | 让系统自己挑档位,从便宜的开始挨个试 |
| 自动禁用 | 一条渠道连续失败几次就自动下线,恢复了再自己回来 |
二、一次请求是怎么走的¶
理解了上面三样东西,跟着一条请求走一遍,整条链路就清楚了。假设有客户发来一条要 kimi-k3 的请求。
flowchart TD
S1["① 客户发来请求<br/>带着他的钥匙,说「我要 kimi-k3」"]
S2["② 认钥匙,看余额<br/>钥匙找到账号,确认还有钱;再看这个钥匙有没有被限制模型和来源"]
S3["③ 先定档位:这单算在哪个分组上<br/>钥匙上写明了分组就用那个;写了 auto 就让系统从便宜的档位开始挨个试"]
S4["④ 再圈范围:找出所有能满足的渠道<br/>渠道开着 ∧ 勾了 kimi-k3 ∧ 分组栏里有③定下的那个分组"]
S5["⑤ 按优先级排队<br/>数字最大的那一层先用,这层还有能用的渠道就绝不往下看"]
S6["⑥ 同一层里按权重分摊<br/>权重只在这一层内部比大小,按比例分流量"]
S7["⑦ 发给上游,失败就往后让<br/>同层换一条重试 → 换下一层 → 换下一个分组 → 全都不行才报错"]
S1 --> S2 --> S3 --> S4 --> S5 --> S6 --> S7
紫色那一步定「打几折」,绿色那两步定「走哪条」。日常要调的也就这几处。
这里只有一件事需要记牢:定档位和选渠道是两件事,分开发生。 档位定错了,就算渠道选得再便宜也没用;反过来档位对了但渠道排序配反了,一样会走贵的那条。
三、两个开关:优先级和权重¶
这两个词最容易搞混,但记一句话就够了:优先级管顺序,权重管比例。
优先级是排队号码。 数字越大越靠前。系统永远先看号码最大的那一层——只要那一层里还有一条渠道能用,就绝不会去看下面一层。所以「只有坏了才用贵的」这个效果,是优先级给出来的,别的设置替代不了。
权重是同一个号码里的分摊比例。 它只在一个优先级内部起作用,按比例分流量。两条渠道如果优先级不一样,权重写了也白写——号码大的那条会一直被用,轮不到抽签。
flowchart TD
P1["优先级 = 100<br/>de_0.52x_kimi-k3_自部署<br/>只要它活着,流量全走这里"]
P2["优先级 = 50<br/>de_0.58x_kimi-k3_云厂商<br/>贵一点,当备胎"]
P3["优先级 = 10<br/>de_0.80x_kimi-k3_官方<br/>最贵,只负责「别断」"]
P1 -->|这一层全都不行了| P2
P2 -->|还不行就再往下| P3
同一个优先级里三条渠道,权重 30 / 20 / 10,实际分摊比例:
| 渠道 | 权重 | 大约分到的流量 |
|---|---|---|
| A | 30 | 44% |
| B | 20 | 33% |
| C | 10 | 22% |
上面是排队顺序,下面是分摊比例。想让便宜渠道先被用,动的是排队那套,不是分摊那套。
四、我们的渠道名字为什么这么长¶
我们的渠道名长这样:de_0.52x_kimi-k3_自部署。看着啰嗦,其实就是为了让运营一眼看懂。
| 段 | 含义 | 说明 |
|---|---|---|
de |
谁家的货 | 这条线路从哪家拿的。de 就是我们约定的供应商代号。按供应商统计成本、找对方追问题都靠它 |
0.52x |
几折 | 0.52x 就是 5.2 折。这个数字不是写好看的,要原样抄进「分组倍率」(0.52x → 倍率填 0.52)。名字和倍率必须一致 |
kimi-k3 |
供哪个模型 | kimi-k3 是单个模型;glm 是一整族,包括 glm-5.3、glm-5.2 等。一整族同一个价的,就写族名 |
自部署 |
什么资源 | 自部署 / 云厂商 / 官方。决定它稳不稳、快不快:自部署便宜但容量有限,云厂商稍贵更稳,官方最贵用来兜底 |
四段各管一件事。第二段最要紧,因为它同时决定了「怎么排序」和「怎么算钱」。
为什么非要写这么长?因为排优先级的时候,你要在几十条渠道里决定谁在前面。如果名字里只有「Kimi 自部署」,你就得挨个点开查它是几折;名字里带着 0.52,扫一眼就知道该给它 100 还是 10。
另外两个好处:账单和用量记录里显示的就是渠道名,看到 de_0.58x_kimi-k3_云厂商 就知道这一笔按 5.8 折算,对账不用翻配置;新人接手的时候,渠道列表本身就是一张价目表。
几个实际的例子
| 渠道名 | 谁家的货 | 几折 | 供哪个模型 | 什么资源 | 对应倍率 |
|---|---|---|---|---|---|
de_0.52x_kimi-k3_自部署 |
de | 5.2 折 | kimi-k3 | 自部署 | 0.52 |
de_0.58x_kimi-k3_云厂商 |
de | 5.8 折 | kimi-k3 | 云厂商 | 0.58 |
de_0.33x_glm_云厂商 |
de | 3.3 折 | glm 族(glm-5.3 / glm-5.2 …) | 云厂商 | 0.33 |
de_0.41x_glm_自部署 |
de | 4.1 折 | glm 族 | 自部署 | 0.41 |
de_0.80x_kimi-k3_官方 |
de | 8.0 折 | kimi-k3 | 官方 | 0.80 |
五、一个账号为什么能用上所有档位¶
这里是整套配置里最关键的地方,也是新人最容易卡住的地方。
问题是这样:我们按成本把渠道分成了好几个档位(自部署一档、云厂商一档、官方一档),每个档位就是一个分组。但账号只能挂一个分组。那客户挂了这个分组,是不是就用不上别的档位了?
不是。系统里有一处专门解决这个问题,路径是:系统配置 → 分组与模型定价设置 → 分组相关设置。这里有几块内容,我们一块一块看。
第一块:分组倍率——给每个档位标价¶
就是每个档位打几折。这块内容在界面上是一段可以直接编辑的文本,长得像这样:
分组倍率
{
"de": 1.0,
"kimi-k3-自部署": 0.52,
"kimi-k3-云厂商": 0.58,
"glm-云厂商": 0.33,
"glm-自部署": 0.41,
"official": 0.80
}
读法很简单:冒号左边是分组名,右边是折扣。0.52 就是 5.2 折。
这里有个容易漏的地方。 所有会用到的分组名都必须出现在这一段里。如果新加了一个档位,但忘了在这里写,那客户选这个分组的时候系统会认为它不存在。
第二块:用户可选分组——列出所有档位的名单¶
这一块决定「创建钥匙的时候,下拉框里能选到哪些分组」。格式是分组名对上一个给人看的名字。
用户可选分组
{
"de": "DE 入口",
"kimi-k3-自部署": "Kimi-K3 · 自部署(5.2 折)",
"kimi-k3-云厂商": "Kimi-K3 · 云厂商(5.8 折)",
"glm-云厂商": "GLM · 云厂商(3.3 折)",
"glm-自部署": "GLM · 自部署(4.1 折)",
"official": "官方兜底(8.0 折)"
}
右边那些中文是给人看的,随便写,不影响系统。但建议把折扣写在里面——客户来问「我这个是不是走的便宜档」时,一眼就能答。
第三块:分组特殊可用分组——决定谁能看到哪些档位¶
这一块才是真正的开关。它的写法是:左边写账号挂的那个分组,右边写「能看」或「不能看」哪些档位。
分组特殊可用分组
{
"de": {
"-:official": "标准档不开放原价兜底"
},
"de_plus": {
"+:official": "高阶档允许原价兜底"
}
}
两个符号记一下:
-
-:档位名—— 把某个档位拿掉,这个分组的账号看不到它 -
+:档位名—— 把某个档位加回来,这个分组的账号能看到它
后面那串中文只是备注,给写配置的人看的,系统不读。
还有一条默认规则要记住:没有出现在这一块里的分组,等于什么都不动,直接看到全部档位。
flowchart LR
A["① 分组倍率<br/>每个档位打几折"]
B["② 用户可选分组<br/>全部档位的名单(全集)"]
C["③ 分组特殊可用分组<br/>按账号挂的分组做加减<br/>-: 拿掉 +: 加回"]
D["这个账号实际能用的档位<br/>de、kimi-k3-自部署、kimi-k3-云厂商、<br/>glm-云厂商、glm-自部署<br/>(official 被 -: 拿掉了)"]
A --> B --> C --> D
② 是全部档位的名单,③ 按账号挂的分组做加减。中间那一步「加减」,就是「一个分组能用上所有档位」的全部原理。
放到我们自己的场景里:账号挂的分组是 de,第三块给它拿掉了 official,那这个账号能用的就是 de、kimi-k3-自部署、kimi-k3-云厂商、glm-云厂商、glm-自部署 这五个。
第四块:auto 顺序——让系统自动挑便宜档位¶
前面三块解决了「能用哪些档位」。还有最后一个问题:一次请求具体走哪一档?
这由钥匙上的分组决定。如果钥匙上直接写了一个具体档位,那就只用那一档。如果写的是 auto,系统就会按下面这个顺序,从便宜的档位开始挨个试:
auto 分组顺序
["kimi-k3-自部署", "glm-云厂商", "glm-自部署", "kimi-k3-云厂商", "official"]
这里的顺序是从便宜到贵。客户要 glm 的时候,前面两个 kimi 档位没有 glm 的货,系统会自动跳过,落到 glm-云厂商(3.3 折);客户要 kimi-k3 的时候,第一个档位就命中了(5.2 折)。
所以这一段的写法很省事:按折扣从小到大排一遍就行。 排一次,所有模型的最低成本优先就都有了。
要留意的是,这个顺序越长,系统每次请求要试的次数越多,响应会稍微慢一点。同一批模型重复出现在好几个档位里的情况,尽量控制在两档以内。不同模型各占一档的(比如 kimi 一档、glm 一档),随便加不影响速度。
如果某个客户要求「必须只走一个档位」,那就别用 auto。改成在钥匙上直接写那个档位的名字,或者留空(跟随账号默认分组)。auto 会把多个档位混着用,这是它的设计目的,不是 bug。
六、怎么让请求优先走便宜渠道¶
档位排好了,还剩最后一件事:同一个档位里有好几条渠道的时候,谁先上。
答案只有一个:给最便宜的那条渠道最大的优先级数字。 权重在这里帮不上忙,它只在同一个优先级内部做分摊,永远不能让 A 比 B 先上。
拿 kimi-k3 这个档位举例。三条渠道,成本分别是 5.2、5.8、8.0 折:
同一个档位里,优先级数字和成本反着排
| 渠道名 | 几折 | 优先级 | 权重 | 它是干什么的 |
|---|---|---|---|---|
de_0.52x_kimi-k3_自部署 |
5.2 折 | 100 | 10 | 主力。正常情况下所有请求都走它 |
de_0.58x_kimi-k3_云厂商 |
5.8 折 | 50 | 10 | 备胎。只有自部署出问题才轮到它 |
de_0.80x_kimi-k3_官方 |
8.0 折 | 10 | 10 | 保底。只保证不断,不谈成本 |
这样配完,同一个请求会有三种结果:
flowchart LR
R["请求 kimi-k3<br/>钥匙分组 = auto"]
L1["优先级 100<br/>自部署 · 5.2 折"]
L2["优先级 50<br/>云厂商 · 5.8 折"]
L3["优先级 10<br/>官方 · 8.0 折"]
R --> L1
L1 -->|一切正常| OK1["成功,按 5.2 折算钱<br/>成本最优"]
L1 -->|超时 / 报错| L2
L2 -->|顶上| OK2["成功,按 5.8 折算钱<br/>贵了一点"]
L2 -->|也挂了| L3
L3 -->|保底| OK3["成功,按 8.0 折算钱<br/>最贵,但服务不断"]
同一个请求的三种结果。排优先级的时候,其实就是在回答「我愿意为『不断服务』多花多少钱」。
三个细节要留意。
优先级用 100、50、10 这种整数,别用 1、2、3。 以后来了更便宜的档位,可以插到 120;来了个中间价位的,可以插到 75。改动范围小,也不容易撞号。
数字越大越优先,和一般人的直觉是反的。 这条配反了不会报错,只会一直走最贵的渠道,然后在月底账单上体现出来。上线前一定拿一条便宜和一条贵的对比验证一次。
同一个档位里的优先级才互相比较。 kimi-k3 怎么排不影响 glm,各排各的。
什么时候才需要动权重¶
只有一种情况:同一个档位里有好几条价格一样的渠道。比如自部署资源我们开了两条线路,都是 5.2 折,但 A 的容量是 B 的两倍。这时候把两条的优先级设成一样,权重给 20 和 10,实际流量就是 60% 和 40%。
价格一样的时候,才用权重来分摊
| 渠道名 | 几折 | 优先级 | 权重 | 实际流量 |
|---|---|---|---|---|
de_0.52x_kimi-k3_自部署-A |
5.2 折 | 100 | 20 | 约 60% |
de_0.52x_kimi-k3_自部署-B |
5.2 折 | 100 | 10 | 约 40% |
de_0.58x_kimi-k3_云厂商 |
5.8 折 | 50 | — | 0%,只等出故障 |
七、日常要做的事¶
日常遇到的活儿基本都在这里。
加一条新渠道¶
- 左侧菜单进「渠道」,点右上角添加渠道。
- 选服务商类型,填渠道名。渠道名按四段式写,比如
de_0.55x_kimi-k3_云厂商。 - 填密钥和接口地址。地址在自建的情况下才需要填,用官方默认的可以留空。
- 在模型列表里勾选这条渠道能供哪些模型。这一步漏了,后面请求永远调不到它。
- 展开高级配置,填三样:
-
分组:写它属于哪个档位,比如
kimi-k3-云厂商。要同时供多个档位就用逗号隔开。 - 优先级:按成本排,越便宜的数字越大。参照同档位里已有渠道的数字来定。
- 自动禁用:打开。这样它出问题会自己下线,不会一直拖慢响应。
-
分组:写它属于哪个档位,比如
- 提交保存。
- 在列表里点这条渠道右边的测试,看是否通。响应时间也会显示出来。
- 最后打一次真实请求,去用量日志里确认命中的是它、消耗的倍率也对。
新开一个成本档位¶
这是最容易漏步骤的一件事。开一个新档位,要同时动四个地方:
- 分组倍率里加上这个新档位的名字和折扣。
- 用户可选分组里加上它,顺便把折扣写进展示名。
-
分组特殊可用分组里确认:哪些账号该看到它,不该看到的用
-:拿掉。 - auto 顺序里按它的价格插到对应位置(便宜靠前)。
四处都改完,再去渠道那边把对应渠道的「分组」栏填上新档位名。
只改了渠道、忘了改配置,是这里最常见的问题。漏了第一处的话,客户选这个分组时系统会认为它不存在;漏了第四处的话,auto 永远落不到这个新档位,等于白开。
渠道降价或涨价了¶
- 改分组倍率里对应档位的数值。
- 改渠道名里「几折」那一段,让名字和实际一致。
- 回头检查优先级要不要跟着调——价格变了,它在这个档位里的排名可能也变了。
只改名字不改倍率,对账会错;只改倍率不改名字,排优先级的时候会看错。两个必须一起改。
某条渠道不稳定¶
- 先看它是不是已经被自动禁用了。渠道列表里状态是红色就是已经下线了。
- 临时处理:把它的优先级调低,让它退到备胎位置。比直接删掉安全——留着还能当保底。
- 如果是容量不够:加一条价格一样的渠道,两条设成相同优先级,按容量给权重。
- 确定不行了再禁用。不建议删除,留着方便回溯。
让某类账号看不到贵的档位¶
去分组特殊可用分组,找到这类账号挂的那个分组,给它加一条 -:档位名。比如想让标准档看不到原价兜底,就写 "-:official"。
月底对账¶
- 进用量日志,按渠道筛选。
- 用渠道名里的折扣 × 这条渠道的消耗量,算出它应该花多少钱。
- 和实际扣费对不上,就先去查分组倍率有没有被人改过。
每周花五分钟看一眼¶
- 渠道列表有没有红色的——有就是被自动禁用了,要跟进。
- 各渠道的响应时间——有没有明显比上周慢的。
- 便宜渠道的流量占比——这个信号最有用。如果便宜渠道只占了一小部分流量,说明优先级配反了,或者它一直在挂。正常情况下便宜渠道应该占绝大部分。
八、出问题先看哪里¶
下面这几条覆盖了日常九成的情况。每条都给了「先看哪」,按顺序来,别跳。
| 现象 | 先看哪里 | 通常是这个原因 |
|---|---|---|
| 报「无可用渠道」 | ① 账号挂的分组 ② 渠道的「分组」栏 ③ 渠道有没有勾这个模型 |
三处有一处没对上。前两处是分组没对齐,第三处是渠道压根不供这个模型 |
| 客户说「变慢了」 | 用量日志里命中的是哪条渠道 | 大概率是降级了——便宜的那条挂了,请求退到了贵的档位,多了一次来回 |
| 账单比预期高 | ① 用量日志里的命中渠道 ② 分组倍率的数值 |
优先级配反了(一直走贵的),或者倍率被人改过 |
| 回答质量变差 | 同一个分组里是不是混了不同类型的渠道 | 同一档位里应该只放同一类型的渠道。混着放会被抽到不合适的渠道,回答会变味 |
| 某个模型调不到 | 渠道的模型勾选 | 漏勾了。这个模型名没有任何一条渠道声明 |
| auto 不生效,一直走同一档 | ① auto 顺序里有没有这个档位 ② 这个档位在不在该账号的可见范围内 |
漏了其中一处。auto 只会在「账号能看到的档位」和「顺序表」的交集里挑 |
九、新人第一周记住这几条¶
如果只记五句话,记这五句。
- 优先级数字越大越优先。 和直觉相反,配反了会一直走最贵的,而且不报错。
- 想让便宜的先用,只能调优先级。 权重做不到这件事——它只在同一个优先级里分摊。
- 权重填 10、20、30,别填个位数。 填 1、2、3 基本看不出效果。
- 新开档位要同时改四处。 分组倍率、用户可选分组、分组特殊可用分组、auto 顺序。漏一处就出问题。
- 同一个档位里只放同一类型的渠道。 混着放不会报错,只会让回答质量悄悄变差。
配置项的名称以你们实际部署的界面为准。如果界面上看到的字段名和这里对不上,或者某个设置找不到,先找技术同学确认版本,别自己猜着配。
最后再说一次那件事:这套东西配错了不会报错,只会体现在账单上。每周看一眼便宜渠道的流量占比,是最省事的兜底办法。
Updated by 商宗康 商 about 2 months ago · 1 revisions