Project

General

Profile

Actions

MaaS 渠道分组与成本优先配置

渠道怎么配、钱怎么省、出问题先看哪。

每条请求进来,都要先定一个「档位」,再从那个档位里挑一条渠道发出去。档位决定打几折,渠道决定走哪家。日常真正要动的其实不多——加一条渠道、开一个档位、把便宜的那条排到前面,基本就这些。

最要紧的是记住一点:这套配置配错了不会报错。它只会安静地一直走最贵的渠道,然后在月底账单上体现出来。

所以「出问题先看哪里」和每周巡检这两节,比原理部分更值得反复看。


一、先认识三样东西

New API 里所有的配置,说到底是三样东西在配合:账号、分组、渠道。把它们想成一家公司就通了。

账号是客户。他有余额,能发请求。每个账号身上会挂一个「分组」,而且只能挂一个——这是系统的硬规定,改不了。

分组是柜台。它同时管两件事:这个柜台能调哪些货(能看到哪些渠道),以及在这个柜台上拿货打几折(按什么倍率扣钱)。所以分组不是简单的分类标签,它一半是权限,一半是价签。

渠道是真正的供货线路。一条渠道对应一家上游——一个地址、一把密钥、一份能提供的模型清单。请求最后是从渠道发出去的。我们平时最常打交道的也是它。

还有第四样东西叫模型,但它不是独立配置的,而是渠道勾选出来的。一条渠道勾了哪些模型,就代表它能供哪些货。

graph LR
    U["账号<br/>有余额,能发请求<br/>只能挂一个分组"]
    G["分组<br/>一个柜台 / 一个档位<br/>决定能调哪些货<br/>决定打几折"]
    C["渠道<br/>一条供货线路<br/>地址 + 密钥<br/>优先级 / 权重"]
    M["模型<br/>这条渠道能供哪些货"]

    U -->|挂一个| G
    G -->|给渠道打标签| C
    C -->|服务多个分组| G
    C -->|勾选声明| M

账号挂在分组上,分组和渠道是互相挂的——一条渠道可以同时给好几个分组供货。

分组和渠道是「多对多」,这点很关键

一般我们会以为分组像文件夹:渠道放进哪个文件夹就属于哪个分组。但 New API 不是这样。渠道身上有个「分组」栏,里面可以写好几个名字,中间用英文逗号隔开。一条渠道可以同时给好几个分组供货。

举个具体的例子。假设我们有两条业务线,各自要一批渠道:

graph LR
    G1["分组 1<br/>(a、b、c)"] --> a["渠道 a"]
    G1 --> b["渠道 b"]
    G1 --> c["渠道 c"]
    G2["分组 2<br/>(a、c、d)"] --> a
    G2 --> c
    G2 --> d["渠道 d"]

分组 1 有 a、b、c,分组 2 有 a、c、d。a 和 c 是共用的,建一条渠道、在「分组」栏里写两个名字就够了,不用重复建。

落到每条渠道上,区别只在「分组」这一栏怎么写

渠道 「分组」栏填写 分组 1 能用 分组 2 能用
a 分组1,分组2 ✓ ✓
b 分组1 ✓ —
c 分组1,分组2 ✓ ✓
d 分组2 — ✓

几个词的大白话说法

后台界面上这些词会反复出现,先混个眼熟:

界面上的说法 大白话
分组 一个柜台 / 一个档位。决定能用哪些渠道,也决定打几折
渠道 一条供货线路。请求最后从它发出去
优先级 排队号码。数字越大越靠前,越大越先用
权重 同一个排队号码里的分摊比例。只在这一层内部有用
倍率 折扣。0.52 就是 5.2 折,0.33 就是 3.3 折。数字越小越便宜
令牌 发给客户端的钥匙,就是那串 sk-...
auto(自动分组) 让系统自己挑档位,从便宜的开始挨个试
自动禁用 一条渠道连续失败几次就自动下线,恢复了再自己回来

二、一次请求是怎么走的

理解了上面三样东西,跟着一条请求走一遍,整条链路就清楚了。假设有客户发来一条要 kimi-k3 的请求。

flowchart TD
    S1["① 客户发来请求<br/>带着他的钥匙,说「我要 kimi-k3」"]
    S2["② 认钥匙,看余额<br/>钥匙找到账号,确认还有钱;再看这个钥匙有没有被限制模型和来源"]
    S3["③ 先定档位:这单算在哪个分组上<br/>钥匙上写明了分组就用那个;写了 auto 就让系统从便宜的档位开始挨个试"]
    S4["④ 再圈范围:找出所有能满足的渠道<br/>渠道开着 ∧ 勾了 kimi-k3 ∧ 分组栏里有③定下的那个分组"]
    S5["⑤ 按优先级排队<br/>数字最大的那一层先用,这层还有能用的渠道就绝不往下看"]
    S6["⑥ 同一层里按权重分摊<br/>权重只在这一层内部比大小,按比例分流量"]
    S7["⑦ 发给上游,失败就往后让<br/>同层换一条重试 → 换下一层 → 换下一个分组 → 全都不行才报错"]

    S1 --> S2 --> S3 --> S4 --> S5 --> S6 --> S7

紫色那一步定「打几折」,绿色那两步定「走哪条」。日常要调的也就这几处。

这里只有一件事需要记牢:定档位和选渠道是两件事,分开发生。 档位定错了,就算渠道选得再便宜也没用;反过来档位对了但渠道排序配反了,一样会走贵的那条。


三、两个开关:优先级和权重

这两个词最容易搞混,但记一句话就够了:优先级管顺序,权重管比例。

优先级是排队号码。 数字越大越靠前。系统永远先看号码最大的那一层——只要那一层里还有一条渠道能用,就绝不会去看下面一层。所以「只有坏了才用贵的」这个效果,是优先级给出来的,别的设置替代不了。

权重是同一个号码里的分摊比例。 它只在一个优先级内部起作用,按比例分流量。两条渠道如果优先级不一样,权重写了也白写——号码大的那条会一直被用,轮不到抽签。

flowchart TD
    P1["优先级 = 100<br/>de_0.52x_kimi-k3_自部署<br/>只要它活着,流量全走这里"]
    P2["优先级 = 50<br/>de_0.58x_kimi-k3_云厂商<br/>贵一点,当备胎"]
    P3["优先级 = 10<br/>de_0.80x_kimi-k3_官方<br/>最贵,只负责「别断」"]

    P1 -->|这一层全都不行了| P2
    P2 -->|还不行就再往下| P3

同一个优先级里三条渠道,权重 30 / 20 / 10,实际分摊比例:

渠道 权重 大约分到的流量
A 30 44%
B 20 33%
C 10 22%

上面是排队顺序,下面是分摊比例。想让便宜渠道先被用,动的是排队那套,不是分摊那套。


四、我们的渠道名字为什么这么长

我们的渠道名长这样:de_0.52x_kimi-k3_自部署。看着啰嗦,其实就是为了让运营一眼看懂。

段 含义 说明
de 谁家的货 这条线路从哪家拿的。de 就是我们约定的供应商代号。按供应商统计成本、找对方追问题都靠它
0.52x 几折 0.52x 就是 5.2 折。这个数字不是写好看的,要原样抄进「分组倍率」(0.52x → 倍率填 0.52)。名字和倍率必须一致
kimi-k3 供哪个模型 kimi-k3 是单个模型;glm 是一整族,包括 glm-5.3、glm-5.2 等。一整族同一个价的,就写族名
自部署 什么资源 自部署 / 云厂商 / 官方。决定它稳不稳、快不快:自部署便宜但容量有限,云厂商稍贵更稳,官方最贵用来兜底

四段各管一件事。第二段最要紧,因为它同时决定了「怎么排序」和「怎么算钱」。

为什么非要写这么长?因为排优先级的时候,你要在几十条渠道里决定谁在前面。如果名字里只有「Kimi 自部署」,你就得挨个点开查它是几折;名字里带着 0.52,扫一眼就知道该给它 100 还是 10。

另外两个好处:账单和用量记录里显示的就是渠道名,看到 de_0.58x_kimi-k3_云厂商 就知道这一笔按 5.8 折算,对账不用翻配置;新人接手的时候,渠道列表本身就是一张价目表。

几个实际的例子

渠道名 谁家的货 几折 供哪个模型 什么资源 对应倍率
de_0.52x_kimi-k3_自部署 de 5.2 折 kimi-k3 自部署 0.52
de_0.58x_kimi-k3_云厂商 de 5.8 折 kimi-k3 云厂商 0.58
de_0.33x_glm_云厂商 de 3.3 折 glm 族(glm-5.3 / glm-5.2 …) 云厂商 0.33
de_0.41x_glm_自部署 de 4.1 折 glm 族 自部署 0.41
de_0.80x_kimi-k3_官方 de 8.0 折 kimi-k3 官方 0.80

五、一个账号为什么能用上所有档位

这里是整套配置里最关键的地方,也是新人最容易卡住的地方。

问题是这样:我们按成本把渠道分成了好几个档位(自部署一档、云厂商一档、官方一档),每个档位就是一个分组。但账号只能挂一个分组。那客户挂了这个分组,是不是就用不上别的档位了?

不是。系统里有一处专门解决这个问题,路径是:系统配置 → 分组与模型定价设置 → 分组相关设置。这里有几块内容,我们一块一块看。

第一块:分组倍率——给每个档位标价

就是每个档位打几折。这块内容在界面上是一段可以直接编辑的文本,长得像这样:

分组倍率

{
  "de": 1.0,
  "kimi-k3-自部署": 0.52,
  "kimi-k3-云厂商": 0.58,
  "glm-云厂商": 0.33,
  "glm-自部署": 0.41,
  "official": 0.80
}

读法很简单:冒号左边是分组名,右边是折扣。0.52 就是 5.2 折。

这里有个容易漏的地方。 所有会用到的分组名都必须出现在这一段里。如果新加了一个档位,但忘了在这里写,那客户选这个分组的时候系统会认为它不存在。

第二块:用户可选分组——列出所有档位的名单

这一块决定「创建钥匙的时候,下拉框里能选到哪些分组」。格式是分组名对上一个给人看的名字。

用户可选分组

{
  "de": "DE 入口",
  "kimi-k3-自部署": "Kimi-K3 · 自部署(5.2 折)",
  "kimi-k3-云厂商": "Kimi-K3 · 云厂商(5.8 折)",
  "glm-云厂商": "GLM · 云厂商(3.3 折)",
  "glm-自部署": "GLM · 自部署(4.1 折)",
  "official": "官方兜底(8.0 折)"
}

右边那些中文是给人看的,随便写,不影响系统。但建议把折扣写在里面——客户来问「我这个是不是走的便宜档」时,一眼就能答。

第三块:分组特殊可用分组——决定谁能看到哪些档位

这一块才是真正的开关。它的写法是:左边写账号挂的那个分组,右边写「能看」或「不能看」哪些档位。

分组特殊可用分组

{
  "de": {
    "-:official": "标准档不开放原价兜底"
  },
  "de_plus": {
    "+:official": "高阶档允许原价兜底"
  }
}

两个符号记一下:

  • -:档位名 —— 把某个档位拿掉,这个分组的账号看不到它
  • +:档位名 —— 把某个档位加回来,这个分组的账号能看到它

后面那串中文只是备注,给写配置的人看的,系统不读。

还有一条默认规则要记住:没有出现在这一块里的分组,等于什么都不动,直接看到全部档位。

flowchart LR
    A["① 分组倍率<br/>每个档位打几折"]
    B["② 用户可选分组<br/>全部档位的名单(全集)"]
    C["③ 分组特殊可用分组<br/>按账号挂的分组做加减<br/>-: 拿掉 +: 加回"]
    D["这个账号实际能用的档位<br/>de、kimi-k3-自部署、kimi-k3-云厂商、<br/>glm-云厂商、glm-自部署<br/>(official 被 -: 拿掉了)"]

    A --> B --> C --> D

② 是全部档位的名单,③ 按账号挂的分组做加减。中间那一步「加减」,就是「一个分组能用上所有档位」的全部原理。

放到我们自己的场景里:账号挂的分组是 de,第三块给它拿掉了 official,那这个账号能用的就是 de、kimi-k3-自部署、kimi-k3-云厂商、glm-云厂商、glm-自部署 这五个。

第四块:auto 顺序——让系统自动挑便宜档位

前面三块解决了「能用哪些档位」。还有最后一个问题:一次请求具体走哪一档?

这由钥匙上的分组决定。如果钥匙上直接写了一个具体档位,那就只用那一档。如果写的是 auto,系统就会按下面这个顺序,从便宜的档位开始挨个试:

auto 分组顺序

["kimi-k3-自部署", "glm-云厂商", "glm-自部署", "kimi-k3-云厂商", "official"]

这里的顺序是从便宜到贵。客户要 glm 的时候,前面两个 kimi 档位没有 glm 的货,系统会自动跳过,落到 glm-云厂商(3.3 折);客户要 kimi-k3 的时候,第一个档位就命中了(5.2 折)。

所以这一段的写法很省事:按折扣从小到大排一遍就行。 排一次,所有模型的最低成本优先就都有了。

要留意的是,这个顺序越长,系统每次请求要试的次数越多,响应会稍微慢一点。同一批模型重复出现在好几个档位里的情况,尽量控制在两档以内。不同模型各占一档的(比如 kimi 一档、glm 一档),随便加不影响速度。

如果某个客户要求「必须只走一个档位」,那就别用 auto。改成在钥匙上直接写那个档位的名字,或者留空(跟随账号默认分组)。auto 会把多个档位混着用,这是它的设计目的,不是 bug。


六、怎么让请求优先走便宜渠道

档位排好了,还剩最后一件事:同一个档位里有好几条渠道的时候,谁先上。

答案只有一个:给最便宜的那条渠道最大的优先级数字。 权重在这里帮不上忙,它只在同一个优先级内部做分摊,永远不能让 A 比 B 先上。

拿 kimi-k3 这个档位举例。三条渠道,成本分别是 5.2、5.8、8.0 折:

同一个档位里,优先级数字和成本反着排

渠道名 几折 优先级 权重 它是干什么的
de_0.52x_kimi-k3_自部署 5.2 折 100 10 主力。正常情况下所有请求都走它
de_0.58x_kimi-k3_云厂商 5.8 折 50 10 备胎。只有自部署出问题才轮到它
de_0.80x_kimi-k3_官方 8.0 折 10 10 保底。只保证不断,不谈成本

这样配完,同一个请求会有三种结果:

flowchart LR
    R["请求 kimi-k3<br/>钥匙分组 = auto"]
    L1["优先级 100<br/>自部署 · 5.2 折"]
    L2["优先级 50<br/>云厂商 · 5.8 折"]
    L3["优先级 10<br/>官方 · 8.0 折"]

    R --> L1
    L1 -->|一切正常| OK1["成功,按 5.2 折算钱<br/>成本最优"]
    L1 -->|超时 / 报错| L2
    L2 -->|顶上| OK2["成功,按 5.8 折算钱<br/>贵了一点"]
    L2 -->|也挂了| L3
    L3 -->|保底| OK3["成功,按 8.0 折算钱<br/>最贵,但服务不断"]

同一个请求的三种结果。排优先级的时候,其实就是在回答「我愿意为『不断服务』多花多少钱」。

三个细节要留意。

优先级用 100、50、10 这种整数,别用 1、2、3。 以后来了更便宜的档位,可以插到 120;来了个中间价位的,可以插到 75。改动范围小,也不容易撞号。

数字越大越优先,和一般人的直觉是反的。 这条配反了不会报错,只会一直走最贵的渠道,然后在月底账单上体现出来。上线前一定拿一条便宜和一条贵的对比验证一次。

同一个档位里的优先级才互相比较。 kimi-k3 怎么排不影响 glm,各排各的。

什么时候才需要动权重

只有一种情况:同一个档位里有好几条价格一样的渠道。比如自部署资源我们开了两条线路,都是 5.2 折,但 A 的容量是 B 的两倍。这时候把两条的优先级设成一样,权重给 20 和 10,实际流量就是 60% 和 40%。

价格一样的时候,才用权重来分摊

渠道名 几折 优先级 权重 实际流量
de_0.52x_kimi-k3_自部署-A 5.2 折 100 20 约 60%
de_0.52x_kimi-k3_自部署-B 5.2 折 100 10 约 40%
de_0.58x_kimi-k3_云厂商 5.8 折 50 — 0%,只等出故障

七、日常要做的事

日常遇到的活儿基本都在这里。

加一条新渠道

  1. 左侧菜单进「渠道」,点右上角添加渠道。
  2. 选服务商类型,填渠道名。渠道名按四段式写,比如 de_0.55x_kimi-k3_云厂商。
  3. 填密钥和接口地址。地址在自建的情况下才需要填,用官方默认的可以留空。
  4. 在模型列表里勾选这条渠道能供哪些模型。这一步漏了,后面请求永远调不到它。
  5. 展开高级配置,填三样:
    • 分组:写它属于哪个档位,比如 kimi-k3-云厂商。要同时供多个档位就用逗号隔开。
    • 优先级:按成本排,越便宜的数字越大。参照同档位里已有渠道的数字来定。
    • 自动禁用:打开。这样它出问题会自己下线,不会一直拖慢响应。
  6. 提交保存。
  7. 在列表里点这条渠道右边的测试,看是否通。响应时间也会显示出来。
  8. 最后打一次真实请求,去用量日志里确认命中的是它、消耗的倍率也对。

新开一个成本档位

这是最容易漏步骤的一件事。开一个新档位,要同时动四个地方:

  1. 分组倍率里加上这个新档位的名字和折扣。
  2. 用户可选分组里加上它,顺便把折扣写进展示名。
  3. 分组特殊可用分组里确认:哪些账号该看到它,不该看到的用 -: 拿掉。
  4. auto 顺序里按它的价格插到对应位置(便宜靠前)。

四处都改完,再去渠道那边把对应渠道的「分组」栏填上新档位名。

只改了渠道、忘了改配置,是这里最常见的问题。漏了第一处的话,客户选这个分组时系统会认为它不存在;漏了第四处的话,auto 永远落不到这个新档位,等于白开。

渠道降价或涨价了

  1. 改分组倍率里对应档位的数值。
  2. 改渠道名里「几折」那一段,让名字和实际一致。
  3. 回头检查优先级要不要跟着调——价格变了,它在这个档位里的排名可能也变了。

只改名字不改倍率,对账会错;只改倍率不改名字,排优先级的时候会看错。两个必须一起改。

某条渠道不稳定

  1. 先看它是不是已经被自动禁用了。渠道列表里状态是红色就是已经下线了。
  2. 临时处理:把它的优先级调低,让它退到备胎位置。比直接删掉安全——留着还能当保底。
  3. 如果是容量不够:加一条价格一样的渠道,两条设成相同优先级,按容量给权重。
  4. 确定不行了再禁用。不建议删除,留着方便回溯。

让某类账号看不到贵的档位

去分组特殊可用分组,找到这类账号挂的那个分组,给它加一条 -:档位名。比如想让标准档看不到原价兜底,就写 "-:official"。

月底对账

  1. 进用量日志,按渠道筛选。
  2. 用渠道名里的折扣 × 这条渠道的消耗量,算出它应该花多少钱。
  3. 和实际扣费对不上,就先去查分组倍率有没有被人改过。

每周花五分钟看一眼

  • 渠道列表有没有红色的——有就是被自动禁用了,要跟进。
  • 各渠道的响应时间——有没有明显比上周慢的。
  • 便宜渠道的流量占比——这个信号最有用。如果便宜渠道只占了一小部分流量,说明优先级配反了,或者它一直在挂。正常情况下便宜渠道应该占绝大部分。

八、出问题先看哪里

下面这几条覆盖了日常九成的情况。每条都给了「先看哪」,按顺序来,别跳。

现象 先看哪里 通常是这个原因
报「无可用渠道」 ① 账号挂的分组
② 渠道的「分组」栏
③ 渠道有没有勾这个模型
三处有一处没对上。前两处是分组没对齐,第三处是渠道压根不供这个模型
客户说「变慢了」 用量日志里命中的是哪条渠道 大概率是降级了——便宜的那条挂了,请求退到了贵的档位,多了一次来回
账单比预期高 ① 用量日志里的命中渠道
② 分组倍率的数值
优先级配反了(一直走贵的),或者倍率被人改过
回答质量变差 同一个分组里是不是混了不同类型的渠道 同一档位里应该只放同一类型的渠道。混着放会被抽到不合适的渠道,回答会变味
某个模型调不到 渠道的模型勾选 漏勾了。这个模型名没有任何一条渠道声明
auto 不生效,一直走同一档 ① auto 顺序里有没有这个档位
② 这个档位在不在该账号的可见范围内
漏了其中一处。auto 只会在「账号能看到的档位」和「顺序表」的交集里挑

九、新人第一周记住这几条

如果只记五句话,记这五句。

  1. 优先级数字越大越优先。 和直觉相反,配反了会一直走最贵的,而且不报错。
  2. 想让便宜的先用,只能调优先级。 权重做不到这件事——它只在同一个优先级里分摊。
  3. 权重填 10、20、30,别填个位数。 填 1、2、3 基本看不出效果。
  4. 新开档位要同时改四处。 分组倍率、用户可选分组、分组特殊可用分组、auto 顺序。漏一处就出问题。
  5. 同一个档位里只放同一类型的渠道。 混着放不会报错,只会让回答质量悄悄变差。

配置项的名称以你们实际部署的界面为准。如果界面上看到的字段名和这里对不上,或者某个设置找不到,先找技术同学确认版本,别自己猜着配。

最后再说一次那件事:这套东西配错了不会报错,只会体现在账单上。每周看一眼便宜渠道的流量占比,是最省事的兜底办法。

Updated by 商宗康 商 about 2 months ago · 1 revisions