Project

General

Profile

MaaS 渠道故障排查 » History » Version 1

商宗康 商, 09/20/2026 09:54 AM

1 1 商宗康 商
# MaaS 渠道故障排查
2
3
*客户说模型用不了,从哪一步查起、查到什么程度可以动手。*
4
5
客户报「某某模型不可用了」,这句话本身的信息量很低。它可能是上游渠道挂了,可能是账号没钱了,也可能只是客户端网络抖了一下。这三种情况的处理方式完全不同,所以第一件事不是去改配置,是去日志里把事实找出来。
6
7
**排查有个固定顺序:先看日志,再看分组和渠道,最后才动手调整。** 跳过前两步直接改渠道,很容易把一个本来只是额度不足的问题,变成一次没必要的配置变更。
8
9
---
10
11
## 一、客户报「模型用不了」,先去日志里找事实
12
13
客户的原话通常是「你们的 kimi-k3 用不了了」。这句话只告诉我们两件事:他在意哪个模型,他觉得现在有问题。至于问题出在哪一段,还得看日志。
14
15
日志入口在后台左侧的「使用日志」。打开之后默认显示的就是今天,这个默认值一般不用动——除非客户说的是前几天的事,或者你想把范围缩到某几个小时,才需要去调时间。
16
17
真正要动的是筛选条件,最常用的是这两个。按**用户名**筛,把这个客户的请求单独拎出来看,适合「就他一个人报障」的情况。按**模型名称(模型ID)**筛,把这个模型所有客户的请求都拉出来,适合「不止一个人在用这个模型」的情况——这时候问题大概率不在某个账号身上。两个条件也可以一起用,筛完之后看到的就是:这个客户、这个模型,从今天零点到现在的每一次请求。
18
19
**有一个容易忽略的点:一次失败的请求,在日志里可能留下好几条记录。** 系统第一次发出去失败了,会按优先级换一条渠道再发;再失败再换。所以你在日志里看到的不是「一条请求一条记录」,而是「一条请求的若干次尝试」。这正好是后面两节要用的东西。
20
21
---
22
23
## 二、日志里的失败,能分出两种原因
24
25
看日志里的错误信息,基本能把原因归到两类:上游渠道的问题,或者客户账号额度的问题。这两类的处理方式完全不同——前者要动渠道,后者只需要提醒客户充值。
26
27
*常见错误信息大致这么归*
28
29
| 日志里看到的                | 说明什么       | 往哪查                 |
30
| --------------------- | ---------- | ------------------- |
31
| 余额不足 / 额度不足 / 用户额度已用完 | 客户账号没钱了    | 用户管理里看这个账号的余额       |
32
| 上游返回 401 / 403        | 渠道的密钥失效或被拒 | 这条渠道要重新配密钥          |
33
| 上游返回 429              | 上游在限速      | 渠道本身没问题,是对方限流       |
34
| 上游返回 5xx              | 上游服务端故障    | 等对方恢复,或先切到兜底渠道      |
35
| 连接超时 / 无法连接           | 渠道地址不通     | 检查渠道地址和网络           |
36
| 该分组下没有可用渠道            | 分组和渠道的匹配断了 | 看渠道有没有被自动禁用、模型有没有勾上 |
37
| 模型不存在 / 不支持该模型        | 渠道没勾这个模型   | 去渠道里把这个模型勾上         |
38
39
**「该分组下没有可用渠道」这一条要特别注意。** 它不代表渠道全挂了。更常见的情况是:这条渠道因为连续失败被系统自动禁用了;或者它压根没勾这个模型;或者它的「分组」栏里没有写这个客户的分组。三种情况在日志里长得一样,得进渠道管理里看才能分清。
40
41
---
42
43
## 三、失败的请求有没有走兜底,日志里也看得到
44
45
同一个客户、同一个模型,把今天的日志从头翻一遍,能看出失败之后发生了什么。下面这两种样子,处理方式完全不同。
46
47
```mermaid
48
flowchart LR
49
    subgraph OK["情况一:失败之后换了一条渠道,成功"]
50
        A1["尝试 1 · 失败<br/>de_0.52x_kimi-k3_自部署"] --> A2["尝试 2 · 成功<br/>de_0.58x_kimi-k3_云厂商"]
51
    end
52
    subgraph BAD["情况二:两条都失败,没有第三次"]
53
        B1["尝试 1 · 失败<br/>de_0.52x_kimi-k3_自部署"] --> B2["尝试 2 · 失败<br/>de_0.58x_kimi-k3_云厂商"] --> B3["请求到此结束"]
54
    end
55
```
56
57
> 同一次请求的几次尝试会各留一条记录。后面有没有成功的,决定了要不要动渠道。
58
59
情况一里,日志上那两条记录属于同一次请求。客户那边最多偶尔看到一次报错,请求本身是成功的——这种情况不用动渠道,但要记下来是哪条渠道不稳定。
60
61
情况二才是真的断了:日志到这儿就结束了,后面没有成功的记录。这时候往下走,去渠道管理。
62
63
> **怎么看出两条记录属于同一次请求:** 同一个模型、时间上挨着的两条记录,如果渠道名和状态码都不一样,基本就是同一次请求的重试。日志按时间倒序排列,从下往上看更顺。
64
65
---
66
67
## 四、确认是渠道问题,就去渠道管理按分组看
68
69
从日志到渠道测试,中间有三步。
70
71
1. **先在用户管理里找到这个客户,看他挂的是哪个分组。** 一个账号只能挂一个分组,所以这一步的结果是唯一的。顺手记下分组的名字,下一步要用。
72
2. **打开渠道管理,用分组筛一遍。** 筛选栏里选刚才那个分组,页面就只剩下给这个分组供货的渠道了。
73
3. **切到卡片视图。** 表格视图一行挤了很多列,卡片视图上每条渠道的健康状态、支持的模型一眼就能看到,找问题快得多。
74
4. **找到出问题的那条渠道,点测试。** 选客户报的那个模型,发一条。测试绕过了所有调度逻辑,直接打这条渠道,结果比日志更直接。
75
76
**测试的时候一定要选对模型。** 一条渠道可能勾了几十个模型,某个模型不通不代表整条渠道挂了。反过来,如果别的模型都通、只有这一个不通,那大概率是上游单独对这个模型做了什么调整,而不是渠道本身出了问题。
77
78
---
79
80
## 五、渠道真的不可用了,先兜住,同时把问题推给上游
81
82
*四种做法,先看清代价再动手*
83
84
| 办法              | 什么时候用       | 成本影响   | 影响范围        | 要不要请示      |
85
| --------------- | ----------- | ------ | ----------- | ---------- |
86
| **停掉这条渠道**      | 确认它短期内好不了   | 上升     | 用到这个模型的那些分组 | 不用         |
87
| **打开禁用的兜底渠道**   | 兜底也被停着,没有退路 | 可能明显上升 | 这条渠道挂着的所有分组 | 成本更高时必须请示  |
88
| **调兜底渠道优先级**    | 渠道都在,只是顺序不对 | 基本不变   | 这条渠道挂着的所有分组 | 不用,但要先看清范围 |
89
| **联系渠道方 / 供应商** | 错误多、又不自己恢复  | 不变     | 不影响任何分组     | 不用         |
90
91
**停掉这条渠道**,适用于确认它短期内好不了。停掉之后请求直接走兜底,客户那边立刻恢复。代价是这个模型的成本上去了——被停掉的往往正是折扣最低的那条。
92
93
**打开之前禁用的兜底渠道**,适用于兜底渠道也被停着、导致没有退路的情况。
94
95
> **打开一条成本更高的兜底渠道,要先找领导确认。** 它意味着从这一刻起,每一笔请求都在多花钱,而且只要不关就一直花。这个决定不该由排查的人单独做。
96
97
**调几条兜底渠道的优先级**,适用于兜底渠道都在、只是顺序不对——比如便宜的那条排在了后面,或者某条不稳定的排在了前面。调优先级不需要停用任何渠道,改完立刻生效,是三种办法里最轻的一种。
98
99
前面这三种做法都是在内部把请求兜住,解决的是「客户现在还能不能用」,不解决「这条渠道为什么坏了」。
100
101
**如果日志里这条渠道的错误很多,等了一阵子又没有自己恢复,就该去联系渠道方 / 供应商了。** 内部调整只能让客户先用上:便宜的渠道一直停着,成本就一直挂在贵的那条上;兜底渠道一直硬扛,压力也一直堆在它身上。渠道本身的问题,得由上游来修。
102
103
> **联系上游时,把日志里的东西一起给对方:** 出问题的时间点、报的什么错、错误落在哪些模型上、大概的失败比例。有这些对方才查得动,否则来回几轮也定位不到。
104
105
渠道修好之后,记得把之前临时做的调整改回去——停掉的渠道重新打开、优先级恢复原位、临时打开的高成本兜底关掉。这一步最容易忘,忘了就一直多花钱。
106
107
---
108
109
## 六、调优先级之前,先看清这条渠道还挂着哪些分组
110
111
这是整件事里最容易出事的地方。
112
113
渠道不是某个分组的私有财产。一条渠道的「分组」栏里可以写好几个分组名字,它同时在给这些分组供货。而优先级是写在渠道身上的,**不是写在「渠道 + 分组」这个组合上的**。你在这个客户的分组里看到的那个数字,和它在别的分组里的数字,是同一个。
114
115
改一个数字,所有挂着这条渠道的分组一起变。
116
117
```mermaid
118
flowchart LR
119
    CH["de_0.58x_kimi-k3_云厂商<br/>优先级 50 改成 10"]
120
    G1["分组「kimi专属」<br/>客户报障的就是这个分组"]
121
    G2["分组「glm专属」<br/>顺序跟着一起掉到最后"]
122
    G3["分组「通用」<br/>顺序跟着一起掉到最后"]
123
    CH --> G1
124
    CH --> G2
125
    CH --> G3
126
```
127
128
> 渠道是共享的,优先级也是共享的。为一个分组调顺序,等于为所有挂着它的分组一起调。
129
130
举个具体的例子。`de_0.58x_kimi-k3_云厂商` 这条渠道,「分组」栏里写着「kimi专属, glm专属, 通用」。客户报障的是 kimi 那条业务线,你为了把它的顺序往后挪,把优先级从 50 改成了 10。改完 kimi 这边确实正常了——但 glm 和通用这两个分组里,这条渠道的顺序也跟着掉到了最后。如果 glm 那边本来只有它一条兜底,那 glm 的客户现在开始出问题了。
131
132
所以动手之前,先把这条渠道的「分组」栏打开看一眼,确认它挂着哪几个分组,再判断这个改动会不会在别处造成新的问题。
133
134
如果影响面确实太大,可以退一步:不去动优先级,改成临时停用某条渠道,或者只打开一条本来就没在用的兜底渠道。停用的影响面同样要看清。
135
136
---
137
138
## 七、处理完先别关日志,多看一会儿
139
140
渠道调整是立刻生效的,但日志不会立刻反映出全貌——客户是隔一会儿发一次请求的,得等足够多的请求流过去,才能确认真的好了。
141
142
回到使用日志,筛选条件保持不变,观察这几件事:
143
144
- 之前那种失败还有没有出现
145
- 失败的请求后面有没有跟上一条成功的尝试,也就是兜底有没有接上
146
- 走的到底是哪条渠道——如果走的还是被停掉的那条,说明改动没生效,得回去检查
147
148
十分钟内一次失败都没有,基本可以回复客户了。如果还在失败,说明这次调整没打在点上,回到第二节重新看错误信息。
149
150
---
151
152
## 八、如果是额度不足,提醒客户充值
153
154
如果日志里明确是余额或额度的问题,那渠道一个字都不用改。这种情况只需要做一件事:告诉客户账号余额不足,请他充值。
155
156
充值之后请求会自动恢复,不需要任何配置变更。可以顺带提一句,让他自己留意后台的余额,避免下次又是在用不了的时候才发现。
157
158
> **不要因为额度不足就去动渠道配置。** 这是排查里最容易犯的错:看到报错就想去调渠道,结果把一个纯充值的问题,变成了一次配置变更,还顺带影响了别的分组。
159
160
---
161
162
## 九、排查顺序
163
164
```mermaid
165
flowchart TD
166
    S1["客户报障:某某模型用不了"]
167
    S2["打开使用日志<br/>时间保持默认(今天)<br/>按用户名或模型名称(模型ID)筛选"]
168
    S3["日志里的失败,是哪种原因?"]
169
    L1["额度不足"]
170
    L2["提醒客户充值<br/>不用动任何配置"]
171
    R1["上游渠道报错"]
172
    R2["查客户分组 → 按分组筛渠道<br/>→ 卡片视图里测这个模型"]
173
    R3["停掉 / 开兜底 / 调优先级"]
174
    R4["再观察一会儿日志"]
175
    R5["联系渠道方 / 供应商"]
176
    R6["上游修好后,把临时调整改回去"]
177
178
    S1 --> S2 --> S3
179
    S3 --> L1 --> L2
180
    S3 --> R1 --> R2
181
    R2 --> R3 --> R4
182
    R2 --> R5 --> R6
183
```
184
185
> 从报障到动手,中间隔着日志、分组、渠道三道确认。急的时候按这张图从上往下走一遍。
186
187
记不住细节就记住这一句:**先看日志定原因,再按分组找渠道,最后才动配置。** 动配置之前,多花一分钟确认这条渠道还挂着哪些分组。
188
189
---
190
191
用到的入口都在后台左侧菜单里:使用日志、用户管理、渠道管理。日常报障基本就在这三个页面之间来回。