Project

General

Profile

Actions

MaaS 渠道故障排查

客户说模型用不了,从哪一步查起、查到什么程度可以动手。

客户报「某某模型不可用了」,这句话本身的信息量很低。它可能是上游渠道挂了,可能是账号没钱了,也可能只是客户端网络抖了一下。这三种情况的处理方式完全不同,所以第一件事不是去改配置,是去日志里把事实找出来。

排查有个固定顺序:先看日志,再看分组和渠道,最后才动手调整。 跳过前两步直接改渠道,很容易把一个本来只是额度不足的问题,变成一次没必要的配置变更。


一、客户报「模型用不了」,先去日志里找事实

客户的原话通常是「你们的 kimi-k3 用不了了」。这句话只告诉我们两件事:他在意哪个模型,他觉得现在有问题。至于问题出在哪一段,还得看日志。

日志入口在后台左侧的「使用日志」。打开之后默认显示的就是今天,这个默认值一般不用动——除非客户说的是前几天的事,或者你想把范围缩到某几个小时,才需要去调时间。

真正要动的是筛选条件,最常用的是这两个。按用户名筛,把这个客户的请求单独拎出来看,适合「就他一个人报障」的情况。按**模型名称(模型ID)**筛,把这个模型所有客户的请求都拉出来,适合「不止一个人在用这个模型」的情况——这时候问题大概率不在某个账号身上。两个条件也可以一起用,筛完之后看到的就是:这个客户、这个模型,从今天零点到现在的每一次请求。

有一个容易忽略的点:一次失败的请求,在日志里可能留下好几条记录。 系统第一次发出去失败了,会按优先级换一条渠道再发;再失败再换。所以你在日志里看到的不是「一条请求一条记录」,而是「一条请求的若干次尝试」。这正好是后面两节要用的东西。


二、日志里的失败,能分出两种原因

看日志里的错误信息,基本能把原因归到两类:上游渠道的问题,或者客户账号额度的问题。这两类的处理方式完全不同——前者要动渠道,后者只需要提醒客户充值。

常见错误信息大致这么归

日志里看到的 说明什么 往哪查
余额不足 / 额度不足 / 用户额度已用完 客户账号没钱了 用户管理里看这个账号的余额
上游返回 401 / 403 渠道的密钥失效或被拒 这条渠道要重新配密钥
上游返回 429 上游在限速 渠道本身没问题,是对方限流
上游返回 5xx 上游服务端故障 等对方恢复,或先切到兜底渠道
连接超时 / 无法连接 渠道地址不通 检查渠道地址和网络
该分组下没有可用渠道 分组和渠道的匹配断了 看渠道有没有被自动禁用、模型有没有勾上
模型不存在 / 不支持该模型 渠道没勾这个模型 去渠道里把这个模型勾上

「该分组下没有可用渠道」这一条要特别注意。 它不代表渠道全挂了。更常见的情况是:这条渠道因为连续失败被系统自动禁用了;或者它压根没勾这个模型;或者它的「分组」栏里没有写这个客户的分组。三种情况在日志里长得一样,得进渠道管理里看才能分清。


三、失败的请求有没有走兜底,日志里也看得到

同一个客户、同一个模型,把今天的日志从头翻一遍,能看出失败之后发生了什么。下面这两种样子,处理方式完全不同。

flowchart LR
    subgraph OK["情况一:失败之后换了一条渠道,成功"]
        A1["尝试 1 · 失败<br/>de_0.52x_kimi-k3_自部署"] --> A2["尝试 2 · 成功<br/>de_0.58x_kimi-k3_云厂商"]
    end
    subgraph BAD["情况二:两条都失败,没有第三次"]
        B1["尝试 1 · 失败<br/>de_0.52x_kimi-k3_自部署"] --> B2["尝试 2 · 失败<br/>de_0.58x_kimi-k3_云厂商"] --> B3["请求到此结束"]
    end

同一次请求的几次尝试会各留一条记录。后面有没有成功的,决定了要不要动渠道。

情况一里,日志上那两条记录属于同一次请求。客户那边最多偶尔看到一次报错,请求本身是成功的——这种情况不用动渠道,但要记下来是哪条渠道不稳定。

情况二才是真的断了:日志到这儿就结束了,后面没有成功的记录。这时候往下走,去渠道管理。

怎么看出两条记录属于同一次请求: 同一个模型、时间上挨着的两条记录,如果渠道名和状态码都不一样,基本就是同一次请求的重试。日志按时间倒序排列,从下往上看更顺。


四、确认是渠道问题,就去渠道管理按分组看

从日志到渠道测试,中间有三步。

  1. 先在用户管理里找到这个客户,看他挂的是哪个分组。 一个账号只能挂一个分组,所以这一步的结果是唯一的。顺手记下分组的名字,下一步要用。
  2. 打开渠道管理,用分组筛一遍。 筛选栏里选刚才那个分组,页面就只剩下给这个分组供货的渠道了。
  3. 切到卡片视图。 表格视图一行挤了很多列,卡片视图上每条渠道的健康状态、支持的模型一眼就能看到,找问题快得多。
  4. 找到出问题的那条渠道,点测试。 选客户报的那个模型,发一条。测试绕过了所有调度逻辑,直接打这条渠道,结果比日志更直接。

测试的时候一定要选对模型。 一条渠道可能勾了几十个模型,某个模型不通不代表整条渠道挂了。反过来,如果别的模型都通、只有这一个不通,那大概率是上游单独对这个模型做了什么调整,而不是渠道本身出了问题。


五、渠道真的不可用了,先兜住,同时把问题推给上游

四种做法,先看清代价再动手

办法 什么时候用 成本影响 影响范围 要不要请示
停掉这条渠道 确认它短期内好不了 上升 用到这个模型的那些分组 不用
打开禁用的兜底渠道 兜底也被停着,没有退路 可能明显上升 这条渠道挂着的所有分组 成本更高时必须请示
调兜底渠道优先级 渠道都在,只是顺序不对 基本不变 这条渠道挂着的所有分组 不用,但要先看清范围
联系渠道方 / 供应商 错误多、又不自己恢复 不变 不影响任何分组 不用

停掉这条渠道,适用于确认它短期内好不了。停掉之后请求直接走兜底,客户那边立刻恢复。代价是这个模型的成本上去了——被停掉的往往正是折扣最低的那条。

打开之前禁用的兜底渠道,适用于兜底渠道也被停着、导致没有退路的情况。

打开一条成本更高的兜底渠道,要先找领导确认。 它意味着从这一刻起,每一笔请求都在多花钱,而且只要不关就一直花。这个决定不该由排查的人单独做。

调几条兜底渠道的优先级,适用于兜底渠道都在、只是顺序不对——比如便宜的那条排在了后面,或者某条不稳定的排在了前面。调优先级不需要停用任何渠道,改完立刻生效,是三种办法里最轻的一种。

前面这三种做法都是在内部把请求兜住,解决的是「客户现在还能不能用」,不解决「这条渠道为什么坏了」。

如果日志里这条渠道的错误很多,等了一阵子又没有自己恢复,就该去联系渠道方 / 供应商了。 内部调整只能让客户先用上:便宜的渠道一直停着,成本就一直挂在贵的那条上;兜底渠道一直硬扛,压力也一直堆在它身上。渠道本身的问题,得由上游来修。

联系上游时,把日志里的东西一起给对方: 出问题的时间点、报的什么错、错误落在哪些模型上、大概的失败比例。有这些对方才查得动,否则来回几轮也定位不到。

渠道修好之后,记得把之前临时做的调整改回去——停掉的渠道重新打开、优先级恢复原位、临时打开的高成本兜底关掉。这一步最容易忘,忘了就一直多花钱。


六、调优先级之前,先看清这条渠道还挂着哪些分组

这是整件事里最容易出事的地方。

渠道不是某个分组的私有财产。一条渠道的「分组」栏里可以写好几个分组名字,它同时在给这些分组供货。而优先级是写在渠道身上的,不是写在「渠道 + 分组」这个组合上的。你在这个客户的分组里看到的那个数字,和它在别的分组里的数字,是同一个。

改一个数字,所有挂着这条渠道的分组一起变。

flowchart LR
    CH["de_0.58x_kimi-k3_云厂商<br/>优先级 50 改成 10"]
    G1["分组「kimi专属」<br/>客户报障的就是这个分组"]
    G2["分组「glm专属」<br/>顺序跟着一起掉到最后"]
    G3["分组「通用」<br/>顺序跟着一起掉到最后"]
    CH --> G1
    CH --> G2
    CH --> G3

渠道是共享的,优先级也是共享的。为一个分组调顺序,等于为所有挂着它的分组一起调。

举个具体的例子。de_0.58x_kimi-k3_云厂商 这条渠道,「分组」栏里写着「kimi专属, glm专属, 通用」。客户报障的是 kimi 那条业务线,你为了把它的顺序往后挪,把优先级从 50 改成了 10。改完 kimi 这边确实正常了——但 glm 和通用这两个分组里,这条渠道的顺序也跟着掉到了最后。如果 glm 那边本来只有它一条兜底,那 glm 的客户现在开始出问题了。

所以动手之前,先把这条渠道的「分组」栏打开看一眼,确认它挂着哪几个分组,再判断这个改动会不会在别处造成新的问题。

如果影响面确实太大,可以退一步:不去动优先级,改成临时停用某条渠道,或者只打开一条本来就没在用的兜底渠道。停用的影响面同样要看清。


七、处理完先别关日志,多看一会儿

渠道调整是立刻生效的,但日志不会立刻反映出全貌——客户是隔一会儿发一次请求的,得等足够多的请求流过去,才能确认真的好了。

回到使用日志,筛选条件保持不变,观察这几件事:

  • 之前那种失败还有没有出现
  • 失败的请求后面有没有跟上一条成功的尝试,也就是兜底有没有接上
  • 走的到底是哪条渠道——如果走的还是被停掉的那条,说明改动没生效,得回去检查

十分钟内一次失败都没有,基本可以回复客户了。如果还在失败,说明这次调整没打在点上,回到第二节重新看错误信息。


八、如果是额度不足,提醒客户充值

如果日志里明确是余额或额度的问题,那渠道一个字都不用改。这种情况只需要做一件事:告诉客户账号余额不足,请他充值。

充值之后请求会自动恢复,不需要任何配置变更。可以顺带提一句,让他自己留意后台的余额,避免下次又是在用不了的时候才发现。

不要因为额度不足就去动渠道配置。 这是排查里最容易犯的错:看到报错就想去调渠道,结果把一个纯充值的问题,变成了一次配置变更,还顺带影响了别的分组。


九、排查顺序

flowchart TD
    S1["客户报障:某某模型用不了"]
    S2["打开使用日志<br/>时间保持默认(今天)<br/>按用户名或模型名称(模型ID)筛选"]
    S3["日志里的失败,是哪种原因?"]
    L1["额度不足"]
    L2["提醒客户充值<br/>不用动任何配置"]
    R1["上游渠道报错"]
    R2["查客户分组 → 按分组筛渠道<br/>→ 卡片视图里测这个模型"]
    R3["停掉 / 开兜底 / 调优先级"]
    R4["再观察一会儿日志"]
    R5["联系渠道方 / 供应商"]
    R6["上游修好后,把临时调整改回去"]

    S1 --> S2 --> S3
    S3 --> L1 --> L2
    S3 --> R1 --> R2
    R2 --> R3 --> R4
    R2 --> R5 --> R6

从报障到动手,中间隔着日志、分组、渠道三道确认。急的时候按这张图从上往下走一遍。

记不住细节就记住这一句:先看日志定原因,再按分组找渠道,最后才动配置。 动配置之前,多花一分钟确认这条渠道还挂着哪些分组。


用到的入口都在后台左侧菜单里:使用日志、用户管理、渠道管理。日常报障基本就在这三个页面之间来回。

Updated by 商宗康 商 about 2 months ago · 1 revisions