Administrator
发布于 2026-11-21 / 1 阅读
0
0

系列 4:实时质检与坐席辅助

本文是《从零搭建 AI + 人工呼叫中心》的补充篇。前面几篇里,AI 是"接电话的人"。这一篇里,AI 退到幕后:人工坐席和客户通话时,AI 实时转写双方的话,给坐席弹出提示,必要时在坐席耳边"耳语",挂机后自动生成通话小结和质检评分。

用到的代码:配套代码包里的 qa_assist.py。下载地址:https://www.liaoxinghui.com/upload/ai-callcenter-demo.zip


目录


1. 效果

坐席接起排队电话后,打开浏览器里的坐席辅助页面:

┌──────────── 实时转写 ────────────┬────────────── 提示 ──────────────┐
│ 14:02:11 客户:我家网已经断了两天了 │ 14:02:12 故障排查:先请客户重启光猫 │
│ 14:02:15 坐席:您好,我先帮您查一下 │ 和路由器,仍不行就预约上门         │
│ 14:02:20 客户:再不修好我就去投诉   │ 14:02:21 客户有投诉倾向:先致歉、   │
│ 14:02:24 坐席:非常抱歉给您添麻烦了 │ 复述诉求,承诺 24 小时内给答复      │
│ …                                │ ── 通话结束 ──                     │
│                                  │ 小结:客户宽带中断两天,已预约……    │
│                                  │ 评分:8/10,建议:……               │
└──────────────────────────────────┴───────────────────────────────────┘

同时,data/qa/<call_id>.json 里会保存完整转写、触发过的提示和小结,供质检回看。

↑ 回到目录


2. 关键设计:推流挂在坐席腿上

客户转进队列、坐席接起后,FreeSWITCH 里有两条通道桥接在一起:

客户腿(FCC 持有的 uuid)  ◄═══ bridge ═══►  坐席腿(agent_uuid)
   读:客户说的话                               读:坐席说的话
   写:客户听到的 = 坐席说的话                   写:坐席听到的 = 客户说的话

推流可以挂在任意一条腿上。本文把推流挂在坐席腿上,用 stereo 模式:

挂在坐席腿(本文) 挂在客户腿
左声道(采集方向) 坐席说的话 客户说的话
右声道(写方向) 客户说的话 坐席说的话
注入的声音谁能听到 只有坐席 只有客户

两种挂法都能同时拿到双方的声音,区别在于注入:

  • 挂在坐席腿上,后端发回的语音只有坐席能听到,客户听不到。这就是"耳语"(whisper):AI 可以在坐席耳边小声提示,而客户毫无察觉;
  • 挂在客户腿上,注入的声音会被客户听到。只做转写和质检、不需要耳语时,两种挂法效果一样。

推流模块会把注入的声音叠加到坐席听到的声音上(见系列 1 的 4.4 节),所以耳语和客户的声音会同时出现在坐席耳机里。耳语要短,并且默认关闭。

另外,模块在每一帧上先采集、后注入,所以耳语不会被录进右声道,也就不会被当成"客户说的话"识别出来。

↑ 回到目录


3. 什么时候、怎么开启推流

什么时候:FCC 的 queue.bridged 事件。它表示坐席已经接听并桥接,事件里带着:

{"type":"queue.bridged","data":{"call_id":"call_…","uuid":"<客户腿>","queue":"support@default",
 "agent":"1002@default","agent_uuid":"<坐席腿>", …}}

怎么开启:坐席腿是 mod_callcenter 呼出的,不经过我们的拨号计划,没法用拨号计划应用启动推流。所以要用推流模块的 HTTP 接口(或者通过 ESL 调用 taering_stream_json):

POST /api/v1/streams
Authorization: Bearer <api_token>

{"channel_id": "<agent_uuid>",
 "ws_url": "ws://127.0.0.1:9100/qa",
 "mix_type": "stereo",
 "external_id": "<FCC call_id>",
 "request_id": "qa-<FCC call_id>"}
  • ws_url 显式指向质检后端,而不是配置里默认的 AI 机器人地址;
  • external_id 会出现在 start 帧里,质检后端用它把这路推流和 FCC 的通话对应起来;
  • request_id 保证即使 queue.bridged 因为续传被重复投递,也不会重复开启。

什么时候停止:不用主动停。坐席或客户挂机时,坐席腿结束,推流随之结束,质检后端看到连接关闭。坐席把客户转走时,坐席腿同样会结束。

↑ 回到目录


4. 开启推流模块的 HTTP 接口

编辑 $FS_HOME/conf/autoload_configs/mod_taering_stream.conf.xml:

<param name="api_enabled" value="true"/>
<param name="api_listen_host" value="127.0.0.1"/>
<param name="api_listen_port" value="18081"/>
<param name="api_token" value="用 openssl rand -hex 32 生成"/>

开启 HTTP 接口时 api_token 不能为空,否则整个推流模块都会加载失败,AI 机器人也会跟着不可用。

fs reload mod_taering_stream
curl -sS -H "Authorization: Bearer <api_token>" http://127.0.0.1:18081/api/v1/health
# {"ok":true,"module":"taering_stream","version":"0.55",…}

然后在配套代码的 .env 里填上:

STREAM_API_BASE=http://127.0.0.1:18081/api/v1
STREAM_API_TOKEN=上面的 api_token

↑ 回到目录


5. qa_assist.py 逐段讲解

qa_assist.py 一个进程里跑三件事:

┌───────────────────────────── qa_assist.py ─────────────────────────────┐
│ ① FCC 事件消费:queue.bridged → 调推流 HTTP 接口,在坐席腿上开 stereo 推流  │
│ ② 推流后端 ws://127.0.0.1:9100/qa:拆声道 → 两路 ASR → 规则 → 提示/耳语     │
│ ③ 网页 http://…:9200/:实时转写和提示(Server-Sent Events 推送)           │
└────────────────────────────────────────────────────────────────────────┘

5.1 开启推流

async def fcc_loop():
    async for raw in ws:
        ev = json.loads(raw)
        if ev.get("type") == "queue.bridged":
            d = ev["data"]
            await start_stream_on_agent(d["call_id"], d["agent_uuid"])

async def start_stream_on_agent(call_id, agent_uuid):
    await c.post(f"{config.STREAM_API_BASE}/streams", headers=…, json={
        "channel_id": agent_uuid, "ws_url": "ws://127.0.0.1:9100/qa",
        "mix_type": "stereo", "external_id": call_id, "request_id": f"qa-{call_id}"})

HTTP 接口返回 202 表示推流会话已创建、正在连接后端。

5.2 拆声道,两路识别

async for msg in self.ws:
    if self.stereo:
        pcm = array.array("h", msg)
        await self.asr["agent"].send_audio(pcm[0::2].tobytes())       # 左:坐席
        await self.asr["customer"].send_audio(pcm[1::2].tobytes())    # 右:客户

stereo 帧里,左右声道的采样点交替排列。用 array 按步长 2 切片,就能拆成两路单声道 PCM,分别送给两个 Paraformer 识别会话。两路的采样率都等于 start 帧里的 sample_rate。

两路识别意味着 ASR 用量是单路的两倍。只关心客户说什么时,可以只开一路。

5.3 规则与提示

RULES = [
    ("customer", ["投诉", "12315", "工信部", "曝光"], "客户有投诉倾向:先致歉、复述诉求,承诺 24 小时内给答复"),
    ("customer", ["退订", "销户", "取消套餐", "不用了"], "客户想退订:先问清原因,可以提供续约优惠"),
    ("customer", ["多少钱", "资费", "价格", "套餐"],   "资费:100M 59 元/月,300M 89 元/月,1000M 129 元/月"),
    ("customer", ["断网", "上不了网", "网速慢", "掉线"], "故障排查:先请客户重启光猫和路由器,仍不行就预约上门"),
    ("agent",    ["保证", "绝对", "肯定没问题"],       "合规提醒:避免使用绝对化承诺"),
]

每识别出一句话(sentence_end),就按说话方匹配规则。同一条提示在一通电话里只出现一次,避免刷屏。规则分两类:

  • 客户侧:识别意图,给坐席递"标准答案"和处理建议;
  • 坐席侧:检查合规用语,实时提醒。

5.4 耳语

async def whisper(self, text):
    tts = CosyVoiceTurn(self.rate, self.player.feed)
    await tts.start()
    await tts.say("提示," + text)
    await tts.finish()
    await self.player.end_of_turn()

和 AI 机器人一样,用 CosyVoice 合成,经过 PcmPlayer 按整帧、按实时节奏发回模块(规则见系列 1 的 4.4 节)。因为推流挂在坐席腿上,这段语音只有坐席能听到。

耳语默认关闭,启动时加 --whisper 才开启,而且只说提示的前半句(比如"提示,客户有投诉倾向"),详细内容看网页。

5.5 挂机后:小结与评分

连接关闭后,把整通转写交给大模型:

prompt = ("下面是一通客服电话的转写。请输出:1) 三句话以内的通话小结;2) 客户诉求是否解决;"
          "3) 坐席服务评分(1-10)及一条改进建议。用纯文本,不要 Markdown。\n\n" + dialog)

结果推送到网页,并和转写一起保存到 data/qa/<call_id>.json。

5.6 网页

网页用标准库的 asyncio.start_server 实现,没有额外依赖:

  • GET /:一个静态页面,左边转写,右边提示;
  • GET /events:Server-Sent Events,后端每产生一条转写、提示或小结,就推一条消息。

网页默认只监听 127.0.0.1。坐席在其他电脑上打开时,在 .env 里设置 QA_WEB_HOST=0.0.0.0,并用防火墙限制只允许坐席所在网段访问。页面里是客户通话的实时内容,不要暴露到公网。

这是一个演示用的单页面:所有坐席看到的是同一个页面,包括所有通话。真实的坐席工作台要按坐席登录,只推送自己那通电话的内容,可以用 agent 字段(比如 1002@default)做分发。

↑ 回到目录


6. 跑起来

前提:主篇的全链路已经跑通(AI 能转人工,坐席 1002 能接听),并且按第 4 章开启了推流 HTTP 接口。

# 终端 1:AI 机器人
python -m bot.server

# 终端 2:控制面
python controller.py

# 终端 3:质检与坐席辅助(加 --whisper 开启耳语)
python qa_assist.py

浏览器打开 http://127.0.0.1:9200/(或者配置 QA_WEB_HOST 后用服务器 IP 访问)。

用 1001 拨 4000,对 AI 说"转人工"。1002 接起后,在 1001 上说"我家网断了两天了,再不修好我就去投诉",网页上会出现转写和两条提示。挂机后右侧出现小结。

qa_assist 的输出(示例):

connected to FCC
start QA stream on agent leg 7a2c… -> 202 {"ok":true,"stream_id":"…","state":"connecting",…}
[call_8b2e…] QA start uuid=7a2c… rate=16000 mix=stereo
[call_8b2e…] HINT 故障排查:先请客户重启光猫和路由器,仍不行就预约上门
[call_8b2e…] HINT 客户有投诉倾向:先致歉、复述诉求,承诺 24 小时内给答复
[call_8b2e…] QA saved, summary: 1) 客户反映宽带中断两天……

↑ 回到目录


7. 从关键词到大模型

关键词规则简单、可控、几乎没有延迟,但覆盖面有限,换个说法就漏了("我要找你们领导"其实也是投诉倾向)。可以逐步升级:

阶段 做法 延迟 成本
1 关键词规则(本文) 几乎为零 无
2 每句客户的话交给小模型做意图分类(qwen-flash 一类),输出固定的标签 几百毫秒 低
3 每隔几句,把最近的对话交给大模型,生成下一步建议 1~3 秒 中
4 接入知识库(RAG):根据客户问题检索产品文档,把答案要点推给坐席 1~3 秒 中

几条经验:

  • 提示要短、要能直接照着说,坐席没有时间读长段落;
  • 同一类提示要去重、限频;
  • 实时阶段用快模型,挂机后的小结和评分再用强模型;
  • 质检评分的标准(开场白、身份核实、致歉、结束语等)写进提示词,并定期用人工抽检来校准。

↑ 回到目录


8. 推流授权与并发

  • 一通"AI 接待 → 转人工"的电话,在 AI 阶段占用 1 路推流(客户腿),转人工时 7000 分机会先停掉它,然后在坐席腿上开启质检推流,再占用 1 路。两个阶段不重叠,所以试用版的 1 路授权也能演示完整流程;
  • 生产环境需要的推流并发 ≈ 同时进行的 AI 通话数 + 同时进行的人工通话数;
  • 同一个通道同时只能有一路推流。如果既要 AI 对话、又要同一通道上的质检,就用一路 stereo,在后端内部分发;
  • ASR 用量:质检双声道识别是单声道的两倍。

商业授权(不限并发)请联系 taering@vip.qq.com。

↑ 回到目录


9. 数据与隐私

实时质检会产生大量敏感数据:通话转写里常有姓名、手机号、地址、身份证号。上线前请考虑:

  • 告知:按当地法规告知客户通话可能被录音和分析;
  • 最小化:只保存质检需要的内容,敏感字段(证件号、银行卡号)在入库前脱敏;
  • 访问控制:坐席只能看自己的通话,质检员按权限查看;
  • 保留期限:转写和小结按制度定期清理;
  • 传输:后端、网页都只在内网访问,跨网络时使用 TLS。

↑ 回到目录


10. 常见问题

Q:坐席接通了,qa_assist 没反应?

看是否打印了 start QA stream on agent leg:

  • 没打印:没收到 queue.bridged。确认通话是经过 mod_callcenter 队列转给坐席的(直接 bridge 给分机不会产生队列事件);
  • 打印了但返回 401:STREAM_API_TOKEN 和配置里的 api_token 不一致;
  • 返回 400 且 START_FAILED:授权并发已满(是不是 AI 那路推流没停?检查 7000 分机第一行的 taering_stream stop),或者 agent_uuid 对应的通道已经不存在。

Q:转写里客户和坐席的话对调了?

推流挂错了腿。挂在客户腿上时,左声道是客户、右声道是坐席,代码里的对应关系要反过来。

Q:开了耳语,客户也听到了?

推流挂在了客户腿上。耳语必须挂在坐席腿上。

Q:只有一边的转写?

stereo 的右声道依赖写方向的帧。坐席腿刚接通的一两帧可能还没有数据,模块会填静音,这是正常的。如果一直只有一边,检查 mix_type 是否真的是 stereo(start 帧里有)。

Q:AI 接待阶段能不能也做质检?

可以。AI 阶段的对话内容机器人自己就有(ASR 结果和自己的回复),直接在 bot/server.py 里记录下来即可,不需要再开一路推流。


相关链接

系列文章

↑ 回到顶部


评论