本文是《从零搭建 AI + 人工呼叫中心》的补充篇。前面几篇里,AI 是"接电话的人"。这一篇里,AI 退到幕后:人工坐席和客户通话时,AI 实时转写双方的话,给坐席弹出提示,必要时在坐席耳边"耳语",挂机后自动生成通话小结和质检评分。
用到的代码:配套代码包里的
qa_assist.py。下载地址:https://www.liaoxinghui.com/upload/ai-callcenter-demo.zip
目录
- 1. 效果
- 2. 关键设计:推流挂在坐席腿上
- 3. 什么时候、怎么开启推流
- 4. 开启推流模块的 HTTP 接口
- 5. qa_assist.py 逐段讲解
- 6. 跑起来
- 7. 从关键词到大模型
- 8. 推流授权与并发
- 9. 数据与隐私
- 10. 常见问题
1. 效果
坐席接起排队电话后,打开浏览器里的坐席辅助页面:
┌──────────── 实时转写 ────────────┬────────────── 提示 ──────────────┐
│ 14:02:11 客户:我家网已经断了两天了 │ 14:02:12 故障排查:先请客户重启光猫 │
│ 14:02:15 坐席:您好,我先帮您查一下 │ 和路由器,仍不行就预约上门 │
│ 14:02:20 客户:再不修好我就去投诉 │ 14:02:21 客户有投诉倾向:先致歉、 │
│ 14:02:24 坐席:非常抱歉给您添麻烦了 │ 复述诉求,承诺 24 小时内给答复 │
│ … │ ── 通话结束 ── │
│ │ 小结:客户宽带中断两天,已预约…… │
│ │ 评分:8/10,建议:…… │
└──────────────────────────────────┴───────────────────────────────────┘同时,data/qa/<call_id>.json 里会保存完整转写、触发过的提示和小结,供质检回看。
2. 关键设计:推流挂在坐席腿上
客户转进队列、坐席接起后,FreeSWITCH 里有两条通道桥接在一起:
客户腿(FCC 持有的 uuid) ◄═══ bridge ═══► 坐席腿(agent_uuid)
读:客户说的话 读:坐席说的话
写:客户听到的 = 坐席说的话 写:坐席听到的 = 客户说的话推流可以挂在任意一条腿上。本文把推流挂在坐席腿上,用 stereo 模式:
| 挂在坐席腿(本文) | 挂在客户腿 | |
|---|---|---|
| 左声道(采集方向) | 坐席说的话 | 客户说的话 |
| 右声道(写方向) | 客户说的话 | 坐席说的话 |
| 注入的声音谁能听到 | 只有坐席 | 只有客户 |
两种挂法都能同时拿到双方的声音,区别在于注入:
- 挂在坐席腿上,后端发回的语音只有坐席能听到,客户听不到。这就是"耳语"(whisper):AI 可以在坐席耳边小声提示,而客户毫无察觉;
- 挂在客户腿上,注入的声音会被客户听到。只做转写和质检、不需要耳语时,两种挂法效果一样。
推流模块会把注入的声音叠加到坐席听到的声音上(见系列 1 的 4.4 节),所以耳语和客户的声音会同时出现在坐席耳机里。耳语要短,并且默认关闭。
另外,模块在每一帧上先采集、后注入,所以耳语不会被录进右声道,也就不会被当成"客户说的话"识别出来。
3. 什么时候、怎么开启推流
什么时候:FCC 的 queue.bridged 事件。它表示坐席已经接听并桥接,事件里带着:
{"type":"queue.bridged","data":{"call_id":"call_…","uuid":"<客户腿>","queue":"support@default",
"agent":"1002@default","agent_uuid":"<坐席腿>", …}}怎么开启:坐席腿是 mod_callcenter 呼出的,不经过我们的拨号计划,没法用拨号计划应用启动推流。所以要用推流模块的 HTTP 接口(或者通过 ESL 调用 taering_stream_json):
POST /api/v1/streams
Authorization: Bearer <api_token>
{"channel_id": "<agent_uuid>",
"ws_url": "ws://127.0.0.1:9100/qa",
"mix_type": "stereo",
"external_id": "<FCC call_id>",
"request_id": "qa-<FCC call_id>"}ws_url显式指向质检后端,而不是配置里默认的 AI 机器人地址;external_id会出现在 start 帧里,质检后端用它把这路推流和 FCC 的通话对应起来;request_id保证即使queue.bridged因为续传被重复投递,也不会重复开启。
什么时候停止:不用主动停。坐席或客户挂机时,坐席腿结束,推流随之结束,质检后端看到连接关闭。坐席把客户转走时,坐席腿同样会结束。
4. 开启推流模块的 HTTP 接口
编辑 $FS_HOME/conf/autoload_configs/mod_taering_stream.conf.xml:
<param name="api_enabled" value="true"/>
<param name="api_listen_host" value="127.0.0.1"/>
<param name="api_listen_port" value="18081"/>
<param name="api_token" value="用 openssl rand -hex 32 生成"/>开启 HTTP 接口时
api_token不能为空,否则整个推流模块都会加载失败,AI 机器人也会跟着不可用。
fs reload mod_taering_stream
curl -sS -H "Authorization: Bearer <api_token>" http://127.0.0.1:18081/api/v1/health
# {"ok":true,"module":"taering_stream","version":"0.55",…}然后在配套代码的 .env 里填上:
STREAM_API_BASE=http://127.0.0.1:18081/api/v1
STREAM_API_TOKEN=上面的 api_token5. qa_assist.py 逐段讲解
qa_assist.py 一个进程里跑三件事:
┌───────────────────────────── qa_assist.py ─────────────────────────────┐
│ ① FCC 事件消费:queue.bridged → 调推流 HTTP 接口,在坐席腿上开 stereo 推流 │
│ ② 推流后端 ws://127.0.0.1:9100/qa:拆声道 → 两路 ASR → 规则 → 提示/耳语 │
│ ③ 网页 http://…:9200/:实时转写和提示(Server-Sent Events 推送) │
└────────────────────────────────────────────────────────────────────────┘5.1 开启推流
async def fcc_loop():
async for raw in ws:
ev = json.loads(raw)
if ev.get("type") == "queue.bridged":
d = ev["data"]
await start_stream_on_agent(d["call_id"], d["agent_uuid"])
async def start_stream_on_agent(call_id, agent_uuid):
await c.post(f"{config.STREAM_API_BASE}/streams", headers=…, json={
"channel_id": agent_uuid, "ws_url": "ws://127.0.0.1:9100/qa",
"mix_type": "stereo", "external_id": call_id, "request_id": f"qa-{call_id}"})HTTP 接口返回 202 表示推流会话已创建、正在连接后端。
5.2 拆声道,两路识别
async for msg in self.ws:
if self.stereo:
pcm = array.array("h", msg)
await self.asr["agent"].send_audio(pcm[0::2].tobytes()) # 左:坐席
await self.asr["customer"].send_audio(pcm[1::2].tobytes()) # 右:客户stereo 帧里,左右声道的采样点交替排列。用 array 按步长 2 切片,就能拆成两路单声道 PCM,分别送给两个 Paraformer 识别会话。两路的采样率都等于 start 帧里的 sample_rate。
两路识别意味着 ASR 用量是单路的两倍。只关心客户说什么时,可以只开一路。
5.3 规则与提示
RULES = [
("customer", ["投诉", "12315", "工信部", "曝光"], "客户有投诉倾向:先致歉、复述诉求,承诺 24 小时内给答复"),
("customer", ["退订", "销户", "取消套餐", "不用了"], "客户想退订:先问清原因,可以提供续约优惠"),
("customer", ["多少钱", "资费", "价格", "套餐"], "资费:100M 59 元/月,300M 89 元/月,1000M 129 元/月"),
("customer", ["断网", "上不了网", "网速慢", "掉线"], "故障排查:先请客户重启光猫和路由器,仍不行就预约上门"),
("agent", ["保证", "绝对", "肯定没问题"], "合规提醒:避免使用绝对化承诺"),
]每识别出一句话(sentence_end),就按说话方匹配规则。同一条提示在一通电话里只出现一次,避免刷屏。规则分两类:
- 客户侧:识别意图,给坐席递"标准答案"和处理建议;
- 坐席侧:检查合规用语,实时提醒。
5.4 耳语
async def whisper(self, text):
tts = CosyVoiceTurn(self.rate, self.player.feed)
await tts.start()
await tts.say("提示," + text)
await tts.finish()
await self.player.end_of_turn()和 AI 机器人一样,用 CosyVoice 合成,经过 PcmPlayer 按整帧、按实时节奏发回模块(规则见系列 1 的 4.4 节)。因为推流挂在坐席腿上,这段语音只有坐席能听到。
耳语默认关闭,启动时加 --whisper 才开启,而且只说提示的前半句(比如"提示,客户有投诉倾向"),详细内容看网页。
5.5 挂机后:小结与评分
连接关闭后,把整通转写交给大模型:
prompt = ("下面是一通客服电话的转写。请输出:1) 三句话以内的通话小结;2) 客户诉求是否解决;"
"3) 坐席服务评分(1-10)及一条改进建议。用纯文本,不要 Markdown。\n\n" + dialog)结果推送到网页,并和转写一起保存到 data/qa/<call_id>.json。
5.6 网页
网页用标准库的 asyncio.start_server 实现,没有额外依赖:
GET /:一个静态页面,左边转写,右边提示;GET /events:Server-Sent Events,后端每产生一条转写、提示或小结,就推一条消息。
网页默认只监听 127.0.0.1。坐席在其他电脑上打开时,在 .env 里设置 QA_WEB_HOST=0.0.0.0,并用防火墙限制只允许坐席所在网段访问。页面里是客户通话的实时内容,不要暴露到公网。
这是一个演示用的单页面:所有坐席看到的是同一个页面,包括所有通话。真实的坐席工作台要按坐席登录,只推送自己那通电话的内容,可以用
agent字段(比如1002@default)做分发。
6. 跑起来
前提:主篇的全链路已经跑通(AI 能转人工,坐席 1002 能接听),并且按第 4 章开启了推流 HTTP 接口。
# 终端 1:AI 机器人
python -m bot.server
# 终端 2:控制面
python controller.py
# 终端 3:质检与坐席辅助(加 --whisper 开启耳语)
python qa_assist.py浏览器打开 http://127.0.0.1:9200/(或者配置 QA_WEB_HOST 后用服务器 IP 访问)。
用 1001 拨 4000,对 AI 说"转人工"。1002 接起后,在 1001 上说"我家网断了两天了,再不修好我就去投诉",网页上会出现转写和两条提示。挂机后右侧出现小结。
qa_assist 的输出(示例):
connected to FCC
start QA stream on agent leg 7a2c… -> 202 {"ok":true,"stream_id":"…","state":"connecting",…}
[call_8b2e…] QA start uuid=7a2c… rate=16000 mix=stereo
[call_8b2e…] HINT 故障排查:先请客户重启光猫和路由器,仍不行就预约上门
[call_8b2e…] HINT 客户有投诉倾向:先致歉、复述诉求,承诺 24 小时内给答复
[call_8b2e…] QA saved, summary: 1) 客户反映宽带中断两天……7. 从关键词到大模型
关键词规则简单、可控、几乎没有延迟,但覆盖面有限,换个说法就漏了("我要找你们领导"其实也是投诉倾向)。可以逐步升级:
| 阶段 | 做法 | 延迟 | 成本 |
|---|---|---|---|
| 1 | 关键词规则(本文) | 几乎为零 | 无 |
| 2 | 每句客户的话交给小模型做意图分类(qwen-flash 一类),输出固定的标签 |
几百毫秒 | 低 |
| 3 | 每隔几句,把最近的对话交给大模型,生成下一步建议 | 1~3 秒 | 中 |
| 4 | 接入知识库(RAG):根据客户问题检索产品文档,把答案要点推给坐席 | 1~3 秒 | 中 |
几条经验:
- 提示要短、要能直接照着说,坐席没有时间读长段落;
- 同一类提示要去重、限频;
- 实时阶段用快模型,挂机后的小结和评分再用强模型;
- 质检评分的标准(开场白、身份核实、致歉、结束语等)写进提示词,并定期用人工抽检来校准。
8. 推流授权与并发
- 一通"AI 接待 → 转人工"的电话,在 AI 阶段占用 1 路推流(客户腿),转人工时 7000 分机会先停掉它,然后在坐席腿上开启质检推流,再占用 1 路。两个阶段不重叠,所以试用版的 1 路授权也能演示完整流程;
- 生产环境需要的推流并发 ≈ 同时进行的 AI 通话数 + 同时进行的人工通话数;
- 同一个通道同时只能有一路推流。如果既要 AI 对话、又要同一通道上的质检,就用一路 stereo,在后端内部分发;
- ASR 用量:质检双声道识别是单声道的两倍。
商业授权(不限并发)请联系 taering@vip.qq.com。
9. 数据与隐私
实时质检会产生大量敏感数据:通话转写里常有姓名、手机号、地址、身份证号。上线前请考虑:
- 告知:按当地法规告知客户通话可能被录音和分析;
- 最小化:只保存质检需要的内容,敏感字段(证件号、银行卡号)在入库前脱敏;
- 访问控制:坐席只能看自己的通话,质检员按权限查看;
- 保留期限:转写和小结按制度定期清理;
- 传输:后端、网页都只在内网访问,跨网络时使用 TLS。
10. 常见问题
Q:坐席接通了,qa_assist 没反应?
看是否打印了 start QA stream on agent leg:
- 没打印:没收到
queue.bridged。确认通话是经过 mod_callcenter 队列转给坐席的(直接bridge给分机不会产生队列事件); - 打印了但返回 401:
STREAM_API_TOKEN和配置里的api_token不一致; - 返回 400 且
START_FAILED:授权并发已满(是不是 AI 那路推流没停?检查 7000 分机第一行的taering_stream stop),或者agent_uuid对应的通道已经不存在。
Q:转写里客户和坐席的话对调了?
推流挂错了腿。挂在客户腿上时,左声道是客户、右声道是坐席,代码里的对应关系要反过来。
Q:开了耳语,客户也听到了?
推流挂在了客户腿上。耳语必须挂在坐席腿上。
Q:只有一边的转写?
stereo 的右声道依赖写方向的帧。坐席腿刚接通的一两帧可能还没有数据,模块会填静音,这是正常的。如果一直只有一边,检查 mix_type 是否真的是 stereo(start 帧里有)。
Q:AI 接待阶段能不能也做质检?
可以。AI 阶段的对话内容机器人自己就有(ASR 结果和自己的回复),直接在 bot/server.py 里记录下来即可,不需要再开一路推流。
相关链接
- 主篇:https://www.liaoxinghui.com/archives/freeswitch-ai-callcenter-from-scratch
- freeswitch_stream_mod:https://github.com/taering365/freeswitch_stream_mod
- mod_fcc:https://github.com/taering365/mod_fcc
- 配套代码:https://www.liaoxinghui.com/upload/ai-callcenter-demo.zip
系列文章
- 主篇:从零搭建 AI + 人工呼叫中心:https://www.liaoxinghui.com/archives/freeswitch-ai-callcenter-from-scratch
- 系列 1:mod_taering_stream 媒体协议详解:https://www.liaoxinghui.com/archives/freeswitch-ai-callcenter-01-stream-protocol
- 系列 2:FCC 控制面深入:https://www.liaoxinghui.com/archives/freeswitch-ai-callcenter-02-fcc
- 系列 3:AI 外呼:https://www.liaoxinghui.com/archives/freeswitch-ai-callcenter-03-outbound
- 系列 4:实时质检与坐席辅助:https://www.liaoxinghui.com/archives/freeswitch-ai-callcenter-04-qa-assist
- 系列 5:延迟优化:https://www.liaoxinghui.com/archives/freeswitch-ai-callcenter-05-latency
- 系列 6:接入运营商线路:https://www.liaoxinghui.com/archives/freeswitch-ai-callcenter-06-carrier
- 系列 7:生产化:https://www.liaoxinghui.com/archives/freeswitch-ai-callcenter-07-production
- 系列 8:排障手册:https://www.liaoxinghui.com/archives/freeswitch-ai-callcenter-08-troubleshooting