本文是《从零搭建 AI + 人工呼叫中心》的补充篇。电话里的 AI 体验好不好,最直观的指标是:客户说完一句话,要等多久才听到 AI 开口。本篇先讲怎么测,再按环节讲怎么降。
本文的代码改动已经包含在最新的配套代码包里:https://www.liaoxinghui.com/upload/ai-callcenter-demo.zip
目录
- 1. 延迟由哪几段组成
- 2. 先测量:TIMING 日志
- 3. 端到端测量:录音看波形
- 4. 断句:最大的一段
- 5. 大模型:首字时间
- 6. 语音合成:首包时间
- 7. 并行化:不要让环节排队
- 8. 固定话术预合成
- 9. 网络与部署位置
- 10. 推流模块侧
- 11. 体验上的技巧
- 12. 优化清单
1. 延迟由哪几段组成
从客户说完最后一个字,到听见 AI 的第一个字:
客户说完 ─┬─ ① 断句等待:静音持续多久才认定"这句话说完了"
├─ ② ASR 出最终结果
├─ ③ 大模型首字(TTFT)
├─ ④ 攒够第一句(等到句号、问号)
├─ ⑤ TTS 首包:送出第一句到收到第一段音频
├─ ⑥ 后端 → 推流模块 → 注入通话
└─ ⑦ FreeSWITCH → 网络 → 客户的电话(含对方的抖动缓冲)
AI 开口其中 ①、③、④、⑤ 通常占大头,而且都可以调;⑥、⑦ 主要取决于网络和部署。
2. 先测量:TIMING 日志
新版配套代码在每一轮回复结束时打印一行:
[5f1c…] TIMING tts_ready=180 llm_first_token=420 tts_first_audio=760计时起点是 ASR 给出这一句的最终结果(on_final),单位毫秒:
| 字段 | 含义 | 对应环节 |
|---|---|---|
tts_ready |
TTS 连接建立、任务启动完成 | ⑤ 的准备部分 |
llm_first_token |
大模型返回第一个字 | ③ |
tts_first_audio |
收到第一段合成音频 | ③ + ④ + ⑤ |
tts_first_audio 基本等于"ASR 出结果之后,后端需要多久才有声音可以播"。实现方式很简单:给 TTS 的音频回调包一层,第一次被调用时记下时间:
async def feed(pcm, _orig=self.player.feed):
timing.setdefault("tts_first_audio", loop_time())
await _orig(pcm)ASR 的断句等待(①②)不在这个日志里,需要用下一章的方法测。
建议连续打 10~20 通电话,取中位数和最大值,不要只看一次。同一个模型在不同时段的响应时间可能差别很大。
3. 端到端测量:录音看波形
最可靠的测量是把双方的声音录成一个立体声文件,直接看波形里"客户说完"到"AI 开口"之间的空白有多长。
在 AI 分机里加一行录音(只在测试时开启):
<action application="set" data="RECORD_STEREO=true"/>
<action application="record_session" data="/tmp/latency-${uuid}.wav"/>
<action application="taering_stream" data="start - mono 16k"/>
<action application="park"/>RECORD_STEREO=true 时,一个声道录客户的声音,另一个声道录客户听到的声音(也就是 AI 的声音)。打完电话后从容器里拷出来:
sudo docker cp $FS_CONTAINER:/tmp/latency-<uuid>.wav .用 Audacity 之类的音频软件打开,就能直接量出每一轮的间隔。这个数字包含了 ① 到 ⑥ 的全部环节(不含客户那一侧的网络和终端缓冲),是最接近真实体验的指标。
4. 断句:最大的一段
ASR 要等客户停顿一段时间,才能确定这句话说完了。配套代码的设置:
"semantic_punctuation_enabled": False, # 关闭语义断句,使用静音断句
"max_sentence_silence": 600, # 静音 600ms 判定一句话结束这 600 毫秒是每一轮都要付出的固定成本。 调整时要权衡:
max_sentence_silence |
好处 | 代价 |
|---|---|---|
| 调小(400 左右) | 接话更快 | 客户句中稍一停顿,就被切成两句,AI 抢话 |
| 调大(800~1000) | 不容易抢话,适合老年客户、需要思考的问题 | 每一轮都慢 |
进阶做法:
- 按场景动态调整:问身份证号、地址这类需要思考的问题时调大,日常问答时调小。Paraformer 的参数是在
run-task时设置的,动态调整需要在问题前后重建识别任务,实现成本较高; - 用中间结果抢跑:在 ASR 还没给出最终结果时,就用中间结果先请求大模型;如果最终结果和中间结果一致,就直接用已经生成的回答,不一致就丢弃重来。这能省掉一部分 ①②,但会多消耗大模型调用,适合对延迟极度敏感的场景。
5. 大模型:首字时间
影响首字时间(TTFT)的因素:
| 因素 | 做法 |
|---|---|
| 模型大小 | 对话场景优先选快模型。百炼上可以对比 qwen-flash、qwen-turbo、qwen-plus,在 .env 里改 LLM_MODEL 就能切换 |
| 输入长度 | 系统提示词写精炼;对话历史只保留最近若干轮(比如 10 轮),更早的内容压缩成摘要 |
| 思考模式 | 部分模型支持"深度思考",会先输出很长的推理过程,电话场景要关掉 |
| 并发与限流 | 高峰期排队会让首字时间明显变长,关注百炼控制台里的限流情况 |
怎么选模型:用同样的 10~20 个典型问题,分别跑 TIMING 和人工评估回答质量,选"够用且最快"的那个。电话对话要的是简短、准确、口语化,一般不需要最强的模型。
6. 语音合成:首包时间
6.1 第一句要短
TTS 要等收到一句完整的文本才开始合成。如果大模型的第一句话很长,就要等它全部生成出来。两个办法:
- 在提示词里要求"先用一个短句回应,再展开",比如"好的,我帮您查一下。";
- 第一句也可以按逗号切。配套代码按
。!?;切句,可以改成:第一句遇到逗号、并且已经超过 8~10 个字时就先送出,后面的句子仍然按句号切:
FIRST_CUT = re.compile(r"[,,。!?;!?;\n]")
pattern = FIRST_CUT if first_sentence else SENTENCE_END
m = pattern.search(pending)
if m and (pattern is SENTENCE_END or m.end() >= 10):
…切得太碎会影响 TTS 的语调连贯性,第一句以后不建议按逗号切。
6.2 复用连接
每一轮都新建 WebSocket 连接,要多付出 TLS 握手和 run-task 往返的时间。CosyVoice 支持在同一条连接上,等上一个任务 task-finished 之后,再发起新的 run-task。可以为每通电话维护一条长连接:
通话开始 → 建立 TTS 连接
每一轮: run-task → task-started → continue-task … → finish-task → task-finished
被打断: finish-task(directive=cancel) → task-finished → 连接继续可用
通话结束 → 关闭连接注意两点:两次 continue-task 之间不能超过 23 秒;长时间空闲的连接可能被服务端或中间网络断开,所以发起新任务前要检查连接状态,失败就重连。
6.3 选音色和模型
不同的 TTS 模型、音色,首包时间不同。cosyvoice-v3-flash 这类 flash 模型面向低延迟场景。在 .env 里改 TTS_MODEL、TTS_VOICE 对比 TIMING 即可。
7. 并行化:不要让环节排队
早期版本的配套代码,每一轮的顺序是:
on_final ─► 建立 TTS 连接(等)─► 请求大模型(等)─► 合成 ─► 播放建立 TTS 连接和请求大模型互不依赖,却被串起来了。新版改成并行:
tts_task = asyncio.create_task(self._open_tts(timing)) # 先在后台连 TTS
async for delta in llm.stream_chat(self.history): # 同时请求大模型
…
tts = await tts_task # 真正要合成时才等它
await tts.say(sentence)改完后,TIMING 里 tts_ready 通常会小于 llm_first_token,也就是说 TTS 连接的耗时被大模型的等待时间完全"藏"起来了。
同样的思路还可以继续用:
- 识别结果出来之前就预热:客户开始说话(收到第一个中间结果)时,就提前建好下一轮的 TTS 连接;
- 欢迎语和识别并行:配套代码在通话开始时先启动 ASR,然后立刻并行播放欢迎语,不等 ASR 就绪。
8. 固定话术预合成
开场白、"正在为您转接"、"请稍等,我查一下"这类固定话术,每次都实时合成是浪费。可以在机器人启动时,按常用采样率(8000、16000)预先合成好,存成 PCM 放在内存里,需要时直接交给 PcmPlayer:
CACHE: dict[tuple[str, int], bytes] = {}
async def synth(text: str, rate: int) -> bytes:
pcm = bytearray()
async def collect(chunk): pcm.extend(chunk)
tts = CosyVoiceTurn(rate, collect)
await tts.start(); await tts.say(text); await tts.finish()
return bytes(pcm)
async def warmup():
for rate in (8000, 16000):
for text in (config.GREETING, config.TRANSFER_PROMPT):
CACHE[(text, rate)] = await synth(text, rate)
# 播放时
pcm = CACHE.get((text, self.sample_rate))
if pcm:
await self.player.feed(pcm); await self.player.end_of_turn()
else:
await self.speak_fixed(text)这样开场白几乎是"接通即响"。带客户姓名的开场白(外呼场景)可以拆成"固定部分 + 姓名"两段,固定部分用缓存。
9. 网络与部署位置
- AI 后端和 FreeSWITCH 放在同一台机器或同一个内网,推流链路的往返时间可以忽略;
- AI 后端尽量靠近 AI 服务的接入点。本文使用的百炼服务在华北2(北京)地域,后端部署在北京地域或网络质量好的地方,能减少每一次 ASR、LLM、TTS 调用的往返时间;
- 百炼推荐使用业务空间专属域名(
{WorkspaceId}.cn-beijing.maas.aliyuncs.com),可以在.env里修改DASHSCOPE_WS_URL和DASHSCOPE_HTTP_BASE对比效果; - 用
ping、curl -w '%{time_connect} %{time_starttransfer}'测一下后端到各个服务的基础时延,心里有个底。
10. 推流模块侧
推流模块本身引入的延迟很小,但有两个参数和延迟相关:
| 参数 | 影响 |
|---|---|
后端的 MAX_LEAD_MS |
下行音频最多领先实时多少。它不影响"开口"的时间(第一帧总是立即发出),但影响打断时要清掉多少已发出的音频 |
rx_buffer_ms |
只是上限,缓冲没满时不会额外增加延迟。必须大于 MAX_LEAD_MS,否则会丢帧 |
packet_ms |
帧越短,第一帧越早被注入,但消息数越多。保持默认 20 即可 |
打断的响应速度取决于:ASR 多快给出第一个中间结果,加上 clear 到达模块的时间。clear 会立即清空模块的下行缓冲,所以客户最多再听到"已经注入到当前帧"的那一点点声音。
11. 体验上的技巧
技术手段之外,还有几个改善"感觉"的办法:
- 先回应,再回答:让大模型第一句先说"好的"、"明白"、"我帮您查一下",客户会觉得 AI 立刻有了反应。配合 6.1 的短首句,效果明显;
- 查询类操作先说话再查:需要调用外部接口(查订单、查账单)时,先播放"请稍等,我帮您查一下",同时去查,查完再回答;
- 不要过度优化断句:比起偶尔慢半秒,频繁抢话打断客户的体验更差;
- 控制回复长度:电话里一次说太多,客户记不住,还更容易插话打断。提示词里限制每次一到两句。
12. 优化清单
按投入产出比从高到低:
每做一项,都用 TIMING 和录音对比一次,确认真的变快了、而且没有引入抢话或吞字。
相关链接
- 主篇:https://www.liaoxinghui.com/archives/freeswitch-ai-callcenter-from-scratch
- 百炼 CosyVoice WebSocket API:https://help.aliyun.com/zh/model-studio/cosyvoice-websocket-api
- 百炼 Paraformer 实时识别 WebSocket API:https://help.aliyun.com/zh/model-studio/websocket-for-paraformer-real-time-service
- 配套代码:https://www.liaoxinghui.com/upload/ai-callcenter-demo.zip
系列文章
- 主篇:从零搭建 AI + 人工呼叫中心:https://www.liaoxinghui.com/archives/freeswitch-ai-callcenter-from-scratch
- 系列 1:mod_taering_stream 媒体协议详解:https://www.liaoxinghui.com/archives/freeswitch-ai-callcenter-01-stream-protocol
- 系列 2:FCC 控制面深入:https://www.liaoxinghui.com/archives/freeswitch-ai-callcenter-02-fcc
- 系列 3:AI 外呼:https://www.liaoxinghui.com/archives/freeswitch-ai-callcenter-03-outbound
- 系列 4:实时质检与坐席辅助:https://www.liaoxinghui.com/archives/freeswitch-ai-callcenter-04-qa-assist
- 系列 5:延迟优化:https://www.liaoxinghui.com/archives/freeswitch-ai-callcenter-05-latency
- 系列 6:接入运营商线路:https://www.liaoxinghui.com/archives/freeswitch-ai-callcenter-06-carrier
- 系列 7:生产化:https://www.liaoxinghui.com/archives/freeswitch-ai-callcenter-07-production
- 系列 8:排障手册:https://www.liaoxinghui.com/archives/freeswitch-ai-callcenter-08-troubleshooting