Administrator
发布于 2026-11-21 / 1 阅读
0
0

系列 5:延迟优化——让 AI 接话更快

本文是《从零搭建 AI + 人工呼叫中心》的补充篇。电话里的 AI 体验好不好,最直观的指标是:客户说完一句话,要等多久才听到 AI 开口。本篇先讲怎么测,再按环节讲怎么降。

本文的代码改动已经包含在最新的配套代码包里:https://www.liaoxinghui.com/upload/ai-callcenter-demo.zip


目录


1. 延迟由哪几段组成

从客户说完最后一个字,到听见 AI 的第一个字:

客户说完 ─┬─ ① 断句等待:静音持续多久才认定"这句话说完了"
          ├─ ② ASR 出最终结果
          ├─ ③ 大模型首字(TTFT)
          ├─ ④ 攒够第一句(等到句号、问号)
          ├─ ⑤ TTS 首包:送出第一句到收到第一段音频
          ├─ ⑥ 后端 → 推流模块 → 注入通话
          └─ ⑦ FreeSWITCH → 网络 → 客户的电话(含对方的抖动缓冲)
                                                         AI 开口

其中 ①、③、④、⑤ 通常占大头,而且都可以调;⑥、⑦ 主要取决于网络和部署。

↑ 回到目录


2. 先测量:TIMING 日志

新版配套代码在每一轮回复结束时打印一行:

[5f1c…] TIMING tts_ready=180 llm_first_token=420 tts_first_audio=760

计时起点是 ASR 给出这一句的最终结果(on_final),单位毫秒:

字段 含义 对应环节
tts_ready TTS 连接建立、任务启动完成 ⑤ 的准备部分
llm_first_token 大模型返回第一个字 ③
tts_first_audio 收到第一段合成音频 ③ + ④ + ⑤

tts_first_audio 基本等于"ASR 出结果之后,后端需要多久才有声音可以播"。实现方式很简单:给 TTS 的音频回调包一层,第一次被调用时记下时间:

async def feed(pcm, _orig=self.player.feed):
    timing.setdefault("tts_first_audio", loop_time())
    await _orig(pcm)

ASR 的断句等待(①②)不在这个日志里,需要用下一章的方法测。

建议连续打 10~20 通电话,取中位数和最大值,不要只看一次。同一个模型在不同时段的响应时间可能差别很大。

↑ 回到目录


3. 端到端测量:录音看波形

最可靠的测量是把双方的声音录成一个立体声文件,直接看波形里"客户说完"到"AI 开口"之间的空白有多长。

在 AI 分机里加一行录音(只在测试时开启):

<action application="set" data="RECORD_STEREO=true"/>
<action application="record_session" data="/tmp/latency-${uuid}.wav"/>
<action application="taering_stream" data="start - mono 16k"/>
<action application="park"/>

RECORD_STEREO=true 时,一个声道录客户的声音,另一个声道录客户听到的声音(也就是 AI 的声音)。打完电话后从容器里拷出来:

sudo docker cp $FS_CONTAINER:/tmp/latency-<uuid>.wav .

用 Audacity 之类的音频软件打开,就能直接量出每一轮的间隔。这个数字包含了 ① 到 ⑥ 的全部环节(不含客户那一侧的网络和终端缓冲),是最接近真实体验的指标。

↑ 回到目录


4. 断句:最大的一段

ASR 要等客户停顿一段时间,才能确定这句话说完了。配套代码的设置:

"semantic_punctuation_enabled": False,   # 关闭语义断句,使用静音断句
"max_sentence_silence": 600,             # 静音 600ms 判定一句话结束

这 600 毫秒是每一轮都要付出的固定成本。 调整时要权衡:

max_sentence_silence 好处 代价
调小(400 左右) 接话更快 客户句中稍一停顿,就被切成两句,AI 抢话
调大(800~1000) 不容易抢话,适合老年客户、需要思考的问题 每一轮都慢

进阶做法:

  • 按场景动态调整:问身份证号、地址这类需要思考的问题时调大,日常问答时调小。Paraformer 的参数是在 run-task 时设置的,动态调整需要在问题前后重建识别任务,实现成本较高;
  • 用中间结果抢跑:在 ASR 还没给出最终结果时,就用中间结果先请求大模型;如果最终结果和中间结果一致,就直接用已经生成的回答,不一致就丢弃重来。这能省掉一部分 ①②,但会多消耗大模型调用,适合对延迟极度敏感的场景。

↑ 回到目录


5. 大模型:首字时间

影响首字时间(TTFT)的因素:

因素 做法
模型大小 对话场景优先选快模型。百炼上可以对比 qwen-flash、qwen-turbo、qwen-plus,在 .env 里改 LLM_MODEL 就能切换
输入长度 系统提示词写精炼;对话历史只保留最近若干轮(比如 10 轮),更早的内容压缩成摘要
思考模式 部分模型支持"深度思考",会先输出很长的推理过程,电话场景要关掉
并发与限流 高峰期排队会让首字时间明显变长,关注百炼控制台里的限流情况

怎么选模型:用同样的 10~20 个典型问题,分别跑 TIMING 和人工评估回答质量,选"够用且最快"的那个。电话对话要的是简短、准确、口语化,一般不需要最强的模型。

↑ 回到目录


6. 语音合成:首包时间

6.1 第一句要短

TTS 要等收到一句完整的文本才开始合成。如果大模型的第一句话很长,就要等它全部生成出来。两个办法:

  • 在提示词里要求"先用一个短句回应,再展开",比如"好的,我帮您查一下。";
  • 第一句也可以按逗号切。配套代码按 。!?; 切句,可以改成:第一句遇到逗号、并且已经超过 8~10 个字时就先送出,后面的句子仍然按句号切:
FIRST_CUT = re.compile(r"[,,。!?;!?;\n]")
pattern = FIRST_CUT if first_sentence else SENTENCE_END
m = pattern.search(pending)
if m and (pattern is SENTENCE_END or m.end() >= 10):
    …

切得太碎会影响 TTS 的语调连贯性,第一句以后不建议按逗号切。

6.2 复用连接

每一轮都新建 WebSocket 连接,要多付出 TLS 握手和 run-task 往返的时间。CosyVoice 支持在同一条连接上,等上一个任务 task-finished 之后,再发起新的 run-task。可以为每通电话维护一条长连接:

通话开始 → 建立 TTS 连接
每一轮:  run-task → task-started → continue-task … → finish-task → task-finished
被打断:  finish-task(directive=cancel) → task-finished → 连接继续可用
通话结束 → 关闭连接

注意两点:两次 continue-task 之间不能超过 23 秒;长时间空闲的连接可能被服务端或中间网络断开,所以发起新任务前要检查连接状态,失败就重连。

6.3 选音色和模型

不同的 TTS 模型、音色,首包时间不同。cosyvoice-v3-flash 这类 flash 模型面向低延迟场景。在 .env 里改 TTS_MODEL、TTS_VOICE 对比 TIMING 即可。

↑ 回到目录


7. 并行化:不要让环节排队

早期版本的配套代码,每一轮的顺序是:

on_final ─► 建立 TTS 连接(等)─► 请求大模型(等)─► 合成 ─► 播放

建立 TTS 连接和请求大模型互不依赖,却被串起来了。新版改成并行:

tts_task = asyncio.create_task(self._open_tts(timing))     # 先在后台连 TTS

async for delta in llm.stream_chat(self.history):           # 同时请求大模型
    …
    tts = await tts_task                                      # 真正要合成时才等它
    await tts.say(sentence)

改完后,TIMING 里 tts_ready 通常会小于 llm_first_token,也就是说 TTS 连接的耗时被大模型的等待时间完全"藏"起来了。

同样的思路还可以继续用:

  • 识别结果出来之前就预热:客户开始说话(收到第一个中间结果)时,就提前建好下一轮的 TTS 连接;
  • 欢迎语和识别并行:配套代码在通话开始时先启动 ASR,然后立刻并行播放欢迎语,不等 ASR 就绪。

↑ 回到目录


8. 固定话术预合成

开场白、"正在为您转接"、"请稍等,我查一下"这类固定话术,每次都实时合成是浪费。可以在机器人启动时,按常用采样率(8000、16000)预先合成好,存成 PCM 放在内存里,需要时直接交给 PcmPlayer:

CACHE: dict[tuple[str, int], bytes] = {}

async def synth(text: str, rate: int) -> bytes:
    pcm = bytearray()
    async def collect(chunk): pcm.extend(chunk)
    tts = CosyVoiceTurn(rate, collect)
    await tts.start(); await tts.say(text); await tts.finish()
    return bytes(pcm)

async def warmup():
    for rate in (8000, 16000):
        for text in (config.GREETING, config.TRANSFER_PROMPT):
            CACHE[(text, rate)] = await synth(text, rate)

# 播放时
pcm = CACHE.get((text, self.sample_rate))
if pcm:
    await self.player.feed(pcm); await self.player.end_of_turn()
else:
    await self.speak_fixed(text)

这样开场白几乎是"接通即响"。带客户姓名的开场白(外呼场景)可以拆成"固定部分 + 姓名"两段,固定部分用缓存。

↑ 回到目录


9. 网络与部署位置

  • AI 后端和 FreeSWITCH 放在同一台机器或同一个内网,推流链路的往返时间可以忽略;
  • AI 后端尽量靠近 AI 服务的接入点。本文使用的百炼服务在华北2(北京)地域,后端部署在北京地域或网络质量好的地方,能减少每一次 ASR、LLM、TTS 调用的往返时间;
  • 百炼推荐使用业务空间专属域名({WorkspaceId}.cn-beijing.maas.aliyuncs.com),可以在 .env 里修改 DASHSCOPE_WS_URL 和 DASHSCOPE_HTTP_BASE 对比效果;
  • 用 ping、curl -w '%{time_connect} %{time_starttransfer}' 测一下后端到各个服务的基础时延,心里有个底。

↑ 回到目录


10. 推流模块侧

推流模块本身引入的延迟很小,但有两个参数和延迟相关:

参数 影响
后端的 MAX_LEAD_MS 下行音频最多领先实时多少。它不影响"开口"的时间(第一帧总是立即发出),但影响打断时要清掉多少已发出的音频
rx_buffer_ms 只是上限,缓冲没满时不会额外增加延迟。必须大于 MAX_LEAD_MS,否则会丢帧
packet_ms 帧越短,第一帧越早被注入,但消息数越多。保持默认 20 即可

打断的响应速度取决于:ASR 多快给出第一个中间结果,加上 clear 到达模块的时间。clear 会立即清空模块的下行缓冲,所以客户最多再听到"已经注入到当前帧"的那一点点声音。

↑ 回到目录


11. 体验上的技巧

技术手段之外,还有几个改善"感觉"的办法:

  • 先回应,再回答:让大模型第一句先说"好的"、"明白"、"我帮您查一下",客户会觉得 AI 立刻有了反应。配合 6.1 的短首句,效果明显;
  • 查询类操作先说话再查:需要调用外部接口(查订单、查账单)时,先播放"请稍等,我帮您查一下",同时去查,查完再回答;
  • 不要过度优化断句:比起偶尔慢半秒,频繁抢话打断客户的体验更差;
  • 控制回复长度:电话里一次说太多,客户记不住,还更容易插话打断。提示词里限制每次一到两句。

↑ 回到目录


12. 优化清单

按投入产出比从高到低:

每做一项,都用 TIMING 和录音对比一次,确认真的变快了、而且没有引入抢话或吞字。


相关链接

系列文章

↑ 回到顶部


评论