本文是《从零搭建 AI + 人工呼叫中心》的补充篇。主篇和前几篇的代码以"讲清楚"为目标:单机、单进程、配置写在文件里、结果存在 CSV。本篇讲从演示走向生产时要补上的东西:部署结构、进程托管、多实例、故障兜底、监控、容量与授权、安全和升级。
目录
- 1. 从演示到生产,差在哪里
- 2. 部署结构
- 3. 进程托管
- 4. AI 后端多实例
- 5. 控制面:只能有一个"决策者"
- 6. 故障兜底
- 7. 监控
- 8. 日志与通话留档
- 9. 容量规划与授权
- 10. 安全清单
- 11. 升级与备份
- 12. 上线检查清单
1. 从演示到生产,差在哪里
| 方面 | 演示版 | 生产需要 |
|---|---|---|
| 进程 | 手动在终端里运行 | systemd 或容器托管,崩溃自动重启 |
| AI 后端 | 单实例 | 多实例 + 健康检查 + 负载均衡 |
| 业务状态 | 内存、CSV | 数据库 |
| 重连 | 机器人把重连当成新电话 | 按 uuid 续接对话 |
| 兜底 | 部分 | 每个环节失败都有去处 |
| 监控 | 看终端输出 | 指标、告警、看板 |
| 授权 | 试用 1 路 | 商业授权,按容量规划 |
| 安全 | 默认口令已改 | 网络隔离、TLS、最小权限、审计 |
2. 部署结构
中小规模(几十路并发以内)推荐:
┌──────────────── 内网 ────────────────┐
运营商 ══SIP/RTP══► │ FreeSWITCH 节点(Docker host 网络) │
坐席 ══SIP/RTP══► │ ├─ mod_fcc 127.0.0.1:18080 │
│ ├─ mod_taering_stream │
│ └─ mod_callcenter │
│ │ ws://(内网) │
│ ▼ │
│ 负载均衡(带健康检查) │
│ ├─ AI 后端实例 1 │
│ └─ AI 后端实例 2 ──► 百炼 ASR/LLM/TTS
│ │
│ 业务后端(controller / dialer / qa) │
│ └─ 数据库 │
└───────────────────────────────────────┘要点:
- FreeSWITCH 节点只做电话。AI 后端和业务后端可以和它同机,也可以分开;分开时它们通过内网访问 FreeSWITCH 节点;
- FCC 默认只监听 127.0.0.1。业务后端不在同一台机器上时,用 TLS 反向代理暴露 FCC,并限制来源 IP;
- AI 后端是无状态的计算节点(会话状态在内存里,通话结束就释放),最容易横向扩展;
- 一个 FreeSWITCH 节点不够用时,再考虑多节点加 SIP 负载均衡,这已经超出本系列的范围。
3. 进程托管
用 systemd 托管 AI 机器人、controller 等进程,崩溃自动重启,开机自动启动。
/etc/systemd/system/ai-bot.service:
[Unit]
Description=AI call center bot (mod_taering_stream backend)
After=network-online.target docker.service
Wants=network-online.target
[Service]
Type=simple
User=aicc
WorkingDirectory=/opt/ai-callcenter-demo
ExecStart=/opt/ai-callcenter-demo/.venv/bin/python -m bot.server
Restart=always
RestartSec=2
# .env 由 config.py 从工作目录读取;也可以改用 EnvironmentFile=
LimitNOFILE=65535
[Install]
WantedBy=multi-user.targetcontroller、dialer、qa_assist 照此各写一个 unit。
sudo useradd -r -s /usr/sbin/nologin aicc
sudo chown -R aicc /opt/ai-callcenter-demo
sudo chmod 600 /opt/ai-callcenter-demo/.env
sudo systemctl daemon-reload
sudo systemctl enable --now ai-bot ai-controller
journalctl -u ai-bot -f
.env里有 API Key 和 Token,权限要设成只有运行用户可读。
4. AI 后端多实例
4.1 推流模块自带的轮询有什么局限
推流模块的 default_ws_urls 可以配置多个后端地址,每个新会话轮询选一个。但要注意两点(详见系列 1 的 4.7 节):
- 没有健康检查:某个实例挂了,新会话照样会被分配给它。
start依然返回成功(连接是异步的),客户就会听到一片静默,直到超时兜底; - 重连只连原来的地址:实例挂掉时,它上面的通话会一直重连这个地址,而不会切换到其他实例。
所以 default_ws_urls 适合"多个实例都很稳定"的情况。生产环境更推荐下面的做法。
4.2 推荐:前面加一层负载均衡
推流模块只配置一个地址,指向负载均衡;负载均衡负责健康检查,把新连接分给健康的实例:
<param name="default_ws_url" value="ws://10.0.0.20:9000/stream"/>Nginx 示例(WebSocket 需要 Upgrade 头):
upstream ai_bots {
least_conn;
server 10.0.0.11:9000 max_fails=2 fail_timeout=10s;
server 10.0.0.12:9000 max_fails=2 fail_timeout=10s;
}
server {
listen 10.0.0.20:9000;
location / {
proxy_pass http://ai_bots;
proxy_http_version 1.1;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection "upgrade";
proxy_read_timeout 3600s; # 一通电话可能很长
proxy_send_timeout 3600s;
}
}这样,实例挂掉时,它上面的通话重连到负载均衡,会被分配到其他健康实例。
开源版 Nginx 只做被动健康检查(请求失败后才摘除)。需要主动探测时,可以用 HAProxy 或者 Nginx 的商业版、OpenResty 方案。AI 后端可以额外提供一个 HTTP 健康检查接口,检查自己到百炼的连通性。
4.3 后端要支持续接
实例切换、网络抖动之后,推流模块会对同一个 uuid 再发一次 start 帧。演示版机器人会把它当成一通新电话,重新播放欢迎语、清空对话历史。生产版要做到:
- 把每通电话的对话历史、当前状态按
uuid存到共享存储(比如 Redis),设置过期时间; - 收到 start 时先按
uuid查找:找到就恢复上下文,不播欢迎语,可以说一句"抱歉,刚才信号不太好,您刚才说到……";找不到才当作新通话; - 断线期间客户说的话已经丢失,不要假设机器人"听到了"。
4.4 优雅下线
升级或缩容某个实例时:
- 先从负载均衡里摘掉它(新通话不再分配过来);
- 等它上面的通话自然结束(可以设置一个最长等待时间);
- 再停止进程。
直接停止进程,会让正在进行的通话走一次重连流程。
5. 控制面:只能有一个"决策者"
FCC 会把所有事件推送给每一个连接的客户端。如果同时运行两个 controller,每一通来电都会被两个 controller 各转一次。
处理方法:
- 单活 + 自动切换:只有一个 controller 处理入呼决策,另一个待命。用数据库锁、Redis 锁或者 etcd 选主,主节点失联后由备节点接管;
- 按业务分工:controller 只处理入呼(按
direction=inbound和service),dialer 只处理自己发起的外呼(按call_id归属),qa_assist 只处理queue.bridged。各自只对自己负责的事件采取行动,其他事件只观察; - 动作本身尽量幂等:比如转接前先查询当前状态,已经不是
incoming了就不再转。
入呼决策还有一层保护:controller 全部不可用时,inbound_decision_timeout_ms 到期后,拨号计划会执行兜底(转人工)。
6. 故障兜底
把每一个可能失败的环节都列出来,确认客户都有去处:
| 故障 | 表现 | 兜底 |
|---|---|---|
| controller 不可用 | 来电没人决策 | fcc_inbound 决策超时 → 拨号计划转人工 |
| 推流授权不足或配置错误 | taering_stream_result=-ERR |
拨号计划直接转人工(主篇已实现) |
| AI 后端连不上 | start 返回成功,但客户一直听到静默 |
见下文 |
| ASR / LLM / TTS 调用失败 | 机器人不说话或说一半 | 机器人捕获异常,连续失败 N 次后主动转人工 |
| 机器人进程崩溃 | 连接断开,模块不断重连 | 负载均衡切到其他实例;后端支持续接 |
| 坐席都不在线 | 客户一直排队 | 队列 max-wait-time-with-no-agent → 出队 → 留言或回电 |
| FreeSWITCH 重启 | 所有通话断开 | 无法兜底,只能缩短恢复时间;业务侧对账(系列 2 第 7 章) |
"AI 后端连不上"怎么兜底:start 是异步的,拨号计划无法知道后端到底有没有连上。可选的做法:
- 业务后端订阅推流模块的
taering_stream::connect/taering_stream::error事件(通过 ESL),或者在start几秒后通过 JSON 接口查询state,仍然不是streaming就通过 FCC 把通话转人工; - 设置
reconnect_max_attempts,让推流在多次重连失败后停止,再配合业务侧的检查。
机器人内部的兜底:演示版的机器人在一轮回复失败时只记录日志、等客户下一句。生产版建议:连续两次失败就说一句"抱歉,我这边出了点问题,马上为您转接人工",然后转人工。
7. 监控
7.1 FCC 指标
FCC 原生提供 Prometheus 指标:
scrape_configs:
- job_name: fcc
metrics_path: /api/v1/metrics
authorization: { type: Bearer, credentials: "<FCC api_token>" }
static_configs: [{ targets: ["127.0.0.1:18080"] }]| 指标 | 关注点 |
|---|---|
fcc_active_calls |
当前通话数,对比容量上限 |
fcc_calls_created_total |
通话量趋势 |
fcc_calls_rejected_total |
增长说明触发了并发/CPS 限制 |
fcc_errors_total |
外呼提交失败 |
另外用 /api/v1/health/ready 做存活探测:它总是返回 HTTP 200,要检查 data.status 是否为 ok。
7.2 推流模块指标
推流模块没有内置 Prometheus 接口,可以定时执行 taering_stream stats,把结果转换成 node_exporter 的 textfile 格式:
#!/usr/bin/env python3
"""每分钟由 cron 执行一次,输出到 node_exporter 的 textfile 目录。"""
import re, subprocess, os
out = subprocess.run(["docker", "exec", os.environ["FS_CONTAINER"],
"/usr/local/freeswitch/bin/fs_cli", "-x", "taering_stream stats"],
capture_output=True, text=True).stdout
lines = []
m = re.search(r"active_sessions=(\d+).*licensed_active=(\d+).*license_status=(\S+).*license_max=(-?\d+)", out)
if m:
lines += [f"taering_active_sessions {m[1]}", f"taering_licensed_active {m[2]}",
f'taering_license_ok {1 if m[3] == "authorized" else 0}',
f"taering_license_max {m[4]}"]
for w, tx, rx, rc in re.findall(r"worker\[(\d+)\].*tx_drop=(\d+) rx_drop=(\d+) reconnects=(\d+)", out):
lines += [f'taering_tx_drop{{worker="{w}"}} {tx}', f'taering_rx_drop{{worker="{w}"}} {rx}',
f'taering_reconnects{{worker="{w}"}} {rc}']
tmp = "/var/lib/node_exporter/textfile/taering.prom.tmp"
open(tmp, "w").write("\n".join(lines) + "\n")
os.replace(tmp, tmp[:-4])
license_status只有authorized是正常状态(试用版和商业版都是authorized,区别在license_mode和license_max)。其他取值包括pending、unauthorized、expired、disabled、error、instance_conflict、client_upgrade_required、product_mismatch,出现任何一个都应该告警。tx_drop、rx_drop是当前活动会话的累计值,会话结束后不再计入,适合看实时状态,不适合做长期累计。
7.3 AI 服务与业务指标
在 AI 后端里打点(Prometheus 客户端库,或者直接写日志再采集):
| 指标 | 来源 |
|---|---|
| ASR / TTS / LLM 调用失败率 | 捕获的异常、task-failed 事件 |
每轮延迟(tts_first_audio 的分位数) |
系列 5 的 TIMING 日志 |
| 转人工率 | [转人工] 标记次数 ÷ AI 通话数 |
| 打断次数 | barge-in 日志 |
| 排队时长、放弃率 | FCC 的 queue.joined → queue.bridged、queue.abandoned |
| 外呼接通率 | dialer 结果 |
7.4 告警建议
- FCC
ready不是ok; - 推流授权不是正常状态,或者
licensed_active接近上限; rx_drop持续增长(后端发送节奏或缓冲配置有问题);reconnects突增(后端实例或网络有问题);- AI 服务失败率超过阈值;
- 排队放弃率、平均排队时长超过阈值;
- 坐席在线数低于排班要求。
8. 日志与通话留档
- 一个 ID 串起所有日志:FCC 的
call_id和 FreeSWITCH 的uuid是一一对应的,所有组件的日志里都带上它,排查时能拼出一通电话的完整经过; - 通话档案:每通电话结束时,把 FCC 事件序列、AI 对话转写、转人工原因、质检小结写成一条记录,存进数据库;
- 录音:需要录音时,在拨号计划里用
record_session。录音文件在镜像的命名卷里,要规划存储容量、保留期限和访问权限; - FreeSWITCH 日志:镜像把日志放在命名卷里,配置好轮转,避免占满磁盘;
- 敏感信息:日志里不要打印 API Key、Token、SIP 密码;转写里的证件号、银行卡号入库前脱敏。
9. 容量规划与授权
9.1 推流授权
- 试用版:功能完整,1 路并发;
- 商业版:不限并发。联系 taering@vip.qq.com 购买,完成在线授权后即可使用;
- 授权会联网校验,并带有离线签名缓存。生产环境要保证服务器能访问授权服务,并监控授权状态(7.2 节)。
需要的推流并发 ≈ 同时进行的 AI 通话数 + 同时进行的质检/坐席辅助通话数(系列 4)。
9.2 其他限制
一次规划要同时检查:
| 资源 | 怎么估 |
|---|---|
| 运营商线路 | 并发路数、CPS |
| FCC | max_concurrent_calls、max_cps 设得略高于线路容量 |
| FreeSWITCH 节点 | CPU 主要消耗在转码(比如 OPUS ↔︎ PCMA)和录音上,用实际话务压测 |
| AI 后端 | 每路通话一个 ASR 连接 + 每轮一个 TTS 连接 + 每轮一次 LLM 请求;按压测确定每个实例能承载多少路 |
| 百炼配额 | ASR / TTS 的并发、LLM 的 RPM / TPM。在控制台确认配额,必要时申请提升 |
| 坐席 | 见系列 3 第 9 章的估算方法 |
9.3 压测
不要只在纸上算。用 FreeSWITCH 自己发起大量呼叫,模拟客户:
- 准备一个"模拟客户"拨号计划:接通后循环播放一段录好的客户语音;
- 用 FCC 批量外呼到这个拨号计划,打到 AI 热线;
- 逐步加并发,同时观察:每轮延迟、推流丢帧、AI 服务失败率、CPU、内存、网络。
找到"延迟开始明显上升"或者"错误开始出现"的那个并发值,生产按它的 60%~70% 配置。
10. 安全清单
网络
认证
最小权限
审计
11. 升级与备份
11.1 需要备份的东西
| 内容 | 位置 |
|---|---|
| FreeSWITCH 配置 | $FS_HOME/conf/ |
| 部署参数 | $FS_HOME/.env、compose.yaml |
| FCC 幂等数据库、callcenter 数据库、录音、日志 | 镜像的命名卷 |
| 推流授权缓存 | conf/autoload_configs/mod_taering_stream.license.cache.json |
| AI 后端 | 代码仓库、.env(单独加密保存) |
| 业务数据库 | 按数据库的方式备份 |
镜像的命名卷在
docker compose down时保留,docker compose down -v会删除它们,生产环境不要使用-v。
11.2 升级 FreeSWITCH 镜像
按 freeswitch-docker 的说明:
- 备份
conf/、.env和数据卷; - 加载新镜像,修改
.env里的FREESWITCH_IMAGE; - 在低峰期执行
docker compose up -d --no-build --force-recreate。
升级会重启 FreeSWITCH,所有通话都会断开。配置不会被自动覆盖,新版本如果带来新的配置项,需要手工合并。
11.3 只改模块配置
| 操作 | 影响 |
|---|---|
reload mod_fcc |
FCC 事件环清空;带 request_id 的外呼会从 SQLite 恢复,入呼不会(系列 2 第 7 章) |
reload mod_taering_stream |
断开所有推流,正在和 AI 通话的客户会失去 AI |
reloadxml |
拨号计划、目录等立即生效,不影响已有通话 |
所以 reload mod_taering_stream 和 reload mod_fcc 只在低峰期执行,或者先把 AI 热线临时切到人工。
11.4 AI 后端升级
按 4.4 节的方法逐个实例滚动升级:摘流量 → 等通话结束 → 升级 → 加回负载均衡。
12. 上线检查清单
相关链接
- 主篇:https://www.liaoxinghui.com/archives/freeswitch-ai-callcenter-from-scratch
- freeswitch-docker:https://github.com/taering365/freeswitch-docker
- mod_fcc:https://github.com/taering365/mod_fcc
- freeswitch_stream_mod:https://github.com/taering365/freeswitch_stream_mod
- 商业授权:taering@vip.qq.com
系列文章
- 主篇:从零搭建 AI + 人工呼叫中心:https://www.liaoxinghui.com/archives/freeswitch-ai-callcenter-from-scratch
- 系列 1:mod_taering_stream 媒体协议详解:https://www.liaoxinghui.com/archives/freeswitch-ai-callcenter-01-stream-protocol
- 系列 2:FCC 控制面深入:https://www.liaoxinghui.com/archives/freeswitch-ai-callcenter-02-fcc
- 系列 3:AI 外呼:https://www.liaoxinghui.com/archives/freeswitch-ai-callcenter-03-outbound
- 系列 4:实时质检与坐席辅助:https://www.liaoxinghui.com/archives/freeswitch-ai-callcenter-04-qa-assist
- 系列 5:延迟优化:https://www.liaoxinghui.com/archives/freeswitch-ai-callcenter-05-latency
- 系列 6:接入运营商线路:https://www.liaoxinghui.com/archives/freeswitch-ai-callcenter-06-carrier
- 系列 7:生产化:https://www.liaoxinghui.com/archives/freeswitch-ai-callcenter-07-production
- 系列 8:排障手册:https://www.liaoxinghui.com/archives/freeswitch-ai-callcenter-08-troubleshooting