Administrator
发布于 2026-11-21 / 2 阅读
0
0

系列 7:生产化——高可用、监控与容量

本文是《从零搭建 AI + 人工呼叫中心》的补充篇。主篇和前几篇的代码以"讲清楚"为目标:单机、单进程、配置写在文件里、结果存在 CSV。本篇讲从演示走向生产时要补上的东西:部署结构、进程托管、多实例、故障兜底、监控、容量与授权、安全和升级。


目录


1. 从演示到生产,差在哪里

方面 演示版 生产需要
进程 手动在终端里运行 systemd 或容器托管,崩溃自动重启
AI 后端 单实例 多实例 + 健康检查 + 负载均衡
业务状态 内存、CSV 数据库
重连 机器人把重连当成新电话 按 uuid 续接对话
兜底 部分 每个环节失败都有去处
监控 看终端输出 指标、告警、看板
授权 试用 1 路 商业授权,按容量规划
安全 默认口令已改 网络隔离、TLS、最小权限、审计

↑ 回到目录


2. 部署结构

中小规模(几十路并发以内)推荐:

                      ┌──────────────── 内网 ────────────────┐
运营商 ══SIP/RTP══►  │  FreeSWITCH 节点(Docker host 网络)   │
坐席   ══SIP/RTP══►  │   ├─ mod_fcc     127.0.0.1:18080      │
                      │   ├─ mod_taering_stream               │
                      │   └─ mod_callcenter                   │
                      │         │ ws://(内网)                │
                      │         ▼                             │
                      │  负载均衡(带健康检查)                 │
                      │    ├─ AI 后端实例 1                    │
                      │    └─ AI 后端实例 2  ──► 百炼 ASR/LLM/TTS
                      │                                       │
                      │  业务后端(controller / dialer / qa)   │
                      │    └─ 数据库                           │
                      └───────────────────────────────────────┘

要点:

  • FreeSWITCH 节点只做电话。AI 后端和业务后端可以和它同机,也可以分开;分开时它们通过内网访问 FreeSWITCH 节点;
  • FCC 默认只监听 127.0.0.1。业务后端不在同一台机器上时,用 TLS 反向代理暴露 FCC,并限制来源 IP;
  • AI 后端是无状态的计算节点(会话状态在内存里,通话结束就释放),最容易横向扩展;
  • 一个 FreeSWITCH 节点不够用时,再考虑多节点加 SIP 负载均衡,这已经超出本系列的范围。

↑ 回到目录


3. 进程托管

用 systemd 托管 AI 机器人、controller 等进程,崩溃自动重启,开机自动启动。

/etc/systemd/system/ai-bot.service:

[Unit]
Description=AI call center bot (mod_taering_stream backend)
After=network-online.target docker.service
Wants=network-online.target

[Service]
Type=simple
User=aicc
WorkingDirectory=/opt/ai-callcenter-demo
ExecStart=/opt/ai-callcenter-demo/.venv/bin/python -m bot.server
Restart=always
RestartSec=2
# .env 由 config.py 从工作目录读取;也可以改用 EnvironmentFile=
LimitNOFILE=65535

[Install]
WantedBy=multi-user.target

controller、dialer、qa_assist 照此各写一个 unit。

sudo useradd -r -s /usr/sbin/nologin aicc
sudo chown -R aicc /opt/ai-callcenter-demo
sudo chmod 600 /opt/ai-callcenter-demo/.env
sudo systemctl daemon-reload
sudo systemctl enable --now ai-bot ai-controller
journalctl -u ai-bot -f

.env 里有 API Key 和 Token,权限要设成只有运行用户可读。

↑ 回到目录


4. AI 后端多实例

4.1 推流模块自带的轮询有什么局限

推流模块的 default_ws_urls 可以配置多个后端地址,每个新会话轮询选一个。但要注意两点(详见系列 1 的 4.7 节):

  1. 没有健康检查:某个实例挂了,新会话照样会被分配给它。start 依然返回成功(连接是异步的),客户就会听到一片静默,直到超时兜底;
  2. 重连只连原来的地址:实例挂掉时,它上面的通话会一直重连这个地址,而不会切换到其他实例。

所以 default_ws_urls 适合"多个实例都很稳定"的情况。生产环境更推荐下面的做法。

4.2 推荐:前面加一层负载均衡

推流模块只配置一个地址,指向负载均衡;负载均衡负责健康检查,把新连接分给健康的实例:

<param name="default_ws_url" value="ws://10.0.0.20:9000/stream"/>

Nginx 示例(WebSocket 需要 Upgrade 头):

upstream ai_bots {
    least_conn;
    server 10.0.0.11:9000 max_fails=2 fail_timeout=10s;
    server 10.0.0.12:9000 max_fails=2 fail_timeout=10s;
}
server {
    listen 10.0.0.20:9000;
    location / {
        proxy_pass http://ai_bots;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
        proxy_read_timeout 3600s;          # 一通电话可能很长
        proxy_send_timeout 3600s;
    }
}

这样,实例挂掉时,它上面的通话重连到负载均衡,会被分配到其他健康实例。

开源版 Nginx 只做被动健康检查(请求失败后才摘除)。需要主动探测时,可以用 HAProxy 或者 Nginx 的商业版、OpenResty 方案。AI 后端可以额外提供一个 HTTP 健康检查接口,检查自己到百炼的连通性。

4.3 后端要支持续接

实例切换、网络抖动之后,推流模块会对同一个 uuid 再发一次 start 帧。演示版机器人会把它当成一通新电话,重新播放欢迎语、清空对话历史。生产版要做到:

  • 把每通电话的对话历史、当前状态按 uuid 存到共享存储(比如 Redis),设置过期时间;
  • 收到 start 时先按 uuid 查找:找到就恢复上下文,不播欢迎语,可以说一句"抱歉,刚才信号不太好,您刚才说到……";找不到才当作新通话;
  • 断线期间客户说的话已经丢失,不要假设机器人"听到了"。

4.4 优雅下线

升级或缩容某个实例时:

  1. 先从负载均衡里摘掉它(新通话不再分配过来);
  2. 等它上面的通话自然结束(可以设置一个最长等待时间);
  3. 再停止进程。

直接停止进程,会让正在进行的通话走一次重连流程。

↑ 回到目录


5. 控制面:只能有一个"决策者"

FCC 会把所有事件推送给每一个连接的客户端。如果同时运行两个 controller,每一通来电都会被两个 controller 各转一次。

处理方法:

  • 单活 + 自动切换:只有一个 controller 处理入呼决策,另一个待命。用数据库锁、Redis 锁或者 etcd 选主,主节点失联后由备节点接管;
  • 按业务分工:controller 只处理入呼(按 direction=inbound 和 service),dialer 只处理自己发起的外呼(按 call_id 归属),qa_assist 只处理 queue.bridged。各自只对自己负责的事件采取行动,其他事件只观察;
  • 动作本身尽量幂等:比如转接前先查询当前状态,已经不是 incoming 了就不再转。

入呼决策还有一层保护:controller 全部不可用时,inbound_decision_timeout_ms 到期后,拨号计划会执行兜底(转人工)。

↑ 回到目录


6. 故障兜底

把每一个可能失败的环节都列出来,确认客户都有去处:

故障 表现 兜底
controller 不可用 来电没人决策 fcc_inbound 决策超时 → 拨号计划转人工
推流授权不足或配置错误 taering_stream_result=-ERR 拨号计划直接转人工(主篇已实现)
AI 后端连不上 start 返回成功,但客户一直听到静默 见下文
ASR / LLM / TTS 调用失败 机器人不说话或说一半 机器人捕获异常,连续失败 N 次后主动转人工
机器人进程崩溃 连接断开,模块不断重连 负载均衡切到其他实例;后端支持续接
坐席都不在线 客户一直排队 队列 max-wait-time-with-no-agent → 出队 → 留言或回电
FreeSWITCH 重启 所有通话断开 无法兜底,只能缩短恢复时间;业务侧对账(系列 2 第 7 章)

"AI 后端连不上"怎么兜底:start 是异步的,拨号计划无法知道后端到底有没有连上。可选的做法:

  • 业务后端订阅推流模块的 taering_stream::connect / taering_stream::error 事件(通过 ESL),或者在 start 几秒后通过 JSON 接口查询 state,仍然不是 streaming 就通过 FCC 把通话转人工;
  • 设置 reconnect_max_attempts,让推流在多次重连失败后停止,再配合业务侧的检查。

机器人内部的兜底:演示版的机器人在一轮回复失败时只记录日志、等客户下一句。生产版建议:连续两次失败就说一句"抱歉,我这边出了点问题,马上为您转接人工",然后转人工。

↑ 回到目录


7. 监控

7.1 FCC 指标

FCC 原生提供 Prometheus 指标:

scrape_configs:
  - job_name: fcc
    metrics_path: /api/v1/metrics
    authorization: { type: Bearer, credentials: "<FCC api_token>" }
    static_configs: [{ targets: ["127.0.0.1:18080"] }]
指标 关注点
fcc_active_calls 当前通话数,对比容量上限
fcc_calls_created_total 通话量趋势
fcc_calls_rejected_total 增长说明触发了并发/CPS 限制
fcc_errors_total 外呼提交失败

另外用 /api/v1/health/ready 做存活探测:它总是返回 HTTP 200,要检查 data.status 是否为 ok。

7.2 推流模块指标

推流模块没有内置 Prometheus 接口,可以定时执行 taering_stream stats,把结果转换成 node_exporter 的 textfile 格式:

#!/usr/bin/env python3
"""每分钟由 cron 执行一次,输出到 node_exporter 的 textfile 目录。"""
import re, subprocess, os

out = subprocess.run(["docker", "exec", os.environ["FS_CONTAINER"],
                      "/usr/local/freeswitch/bin/fs_cli", "-x", "taering_stream stats"],
                     capture_output=True, text=True).stdout
lines = []
m = re.search(r"active_sessions=(\d+).*licensed_active=(\d+).*license_status=(\S+).*license_max=(-?\d+)", out)
if m:
    lines += [f"taering_active_sessions {m[1]}", f"taering_licensed_active {m[2]}",
              f'taering_license_ok {1 if m[3] == "authorized" else 0}',
              f"taering_license_max {m[4]}"]
for w, tx, rx, rc in re.findall(r"worker\[(\d+)\].*tx_drop=(\d+) rx_drop=(\d+) reconnects=(\d+)", out):
    lines += [f'taering_tx_drop{{worker="{w}"}} {tx}', f'taering_rx_drop{{worker="{w}"}} {rx}',
              f'taering_reconnects{{worker="{w}"}} {rc}']
tmp = "/var/lib/node_exporter/textfile/taering.prom.tmp"
open(tmp, "w").write("\n".join(lines) + "\n")
os.replace(tmp, tmp[:-4])

license_status 只有 authorized 是正常状态(试用版和商业版都是 authorized,区别在 license_mode 和 license_max)。其他取值包括 pending、unauthorized、expired、disabled、error、instance_conflict、client_upgrade_required、product_mismatch,出现任何一个都应该告警。tx_drop、rx_drop 是当前活动会话的累计值,会话结束后不再计入,适合看实时状态,不适合做长期累计。

7.3 AI 服务与业务指标

在 AI 后端里打点(Prometheus 客户端库,或者直接写日志再采集):

指标 来源
ASR / TTS / LLM 调用失败率 捕获的异常、task-failed 事件
每轮延迟(tts_first_audio 的分位数) 系列 5 的 TIMING 日志
转人工率 [转人工] 标记次数 ÷ AI 通话数
打断次数 barge-in 日志
排队时长、放弃率 FCC 的 queue.joined → queue.bridged、queue.abandoned
外呼接通率 dialer 结果

7.4 告警建议

  • FCC ready 不是 ok;
  • 推流授权不是正常状态,或者 licensed_active 接近上限;
  • rx_drop 持续增长(后端发送节奏或缓冲配置有问题);
  • reconnects 突增(后端实例或网络有问题);
  • AI 服务失败率超过阈值;
  • 排队放弃率、平均排队时长超过阈值;
  • 坐席在线数低于排班要求。

↑ 回到目录


8. 日志与通话留档

  • 一个 ID 串起所有日志:FCC 的 call_id 和 FreeSWITCH 的 uuid 是一一对应的,所有组件的日志里都带上它,排查时能拼出一通电话的完整经过;
  • 通话档案:每通电话结束时,把 FCC 事件序列、AI 对话转写、转人工原因、质检小结写成一条记录,存进数据库;
  • 录音:需要录音时,在拨号计划里用 record_session。录音文件在镜像的命名卷里,要规划存储容量、保留期限和访问权限;
  • FreeSWITCH 日志:镜像把日志放在命名卷里,配置好轮转,避免占满磁盘;
  • 敏感信息:日志里不要打印 API Key、Token、SIP 密码;转写里的证件号、银行卡号入库前脱敏。

↑ 回到目录


9. 容量规划与授权

9.1 推流授权

  • 试用版:功能完整,1 路并发;
  • 商业版:不限并发。联系 taering@vip.qq.com 购买,完成在线授权后即可使用;
  • 授权会联网校验,并带有离线签名缓存。生产环境要保证服务器能访问授权服务,并监控授权状态(7.2 节)。

需要的推流并发 ≈ 同时进行的 AI 通话数 + 同时进行的质检/坐席辅助通话数(系列 4)。

9.2 其他限制

一次规划要同时检查:

资源 怎么估
运营商线路 并发路数、CPS
FCC max_concurrent_calls、max_cps 设得略高于线路容量
FreeSWITCH 节点 CPU 主要消耗在转码(比如 OPUS ↔︎ PCMA)和录音上,用实际话务压测
AI 后端 每路通话一个 ASR 连接 + 每轮一个 TTS 连接 + 每轮一次 LLM 请求;按压测确定每个实例能承载多少路
百炼配额 ASR / TTS 的并发、LLM 的 RPM / TPM。在控制台确认配额,必要时申请提升
坐席 见系列 3 第 9 章的估算方法

9.3 压测

不要只在纸上算。用 FreeSWITCH 自己发起大量呼叫,模拟客户:

  • 准备一个"模拟客户"拨号计划:接通后循环播放一段录好的客户语音;
  • 用 FCC 批量外呼到这个拨号计划,打到 AI 热线;
  • 逐步加并发,同时观察:每轮延迟、推流丢帧、AI 服务失败率、CPU、内存、网络。

找到"延迟开始明显上升"或者"错误开始出现"的那个并发值,生产按它的 60%~70% 配置。

↑ 回到目录


10. 安全清单

网络

认证

最小权限

审计

↑ 回到目录


11. 升级与备份

11.1 需要备份的东西

内容 位置
FreeSWITCH 配置 $FS_HOME/conf/
部署参数 $FS_HOME/.env、compose.yaml
FCC 幂等数据库、callcenter 数据库、录音、日志 镜像的命名卷
推流授权缓存 conf/autoload_configs/mod_taering_stream.license.cache.json
AI 后端 代码仓库、.env(单独加密保存)
业务数据库 按数据库的方式备份

镜像的命名卷在 docker compose down 时保留,docker compose down -v 会删除它们,生产环境不要使用 -v。

11.2 升级 FreeSWITCH 镜像

按 freeswitch-docker 的说明:

  1. 备份 conf/、.env 和数据卷;
  2. 加载新镜像,修改 .env 里的 FREESWITCH_IMAGE;
  3. 在低峰期执行 docker compose up -d --no-build --force-recreate。

升级会重启 FreeSWITCH,所有通话都会断开。配置不会被自动覆盖,新版本如果带来新的配置项,需要手工合并。

11.3 只改模块配置

操作 影响
reload mod_fcc FCC 事件环清空;带 request_id 的外呼会从 SQLite 恢复,入呼不会(系列 2 第 7 章)
reload mod_taering_stream 断开所有推流,正在和 AI 通话的客户会失去 AI
reloadxml 拨号计划、目录等立即生效,不影响已有通话

所以 reload mod_taering_stream 和 reload mod_fcc 只在低峰期执行,或者先把 AI 热线临时切到人工。

11.4 AI 后端升级

按 4.4 节的方法逐个实例滚动升级:摘流量 → 等通话结束 → 升级 → 加回负载均衡。

↑ 回到目录


12. 上线检查清单


相关链接

系列文章

↑ 回到顶部


评论