Logo

菜单

无双的技术博客 记录 AI、Linux、网络架构、FreeSWITCH 与企业数字化实践

所有标签

#语音代理 0 #Linden 0 #语音转写 0 #Speechmatics 0 #LiveKit 0 #Concurrency 0 #GPU deployment 0 #Model inference 0 #并发性能 0 #NVIDIA Dynamo 0 #KV缓存 0 #GPU部署 0 #Prime Inference 0 #模型推理 0 #Data retention 0 #Enterprise AI 0 #Exa 0 #AI Gateway 0 #Cloudflare 0 #数据保留 0 #企业AI 0 #网页搜索 0 #Model migration 0 #API authentication 0 #模型迁移 0 #接口鉴权 0 #Grok 0 #API integration 0 #Voice agents 0 #Live captions 0 #Streaming transcription 0 #接口集成 0 #语音坐席 0 #实时字幕 0 #MAI 0 #流式转写 0 #Call testing 0 #Telephony interoperability 0 #Enterprise voice 0 #SIP trunking 0 #呼叫验收 0 #Teams 0 #电话互联 0 #Talkdesk 0 #企业语音 0 #SIP中继 0 #Model deployment 0 #GPU drivers 0 #Edge inference 0 #Raspberry Pi 5 0 #模型部署 0 #llama.cpp 0 #GPU驱动 0 #Vulkan 0 #边缘推理 0 #树莓派5 0 #Local AI 1 #Meeting summaries 1 #Chinese transcription 1 #Speech recognition 1 #本地AI 1 #会议摘要 1 #中文转写 1 #MacParakeet 2 #语音识别 1 #Interruption handling 1 #Mandarin telephony 1 #Voice activity detection 1 #Turn detection 1 #Voice AI 1 #打断处理 1 #中文电话 1 #语音活动检测 1 #轮次检测 1 #语音AI 1 #inference performance 1 #GPU memory 1 #model quantization 1 #推理性能 1 #Marlin 2 #NVFP4 2 #模型量化 1 #fact checking 1 #workplace automation 1 #weekly reports 1 #Agent Skills 1 #事实核验 1 #Codex 2 #SKILL.md 2 #周报自动化 1 #AI技能 1 #on-premises AI 0 #customer support 0 #enterprise knowledge base 0 #small language models 0 #Qwen3 1 #QLoRA 1 #智能客服 1 #企业知识库 1 #小模型微调 1 #Docker deployment 0 #barge-in 0 #streaming ASR 0 #voice latency 0 #call center 0 #AI voice agents 0 #Docker部署 1 #语音打断 1 #流式语音识别 1 #语音延迟优化 1 #呼叫中心 1 #AI语音对话 1 #VoIP operations 1 #dialplan security 1 #ACL allowlist 1 #SIP hardening 1 #toll fraud 1 #FreeSWITCH security 1 #VoIP 运维 1 #拨号权限 1 #ACL 白名单 1 #SIP 防护 1 #电话盗打 1 #FreeSWITCH 安全 1 #caller ID 0 #supplier recruitment 0 #call center tutorial 0 #voice gateway 0 #供应商招募 1 #SIP 中继 1 #呼叫中心教程 1 #中继线路 1 #语音网关 1 #VoIP tutorial 1 #AI outbound calling 1 #AI calling platform 1 #offline Docker deployment 1 #VoIP 教程 1 #AI 外呼 1 #mod_fcc 2 #智能呼叫平台 1 #Docker 离线部署 1 #career skills 1 #human verification 1 #workplace productivity 1 #AI collaboration 1 #职业能力 1 #提问能力 1 #人工核验 1 #职场效率 2 #生成式AI 1 #AI协作 1 #VoIP troubleshooting 0 #SIP trunk 0 #softphone calling 0 #SIP extensions 0 #FreeSWITCH tutorial 0 #VoIP 排障 0 #SIP 线路 0 #XML Dialplan 0 #软电话互拨 0 #SIP 分机 0 #Debian 12 0 #FreeSWITCH 教程 0 #open source 1 #business validation 1 #call control 1 #开源项目 1 #AI编程 1 #ESL 2 #业务验证 1 #呼叫控制 1 #FCC 2 #freeswitch教程 1 #inference economics 1 #AI side hustle 1 #concurrency tuning 1 #GPU colocation 1 #AI token business 1 #AI 数据中心 1 #并发调优 1 #GPU 服务器托管 1 #普通人创业 1 #卖 Token 1 #prompting 1 #website deployment 0 #beginner web development 0 #AI-assisted development 0 #PostgreSQL 1 #Vue 3 1 #Flask 1 #网站部署 1 #零基础建站 1 #AI 开发 1 #health 1 #remote work 1 #personal brand 1 #technical leadership 1 #business thinking 1 #technical career 1 #健康管理 1 #远程工作 1 #个人品牌 1 #技术管理 1 #业务思维 1 #技术职业发展 1 #fluid dynamics 0 #Boltzmann equation 0 #mathematics 0 #Hilbert's sixth problem 0 #Yu Deng 0 #Fields Medal 0 #流体力学 1 #波尔兹曼方程 1 #数学科普 1 #希尔伯特第六问题 1 #邓煜 1 #菲尔兹奖 1 #网络攻击 1 #ugging Face 0 #supply chain security 0 #sandbox escape 0 #cybersecurity 0 #供应链安全 1 #沙箱逃逸 1 #网络安全 0 #OpenAI 1 #Hugging Face 1 #团队信任 1 #管理责任 1 #向上沟通 1 #目标管理 1 #团队管理 1 #管理者沟通 1 #鲁迅风格 1 #职场写作 1 #风格迁移 1 #风格迁移 0 #Zsh 1 #Bash 1 #Shell 1 #Unix 1 #RTP语音 1 #TCP MSS 1 #报文分片 1 #GRE over IPSec 1 #钉钉机器人告警 1 #CPU 使用率 1 #Linux 资源监控 1 #Bash 服务器监控 1 #模型监控 1 #机器学习流水线 1 #Airflow 1 #数据预测 1 #XGBoost 1 #LLM evaluation 0 #acceptance criteria 0 #output format 0 #prompt engineering 0 #大模型评测 0 #验收标准 0 #输出格式 0 #Few-shot 0 #Prompt 工程 0 #CUDA compatibility 0 #model serving 0 #local inference 0 #CUDA 兼容 0 #模型服务 0 #本地部署 0 #RTX 3090 2 #Ollama 0 #quantization 0 #distillation 0 #mixture of experts 0 #dense model 0 #model selection 1 #量化 0 #模型蒸馏 0 #MoE 0 #Dense 0 #模型选型 1 #data validation 0 #table extraction 0 #vision model 0 #数据校验 0 #JSON Schema 0 #OCR 0 #表格识别 0 #视觉模型 0 #LLM security 1 #human approval 1 #authorization 1 #parameter validation 1 #tool use 1 #大模型安全 1 #人工确认 1 #权限控制 1 #参数校验 1 #工具调用 1 #Function Calling 2 #LLM applications 1 #data access 1 #conversation memory 1 #knowledge base 1 #web search 1 #大模型应用 1 #数据权限 1 #对话记忆 1 #知识库 1 #联网搜索 1 #logging 1 #Qwen 1 #Model Studio API 1 #日志 1 #API Key 2 #Python 3.10 2 #UV 2 #千问 1 #百炼 API 1 #generative AI 2 #context window 1 #large language models 1 #生成式 AI 1 #Top P 2 #Temperature 2 #上下文窗口 1 #Token 2 #大模型原理 1 #enterprise AI governance 0 #code review 0 #least privilege 0 #coding agent 0 #AGENTS.md 0 #企业 AI 治理 0 #代码审核 0 #最小权限 0 #编码 Agent 0 #AI Agent 1 #Kimi K3 0 #postmortem report 1 #复盘报告 1 #project management 1 #action items 1 #root cause analysis 1 #lessons learned 0 #AI-assisted writing 1 #project postmortem 1 #项目管理 1 #改进措施 1 #原因分析 1 #经验教训 0 #AI写作 1 #项目复盘 1 #AI cost governance 1 #open-weight models 1 #private AI deployment 1 #enterprise data security 1 #AI vendor risk 1 #AI成本治理 1 #开放权重模型 1 #私有化部署 2 #企业数据安全 1 #AI供应商风险 1 #Claude Design 2 #Anthropic 2 #ad disclosure 1 #authentic reviews 1 #content compliance 1 #product recommendation posts 1 #Xiaohongshu copywriting 1 #AI writing 1 #广告标识 1 #真实体验 1 #内容合规 1 #种草文案 1 #小红书文案 2 #AI 写作 1 #human review 1 #content editing 1 #text formatting 1 #AI copywriting 1 #ChatGPT 2 #人工复核 1 #内容整理 1 #文字排版 1 #AI 文案 2 #workflow 0 #content verification 0 #faithful formatting 0 #prompt design 3 #AI text formatting 0 #工作流 0 #内容校对 0 #Markdown 0 #保真排版 0 #提示词 5 #AI 文字排版 0 #LLM inference 1 #tokenizer 1 #model weights 1 #LLM inference 1 #Transformer 2 #分词器 1 #模型权重 1 #大模型推理 2 #PDF内容提炼 1 #提示词写作 1 #演示文稿设计 1 #AI生成PPT 1 #data security 1 #enterprise architecture 1 #process redesign 1 #operating governance 1 #enterprise management 1 #operating system 1 #data governance 1 #digital china 1 #数据安全 1 #企业架构 1 #流程再造 1 #运营治理 1 #企业管理 1 #经营系统 1 #数字中国 1 #workforce disruption 1 #business model 1 #cloud infrastructure 1 #enterprise transformation 1 #AI bubble 1 #Oracle 1 #岗位替代 1 #商业模式 1 #云计算 1 #企业数字化转型 1 #AI泡沫 1 #甲骨文 1 #concurrency benchmarking 1 #performance monitoring 1 #并发压测 1 #性能监控 1 #Prometheus 2 #TPOT 2 #TTFT 2 #LLM inference acceleration 1 #draft model 1 #acceptance rate 1 #大模型推理加速 1 #接受率 1 #EAGLE 2 #Medusa 2 #Speculative Decoding 2 #推测解码 1 #AI implementation 1 #hybrid retrieval 1 #private knowledge base 1 #knowledge governance 1 #enterprise RAG 1 #AI落地 1 #文档审核 1 #pgvector 1 #知识治理 1 #企业RAG 1 #LuminaRAG 2 #cross-functional collaboration 1 #organizational change 2 #business process reengineering 1 #CTO perspective 1 #enterprise digitalization 1 #digital transformation 2 #企业数字化 1 #CTO视角 1 #业务流程再造 1 #组织变革 1 #ERP迁移 1 #数据治理 2 #经营透明度 1 #跨部门协同 1 #数字化转型 2 #LLM serving 1 #GPU memory optimization 1 #显存优化 2 #高并发 AI 服务 1 #Continuous Batching 2 #PagedAttention 2 #KV Cache 3 #sft 2 #model evaluation 2 #data engineering 2 #LLM fine-tuning 2 #max_length 1 #OOM 1 #vLLM 7 #LoRA 1 #realm 1 #容器化 1 #docker 1 #Iptables 1 #VPN 1 #GRE 1 #eBPF 1 #Gre over IPSec 2 #MTU 2 #Freeswitch多注册 1 #中继网关 1 #Linux 1 #gprof 1 #perf 1 #BGP 1 #origin 1 #AS_PATH 1 #MED 1 #localpref 1 #AI Coding 2 #Claude Code 1 #Deepseek 1 #VOIP 3 #Freeswitch 4 #开源呼叫系统 1 #freeswitch模块 2 #fs_mod 1 #voip 1 #freeswitch 10 #Qdrant 1 #Milvus 1 #pgvector 1 #RAG 4 #Halo 0
都是 4bit 量化，为什么别人的加速结果不能照搬到你的 3090？
AI从零开始 #RTX 3090#模型量化#NVFP4#Marlin#显存优化#推理性能

都是 4bit 量化，为什么别人的加速结果不能照搬到你的 3090？

分清 4bit 权重、原生 FP4 计算和实际推理内核，判断量化模型在 3090 上能否运行、节省显存，以及是否值得部署。

Administrator Administrator 发布于 2026-09-25
KV Cache 才是高并发 AI 服务的显存杀手
AI Engineering #KV Cache#PagedAttention#Continuous Batching#vLLM#高并发 AI 服务#显存优化

KV Cache 才是高并发 AI 服务的显存杀手

高并发大模型服务真正容易爆掉的不是模型参数，而是随请求增长的 KV Cache。理解 PagedAttention 和 Continuous Batching，才能看懂 vLLM 为什么能把吞吐做上去。

Administrator Administrator 发布于 2026-07-06