所有标签

#career skills ¹ #human verification ¹ #workplace productivity ¹ #AI collaboration ¹ #职业能力 ¹ #提问能力 ¹ #人工核验 ¹ #职场效率 ¹ #生成式AI ¹ #AI协作 ¹ #VoIP troubleshooting ⁰ #SIP trunk ⁰ #softphone calling ⁰ #SIP extensions ⁰ #FreeSWITCH tutorial ⁰ #VoIP 排障 ⁰ #SIP 线路 ⁰ #XML Dialplan ⁰ #软电话互拨 ⁰ #SIP 分机 ⁰ #Debian 12 ⁰ #FreeSWITCH 教程 ⁰ #open source ¹ #business validation ¹ #call control ¹ #开源项目 ¹ #AI编程 ¹ #ESL ² #业务验证 ¹ #呼叫控制 ¹ #FCC ² #freeswitch教程 ¹ #inference economics ¹ #AI side hustle ¹ #concurrency tuning ¹ #GPU colocation ¹ #AI token business ¹ #AI 数据中心 ¹ #并发调优 ¹ #GPU 服务器托管 ¹ #普通人创业 ¹ #卖 Token ¹ #prompting ¹ #website deployment ⁰ #beginner web development ⁰ #AI-assisted development ⁰ #PostgreSQL ¹ #Vue 3 ¹ #Flask ¹ #网站部署 ¹ #零基础建站 ¹ #AI 开发 ¹ #health ¹ #remote work ¹ #personal brand ¹ #technical leadership ¹ #business thinking ¹ #technical career ¹ #健康管理 ¹ #远程工作 ¹ #个人品牌 ¹ #技术管理 ¹ #业务思维 ¹ #技术职业发展 ¹ #fluid dynamics ⁰ #Boltzmann equation ⁰ #mathematics ⁰ #Hilbert's sixth problem ⁰ #Yu Deng ⁰ #Fields Medal ⁰ #流体力学 ¹ #波尔兹曼方程 ¹ #数学科普 ¹ #希尔伯特第六问题 ¹ #邓煜 ¹ #菲尔兹奖 ¹ #网络攻击 ¹ #ugging Face ⁰ #supply chain security ⁰ #sandbox escape ⁰ #cybersecurity ⁰ #供应链安全 ¹ #沙箱逃逸 ¹ #网络安全 ⁰ #OpenAI ¹ #Hugging Face ¹ #团队信任 ¹ #管理责任 ¹ #向上沟通 ¹ #目标管理 ¹ #团队管理 ¹ #管理者沟通 ¹ #鲁迅风格 ¹ #职场写作 ¹ #风格迁移 ¹ #风格迁移 ⁰ #Zsh ¹ #Bash ¹ #Shell ¹ #Unix ¹ #RTP语音 ¹ #TCP MSS ¹ #报文分片 ¹ #GRE over IPSec ¹ #钉钉机器人告警 ¹ #CPU 使用率 ¹ #Linux 资源监控 ¹ #Bash 服务器监控 ¹ #模型监控 ¹ #机器学习流水线 ¹ #Airflow ¹ #数据预测 ¹ #XGBoost ¹ #LLM evaluation ⁰ #acceptance criteria ⁰ #output format ⁰ #prompt engineering ⁰ #大模型评测 ⁰ #验收标准 ⁰ #输出格式 ⁰ #Few-shot ⁰ #Prompt 工程 ⁰ #CUDA compatibility ⁰ #model serving ⁰ #local inference ⁰ #CUDA 兼容 ⁰ #模型服务 ⁰ #本地部署 ⁰ #RTX 3090 ⁰ #Ollama ⁰ #quantization ⁰ #distillation ⁰ #mixture of experts ⁰ #dense model ⁰ #model selection ⁰ #量化 ⁰ #模型蒸馏 ⁰ #MoE ⁰ #Dense ⁰ #模型选型 ⁰ #data validation ⁰ #table extraction ⁰ #vision model ⁰ #数据校验 ⁰ #JSON Schema ⁰ #OCR ⁰ #表格识别 ⁰ #视觉模型 ⁰ #LLM security ¹ #human approval ¹ #authorization ¹ #parameter validation ¹ #tool use ¹ #大模型安全 ¹ #人工确认 ¹ #权限控制 ¹ #参数校验 ¹ #工具调用 ¹ #Function Calling ² #LLM applications ¹ #data access ¹ #conversation memory ¹ #knowledge base ¹ #web search ¹ #大模型应用 ¹ #数据权限 ¹ #对话记忆 ¹ #知识库 ¹ #联网搜索 ¹ #logging ¹ #Qwen ¹ #Model Studio API ¹ #日志 ¹ #API Key ² #Python 3.10 ² #UV ² #千问 ¹ #百炼 API ¹ #generative AI ² #context window ¹ #large language models ¹ #生成式 AI ¹ #Top P ² #Temperature ² #上下文窗口 ¹ #Token ² #大模型原理 ¹ #enterprise AI governance ⁰ #code review ⁰ #least privilege ⁰ #coding agent ⁰ #AGENTS.md ⁰ #企业 AI 治理 ⁰ #代码审核 ⁰ #最小权限 ⁰ #编码 Agent ⁰ #AI Agent ¹ #Kimi K3 ⁰ #postmortem report ¹ #复盘报告 ¹ #project management ¹ #action items ¹ #root cause analysis ¹ #lessons learned ⁰ #AI-assisted writing ¹ #project postmortem ¹ #项目管理 ¹ #改进措施 ¹ #原因分析 ¹ #经验教训 ⁰ #AI写作 ¹ #项目复盘 ¹ #AI cost governance ¹ #open-weight models ¹ #private AI deployment ¹ #enterprise data security ¹ #AI vendor risk ¹ #AI成本治理 ¹ #开放权重模型 ¹ #私有化部署 ¹ #企业数据安全 ¹ #AI供应商风险 ¹ #Claude Design ² #Anthropic ² #ad disclosure ¹ #authentic reviews ¹ #content compliance ¹ #product recommendation posts ¹ #Xiaohongshu copywriting ¹ #AI writing ¹ #广告标识 ¹ #真实体验 ¹ #内容合规 ¹ #种草文案 ¹ #小红书文案 ² #AI 写作 ¹ #human review ¹ #content editing ¹ #text formatting ¹ #AI copywriting ¹ #ChatGPT ² #人工复核 ¹ #内容整理 ¹ #文字排版 ¹ #AI 文案 ² #workflow ⁰ #content verification ⁰ #faithful formatting ⁰ #prompt design ³ #AI text formatting ⁰ #工作流 ⁰ #内容校对 ⁰ #Markdown ⁰ #保真排版 ⁰ #提示词 ⁵ #AI 文字排版 ⁰ #LLM inference ¹ #tokenizer ¹ #model weights ¹ #LLM inference ¹ #Transformer ² #分词器 ¹ #模型权重 ¹ #大模型推理 ² #PDF内容提炼 ¹ #提示词写作 ¹ #演示文稿设计 ¹ #AI生成PPT ¹ #data security ¹ #enterprise architecture ¹ #process redesign ¹ #operating governance ¹ #enterprise management ¹ #operating system ¹ #data governance ¹ #digital china ¹ #数据安全 ¹ #企业架构 ¹ #流程再造 ¹ #运营治理 ¹ #企业管理 ¹ #经营系统 ¹ #数字中国 ¹ #workforce disruption ¹ #business model ¹ #cloud infrastructure ¹ #enterprise transformation ¹ #AI bubble ¹ #Oracle ¹ #岗位替代 ¹ #商业模式 ¹ #云计算 ¹ #企业数字化转型 ¹ #AI泡沫 ¹ #甲骨文 ¹ #concurrency benchmarking ¹ #performance monitoring ¹ #并发压测 ¹ #性能监控 ¹ #Prometheus ² #TPOT ² #TTFT ² #LLM inference acceleration ¹ #draft model ¹ #acceptance rate ¹ #大模型推理加速 ¹ #接受率 ¹ #EAGLE ² #Medusa ² #Speculative Decoding ² #推测解码 ¹ #AI implementation ¹ #hybrid retrieval ¹ #private knowledge base ¹ #knowledge governance ¹ #enterprise RAG ¹ #AI落地 ¹ #文档审核 ¹ #pgvector ¹ #知识治理 ¹ #企业RAG ¹ #LuminaRAG ² #cross-functional collaboration ¹ #organizational change ² #business process reengineering ¹ #CTO perspective ¹ #enterprise digitalization ¹ #digital transformation ² #企业数字化 ¹ #CTO视角 ¹ #业务流程再造 ¹ #组织变革 ¹ #ERP迁移 ¹ #数据治理 ² #经营透明度 ¹ #跨部门协同 ¹ #数字化转型 ² #LLM serving ¹ #GPU memory optimization ¹ #显存优化 ¹ #高并发 AI 服务 ¹ #Continuous Batching ² #PagedAttention ² #KV Cache ³ #sft ² #model evaluation ² #data engineering ² #LLM fine-tuning ² #max_length ¹ #OOM ¹ #vLLM ⁷ #LoRA ¹ #realm ¹ #容器化 ¹ #docker ¹ #Iptables ¹ #VPN ¹ #GRE ¹ #eBPF ¹ #Gre over IPSec ² #MTU ² #Freeswitch多注册 ¹ #中继网关 ¹ #Linux ¹ #gprof ¹ #perf ¹ #BGP ¹ #origin ¹ #AS_PATH ¹ #MED ¹ #localpref ¹ #AI Coding ² #Claude Code ¹ #Deepseek ¹ #VOIP ³ #Freeswitch ⁴ #开源呼叫系统 ¹ #freeswitch模块 ² #fs_mod ¹ #voip ¹ #freeswitch ⁴ #Qdrant ¹ #Milvus ¹ #pgvector ¹ #RAG ³ #Halo ⁰

AI Engineering #model weights #vLLM #tokenizer #Transformer #LLM inference

How Weights Become Words: LLM Inference Explained

Open models include weights, tokenizers, and configuration—not a chat app. Follow one prompt through vLLM/Ollama: IDs become vectors, logits, text, then EOS. What makes it speak and stop?

Administrator 发布于 2026-07-16

AI Engineering #大模型推理 #模型权重 #vLLM #分词器 #Transformer

破译大模型推理：从权重到文本

下载开源大模型后，磁盘里躺着的不是可执行聊天程序，而是权重、分词器和配置等静态文件。我沿着一次真实推理拆开它们如何被 vLLM/Ollama 驱动：文本怎样变成 token、向量与概率，又怎样流式返回；最后究竟是 EOS、停止规则还是 EOF 让模型闭嘴？这篇文章还会解释 KV Cache 为何能让生成显著提速。

Administrator 发布于 2026-07-16

AI Engineering #vLLM #TTFT #TPOT #Prometheus #performance monitoring #concurrency benchmarking

What Metrics Matter for vLLM Monitoring and Tuning

vLLM tuning should not stop at checking whether the API returns an answer. TTFT, TPOT, throughput, KV Cache usage, queue length, and tail latency form the real feedback loop.

Administrator 发布于 2026-07-07

AI Engineering #vLLM #TTFT #TPOT #Prometheus #性能监控 #并发压测

vLLM 性能监控要看哪些指标

vLLM 调优不能只看服务是否返回答案，而要围绕 TTFT、TPOT、吞吐量、KV Cache 使用率和尾延迟建立监控闭环。本文用本地脚本串起启动、测量、压测和指标采集。

Administrator 发布于 2026-07-07

AI Engineering #GPU memory optimization #LLM serving #vLLM #Continuous Batching #PagedAttention

KV Cache Is the Real Memory Killer in High-Concurrency AI Services

In high-concurrency LLM serving, model weights are rarely the only memory problem. KV Cache grows with requests and tokens, so PagedAttention and Continuous Batching are the real keys to vLLM throughput.

Administrator 发布于 2026-07-06