Logo

菜单

无双的技术博客 记录 AI、Linux、网络架构、FreeSWITCH 与企业数字化实践

所有标签

#LLM inference 1 #tokenizer 1 #model weights 1 #LLM inference 0 #Transformer 2 #分词器 1 #模型权重 1 #大模型推理 1 #PDF内容提炼 1 #提示词写作 1 #演示文稿设计 1 #AI生成PPT 1 #data security 1 #enterprise architecture 1 #process redesign 1 #operating governance 1 #enterprise management 1 #operating system 1 #data governance 1 #digital china 1 #数据安全 1 #企业架构 1 #流程再造 1 #运营治理 1 #企业管理 1 #经营系统 1 #数字中国 1 #workforce disruption 1 #business model 1 #cloud infrastructure 1 #enterprise transformation 1 #AI bubble 1 #Oracle 1 #岗位替代 1 #商业模式 1 #云计算 1 #企业数字化转型 1 #AI泡沫 1 #甲骨文 1 #concurrency benchmarking 1 #performance monitoring 1 #并发压测 1 #性能监控 1 #Prometheus 2 #TPOT 2 #TTFT 2 #LLM inference acceleration 1 #draft model 1 #acceptance rate 1 #大模型推理加速 1 #接受率 1 #EAGLE 2 #Medusa 2 #Speculative Decoding 2 #推测解码 1 #AI implementation 1 #hybrid retrieval 1 #private knowledge base 1 #knowledge governance 1 #enterprise RAG 1 #AI落地 1 #文档审核 1 #pgvector 1 #知识治理 1 #企业RAG 1 #LuminaRAG 2 #cross-functional collaboration 1 #organizational change 2 #business process reengineering 1 #CTO perspective 1 #enterprise digitalization 1 #digital transformation 2 #企业数字化 1 #CTO视角 1 #业务流程再造 1 #组织变革 1 #ERP迁移 1 #数据治理 2 #经营透明度 1 #跨部门协同 1 #数字化转型 2 #LLM serving 1 #GPU memory optimization 1 #显存优化 1 #高并发 AI 服务 1 #Continuous Batching 2 #PagedAttention 2 #KV Cache 1 #sft 2 #model evaluation 2 #data engineering 2 #LLM fine-tuning 2 #max_length 1 #OOM 1 #vLLM 7 #LoRA 1 #realm 1 #容器化 1 #docker 1 #Iptables 1 #VPN 1 #GRE 1 #eBPF 1 #Gre over IPSec 2 #MTU 1 #Freeswitch多注册 1 #中继网关 1 #Linux 0 #gprof 1 #perf 1 #BGP 1 #origin 1 #AS_PATH 1 #MED 1 #localpref 1 #AI Coding 1 #Claude Code 1 #Deepseek 1 #VOIP 3 #Freeswitch 4 #开源呼叫系统 1 #freeswitch模块 1 #fs_mod 1 #voip 1 #freeswitch 2 #Qdrant 1 #Milvus 1 #pgvector 1 #RAG 1 #Halo 0
How Weights Become Words: LLM Inference Explained
AI Engineering #model weights#vLLM#tokenizer#Transformer#LLM inference

How Weights Become Words: LLM Inference Explained

Open models include weights, tokenizers, and configuration—not a chat app. Follow one prompt through vLLM/Ollama: IDs become vectors, logits, text, then EOS. What makes it speak and stop?

Administrator Administrator 发布于 2026-07-16
破译大模型推理：从权重到文本
AI Engineering #大模型推理#模型权重#vLLM#分词器#Transformer

破译大模型推理：从权重到文本

下载开源大模型后，磁盘里躺着的不是可执行聊天程序，而是权重、分词器和配置等静态文件。我沿着一次真实推理拆开它们如何被 vLLM/Ollama 驱动：文本怎样变成 token、向量与概率，又怎样流式返回；最后究竟是 EOS、停止规则还是 EOF 让模型闭嘴？这篇文章还会解释 KV Cache 为何能让生成显著提速。

Administrator Administrator 发布于 2026-07-16