Many Chinese companies accept the need for digital transformation, yet execution keeps stalling. The real friction is not technology, but process ownership, transparency, and organizational risk.
国内企业拥抱数字化转型的口号很多,真正执行却常常迟缓。我的判断是,矛盾不在技术方案,而在流程权责、经营透明度和组织风险重新分配。
In high-concurrency LLM serving, model weights are rarely the only memory problem. KV Cache grows with requests and tokens, so PagedAttention and Continuous Batching are the real keys to vLLM throughput.
高并发大模型服务真正容易爆掉的不是模型参数,而是随请求增长的 KV Cache。理解 PagedAttention 和 Continuous Batching,才能看懂 vLLM 为什么能把吞吐做上去。
别把职场游戏当成真实世界 我最近越来越觉得,很多职场里的痛苦,不是来自某一次没升职,也不是来自某个老板不识货,而是来自一个更底层的问题:我们把公司设计出来的职级游戏,当成了真实世界。 一个人工作很多年,专业能力很强,公司一遇到疑难杂症就找他,但他还是上不去。这个时候他会问:我该怎么调整心态? 我的看
The Core Logic of High-Quality Fine-Tuning Data Engineering: Why Data Quality Defines a Model's Ceiling Chinese version: 中文版 This is the first article
从微调是否必要、SFT/RL/GRPO 的学习方式,到高质量样本为什么比单纯堆数据量更关键.
70B模型配了4张80G卡,长文本一推就爆。查了一圈发现不是显存容量问题,是max_length设太大,kv cache按最坏情况预分配显存。上线前没做profiling,差点多花20万买卡。
设了gradient_accumulation_steps=8,理论有效batch=32,结果每个step的loss降得像火箭一样快,还以为学习率太高。排查了两天才发现DeepSpeed的配置覆盖问题,实际有效batch只有1。
吐槽向复盘:对接新运营商SIP中继时,认证机制、头域格式、号码转换轮流坑了我一遍。记录一下当时的排查思路和最终方案,给后来人避坑。