TP还是PP:大模型多机部署并行策略压测复盘
结论前置
三组双机压测跑完,选型就三句话:普通网络选 PP+TP,别硬跑全 TP;有 eRDMA/RDMA 选全 TP,decode 阶段碾压;只关心首 token 时延的短输出场景,PP 仍可单独评估。下面是数据和机...
Ollama加LangChain本地大模型调用:参数调优与报错排查
一个包名先分清
对接 Ollama 的正确依赖是 langchain-ollama,装法:uv add langchain-ollama。网上大量老教程写的是 pip install langchain-community 然后导入 from langchain_community....
进程在窗口不见:ChatGPT桌面版渲染崩溃排查实录
现象先钉死
双击 ChatGPT 桌面版图标,任务管理器里 ChatGPT.exe 进程好几个、CPU 也在动,但窗口永远不出现。注意这和"双击没反应""卡在登录转圈"是两类问题——后者查网络和账号,本文只处理...
把817个安全技能装进Agent:接入校验与审计清单实战
先说它是什么
一个把安全分析师的工作流拆成 817 个结构化技能的开源仓库:mukul975/Anthropic-Cybersecurity-Skills。它不是扫描器,也不是工具合集,而是让 Claude Code、Cursor、Codex CL...
Spring AI集成MCP:从服务端到客户端
随着Spring AI 1.1正式版的发布,模型上下文协议(MCP)的集成已成为Spring生态中AI开发的核心能力。Spring团队主导了MCP Java SDK的开发,并提供了专用的Boot Starter和注解编程模型,让开...
TimechoAI对CPU内存与网络流量交叉分析
把CPU、内存、网络流量同时丢给TimechoAI,做交叉分析
上一次我们聊了如何把一条时间序列数据交给 TimechoAI,造了一份 CPU 假数据,让它帮我们找出突刺点。
可回到真实场景想想,情况远比...
Palantir AIP中台架构设计理念拆解
AIP 中台架构深度解读:当生成式 AI 遇见企业运营,"调用模型"只是起点
导读:AIP(AI Platform)不是又一个模型 API 网关,而是 Palantir 把生成式 AI 深度接入企业运营的完整工程平台——从...
给 AI Agent 配上记忆:短期与长期怎么存、怎么取
1. 引言:为什么 AI 总是“说完就忘”?
只要用过 AI 助手,多半都碰上过这种场面:聊了十几轮后,它忽然忘了你开头说的关键信息——你明明讲过"我是素食主义者",它却给你推牛排馆;你一小时前...
Meta Muse拆解:爆火数据与使用边界
Meta 在 2026 年 9 月把「个人智能体」这个概念重新炒热了:一款叫 Muse 的应用,上线 12 天在美加市场把 ChatGPT 的移动端首发数据甩在身后。热闹之外,产品形态、权限设计和平台博弈同样值...
从1.8秒到47毫秒:物联网边缘推理架构落地全复盘
边缘推理不是把模型塞进设备就完事了,它是一场关于算力、带宽、时延和成本的全面博弈。
一、边缘推理的本质困境
2024年,我们在某智慧工厂落地了一套视觉质检系统:200路摄像头、每条产线...
