苹果端侧30亿参数模型:量化、缓存与LoRA三板斧
30 亿参数的模型,16 位精度下光权重就要 6GB——还不算提示词、中间结果和操作系统抢占的内存。iPhone 要在共享内存里跑它,还要不发热、不卡顿、不耗干电池。苹果给出的工程答案值得所有做...
YOLO云端平台拆解:从标注、训练到部署闭环
自己搭过视觉训练环境的都懂:标注工具、驱动、CUDA、框架版本、导出转换,每一环都能卡半天。Ultralytics 把这整条链搬到了云端——platform.ultralytics.com,从图片标注到 YOLO 模型投产在...
用Trae智能体给聊天服务补齐main入口函数
服务类代码写完了,程序却跑不起来——缺一个 main 入口。这种收尾活儿最适合交给 AI 编程助手。本文以一个 C++ 多模型聊天服务为例,走一遍用 Trae 智能体补齐入口函数的完整流程,顺带把工...
Agent工具调用链路拆解:定义、实现与调度三层
LLM 本身只会生成文本,读文件、跑命令、查数据库都要靠工具(Tool)。理解工具机制是理解 Agent 的地基:一个能干活的 Agent = 会决策的 LLM + 提供外部能力的 Tool + 把两者接起来的 Agent...
上下文工程实战:Agent跑偏的四大策略与失效模式
用 AI 编程助手开发项目时常见这样的曲线:开局表现很好,任务推进到几十轮后开始忘掉定好的技术方案、反复尝试已经失败的方法、甚至修改无关代码。模型没变,变的是上下文——对话历史、工具...
大模型架构与LoRA微调:可训练参数不到1%
大语言模型(LLM)是参数量十亿级以上的 Transformer 模型,靠海量无标注文本预训练获得语言、常识和推理能力。它和传统 NLP 模型的分水岭在三点:参数量差两三个数量级、训练数据从标注转...
Agent与MCP权限边界:新手选型和提问实战方法
刚上手 AI 的人普遍卡在同一个地方:名词满天飞——大模型、Agent、Skill、MCP,有人教写提示词,有人让装插件,还有人劝你直接搭智能体。其实先把三个问题想清楚,术语自然就归位了:手里的...
C++聊天服务CMake构建:库名报错与排错清单
C++ 项目接入自研 SDK 时,CMake 构建是第一道坎,也是最容易被网上抄来的配置坑住的一道。下面以一个依赖自研静态库 libai_chat_sdk.a 的聊天服务为例,把配置、报错根因、排错流程一次讲...
LangChain智能体四步搭建:多参数工具选型坑
普通模型调用只能"一问一答",智能体(Agent)则要自己想清楚任务、挑工具、执行、再根据结果决定下一步。用 LangChain 搭一个能跑的智能体,实际工作量比想象小得多——核心就是四步:封工具...
前端工程师转Agent开发:能力迁移与四阶段路径
很多前端同学看到 RAG、Tool Calling、MCP、LangGraph 这串名词,第一反应是"是不是要推倒重来"。结论先放这里:不用推倒重来,但你确实要补后端、模型机制和 Agent 运行时的课。做过的 API...
