
把问题当成输入,把大模型当成函数,把回答当成输出。
大模型回答问题的过程,就是一个循环执行函数的过程。
另外有必要了解一下,AI技术爆发于2023年,ChatGPT经过了几次迭代才崭露头角。
Transformer架构。
参数爆发增长。
人工干预奖励模型。
思考题: 语言能代表智能吗?
自注意力机制就是动态关联上下文的能力。如何实现的呢?
最简化示例: 小明吃完冰淇淋,结果 => 肚子疼。


最终上下文向量:
[0.053?0.108+0.243+0.148,0.212+0.27?0.081+0.037]=[0.336,0.438]
5. 预测下一个 token
模型将上下文向量 [0.336, 0.438] 与候选 token 的嵌入向量对比:
嵌入向量不作过多解释, 只要知道QKV三个向量可从嵌入向量计算得到即可

最终模型选择最高概率的 “肚子疼” 作为下一个 token。
注意在实际场景中,预测的下一个token是不确定的,是因为有一个掷骰子的操作,大模型会在概率最大的几个token中随机挑选一个作为最终输出。
对于这个词大家并不陌生。我们用chatGPT时经常会用到, "你是一个......."
但你真的理解它吗?
与ai对话时的这种预设角色,其实并不是严格意义上的 prompt。
为什么这么说呢?先看一下API。
我们前面提到过大语言模型的 本质就是文字接龙,相对应的使用大模型也比较简单。可以参见deepseek的文字接龙 api 请求:
https://api-docs.deepseek.com/zh-cn/api/create-chat-completion

这里比较重要的几个部分,需要理解:
1. temperature 温度
Temperature(温度) 是一个控制生成文本随机性和多样性的关键参数。它通过调整模型输出的概率分布,直接影响生成内容的“保守”或“冒险”程度。看几个典型场景:

2. tools 工具支持
大模型对 function calling 的支持,后面再详细介绍。
3. 角色和信息
这一部分是ai对话的主体。其中role 定义了四个角色。
回到前一章的问题,ai对话时其实是user部分输入的内容,所以system角色的设定内容才应该是严格意义上的Prompt。
这有啥区别呢? (user 与 system?)
个人一个合理的猜测: system的内容在Transformer推理中拥有较高的权重。所以拥有较高的响应优先级。
4. 关于多轮对话
因为LLM是无状态的。我们要时刻记得文字接龙的游戏,因此在实际操作中也是这样的。

仅仅一个可以回答问题的机器人,作用并不太大。
要完成复杂的任务,就需要大模型的输出是稳定的,而且是可编程的。
因此OpenAI 推出了 function calling的支持。也就是前面提到的 tools参数相关内容。
1. 基本流程



"The current temperature in Paris is 14°C (57.2°F)."

2. 实现原理(猜测)
a. 实现方式一: prompt 遵循 (示例)
提前设置规则:

b. 实现方式二: 模型训练特定优化
对结构化输出有特定要求,可能需要特定训练吧。这个不太确定?
包含: 大模型,任务规划,上下文记忆,工具调用。它是大模型能力的拓展。其实只要对API进行简单的封装,只要能完成特定任务,都可以称为智能体。比如下面的例子:
1. 创建AI客服系统

个智能体,主要包括:
配置了一个 prompt: "你是一个电商客服,可查询订单状态"
引入 query_order 工具
2. 其它创建方式
服务商开放接口,供用户创建,比如腾讯元器:
https://yuanqi.tencent.com/my-creation/agent
一个简单的提示词都可以创建智能体:

通过上面的智能体调用工具的示例我们可以看到,每接入一个工具,都需要编写相应的接入代码。经常写代码的我们都知道,这不是好的架构设计。 好的设计应该把动态改变的部分 ( tools的声名和调用分离出来 ),做为一个独立的模块来拓展。这就有了大众追捧的 MCP: -----(哪有这么玄,都是程序员的常规操作啊....)
MCP是工具接入的标准化协议
https://modelcontextprotocol.io/introduction
遵循这套协议,可以实现工具与Agent的解耦。你的Agent 接入MCP协议的client sdk后。接入工具不再需要编写工具调用代码,只需要注册 MCP Server就可以了。而MCP Server可由各个服务商独立提供。

MCP Server做什么呢?
声明提供的能力 ListTools。
调用能力的方式 CallTool。
来看一下MCP Server的部分代码 (红框中就是做上面两个事,不难理解) :

A2A本质是对 MCP协议的拓展,按字面意思就是 Agent to Agent. 有兴趣的自己详细看吧。
智能体与智能体之间通信的标准化协议
https://github.com/google/A2A?tab=readme-ov-file#agent2agent-a2a-protocol
在这套协议下,一个智能体要引入其它的智能体的能力,也变得可插拔了。
如同蒸汽机,电,计算机这些伟大的技术一样。AI会成为下一个彻底改变人类生活工作方式的新技术。
1. 现在AI编程能力越来越强,程序员是不是要失业了?
职业不会消失,消失的只有人。但是AI编程的确会重塑整个行业。
我预想几年后,纯粹的业务代码工程师可能会消失。而会增加更多的AI编程工程师。
AI编程工程师的职责是解决AI模糊性的问题。而工具的引入就是增加确定性的手段。
我们程序员可以把自己的积累通过 mcp server的方式,挂载到项目agent 上去。这样我们就可以解放双手,去解决更多有挑战性的问题。
2. 当前我们有哪些工作可以由AI来处理?
理论上一切重复性的工作都可以交由AI完成。保险起见,创造性的工作暂时可以只作为参考。