20:00准时开始 Q1:你工作了还是学生？ 扣1：学生、应届 扣2：已工作 20:00准时开始 Q2:你的基础如何？ 扣1：转行，毫无基础 扣2：至少掌握一门编程语言 20:00准时开始 Q3:你对机器学习有多少了解？ 扣1：就是现在，刚刚开始 扣2：多少了解一丢丢 扣3：有不少经验呀 1.目前大模型的发展与功能 2.大模型是如何提升工作效率的？ 3.为什么各企业争相研究大模型 4.大模型对程序员的工作产生什么影响 5.大模型的高效方法I: Prompt Engineering 6.大模型的技术基础: Transformer • 大模型发展: 越来越快，越来越大 80%为自然语言模型 • 自然语言模型发展的四阶段 - 监督学习 (传统机器学习) – 特征工程 数学大神 望而还走 - 监督学习 (神经网络) – 结构(architecture)工程 数学大师 跟它死磕 - 预训练, Fine-tune – 目标(objective)工程 数学老师 放着我来 - 预训练, Prompt, Predict – Prompt工程 数学是啥 活体军功 自然语言模型的功能 语言生成：大模型可以生成文章、对话、新闻报道等自然语言文本，使得自动化生成内容变得更 加智能和流畅。 机器翻译：大模型可以进行自动翻译，实现不同语言之间的即时交流和理解。 情感分析：大模型可以判断文本中蕴含的情感倾向，并进行情感分析，帮助企业了解用户反馈和 舆情态势。 问答系统：大模型可以解决自然语言问答问题，提供智能的问题解答和知识查询服务。 信息检索与推荐：大模型可以通过对用户查询意图的理解，提升搜索引擎的准确性和个性化推荐 的精确性。 • 说不直观 • 直接看下例子 ChatGPT 如何训练的？ • 大模型功能: 越来越准确，越来越丰富 文本 总结 网页 … … • 大模型功能: 越来越准确，越来越丰富 图文 (非大模型也可) 创造: 文图 大杂烩 • 大模型功能: 越来越准确，越来越丰富 自动客服 业务逻辑 业务: 故障说明 零代码开发 …… 大模型的应用主要集中在以下领域： 1. 自然语言处理：大模型可以用于语言模型、机器翻译、文本分类、情感分析等任务。 2. 计算机视觉：大模型可以用于图像分类、目标检测、图像分割、人脸识别等任务。 3. 语音识别：大模型可以用于语音识别、语音合成等任务。 4. 推荐系统：大模型可以用于个性化推荐、广告推荐等任务。 5. 自动驾驶：大模型可以用于自动驾驶中的感知、决策等任务。 6. 医疗健康：大模型可以用于医疗影像诊断、疾病预测等任务。 7. 金融风控：大模型可以用于信用评估、欺诈检测等任务。 8. 工业制造：大模型可以用于质量控制、故障诊断等任务。 • 前所未有们: - 使用门槛之低，前所未有 - 覆盖场景之多，前所未有 - 可控难度之大，前所未有 • 前所未有们: - 使用门槛之低: 直接来个例子 (AI 编程) • 前所未有们: - 覆盖场景之多 诸多项目因为大模型升级而…… 多模态 • 前所未有们: - 可控难度之大: 数据 • 前所未有们: - 可控难度之大: 数据 • 前所未有们: - 可控难度之大: 效果 • 前所未有们: - 可控难度之大: 效果 一本正经地胡说八道 程序员必须要学习大模型、拥抱大模型 提升效率、拓宽领域 • Prompt (提示/指令) 是什么 - 告诉大模型 (ChatGPT) 要干什么: 【讲个笑话】, 【陪我聊会天】 - 怎么能做的更好 - 怎么能用在代码里 - 有没有要注意的事 • 如何令Prompt做的更好 - 思想提升: 与“人”沟通 - 耐心、细节、逻辑、例子 (排名不分先后，都非常重要) 虽然模型自己也“二糊”，但仍然以“赵 什么来着”作为输出，这当然不是我们想 要的 • 如何令Prompt做的更好 - 思想提升: 与“人”沟通 - 耐心、细节、逻辑、例子 (排名不分先后，都非常重要) 完美了 • 如何令Prompt做的更好 - 思想提升: 与“人”沟通 - 总结: AI是能力强大的纯情小可爱，它 在知识上: “什么都懂” 在要求上: “什么都不懂” - 要: 有耐心、提供细节、勤举例子、逻辑清晰； - 不要: 以为它懂你，不要“猜谜语” • 如何将Prompt用在代码里 (以ChatGPT为例) - Step 1: 安装OpenAI库 • 如何将Prompt用在代码里 (以ChatGPT为例) - Step 2: 生成API key: • 如何将Prompt用在代码里 (以ChatGPT为例) - Step 3: 设定本地的.env文件 • 如何将Prompt用在代码里 (以ChatGPT为例) - Step 4: 代码中的准备工作 • 如何将Prompt用在代码里 - Step 5: 可以了，开始吧 • 如何将Prompt用在代码里 - Step 6: 看看结果 • 如何将Prompt用在代码里 - Step 7: 深入学习: 这些参数都是啥 model: 你用啥model跟你互动 role: 用来定义交互中的角色 a. user: 交互中的“我” b. assistant: 交互中的“model” c. system: 交互中的“大环境”。最好预先设 定。比如告诉模型:“你是一个AI专家，在 接下来的互动中，你的回答要尽量用专 业语言”之类的 Create中的参数： • 如何将Prompt用在代码里 - Step 8: 深入学习: 如何生成多轮对话 利用 assistant 与 system 更多精彩在正课当中~~ • 关于Prompt需要注意的 - 神奇漏洞 • 关于Prompt需要注意的 - 内容审核 (不是很准，可能是中文关系) • 关于Prompt需要注意的 - 内容审核 (不是很准，可能是中文关系) 一切开始的地方。。。 - 在Transformer前 - 最大的问题：遗忘 - 解决: 注意力机制 明天聊 - Transformer 真身: 2017 Encoder Decoder 明天聊 - Encoder: 将输入“序列”中的信息提取出来 Encoder: 将输入“序列”中的信息提取出来 cat: concatenate - vt. 拼接 head h ⋅⋅⋅ ⋅⋅⋅ - head 1 ⋅⋅⋅⋅⋅⋅ Input: - Attention: 将重要信息提取出来 0.456… 0.99… -0.002… 特， 0.001… 别， 0.66… -0.102… 爱， 可， 0.09… 爱， -0.113… 的， - Attention: 将重要信息提取出来 ⋅⋅⋅⋅⋅⋅ - Attention: 将重要信息提取出来 - Attention: 将重要信息提取出来 ⋅⋅⋅⋅⋅⋅ - Attention: 将重要信息提取出来 ⋅⋅⋅⋅⋅⋅ • 这些都意味着: - 传统编程工作量和难度会降低，全栈成为“刚需” - 所有系统会结合AI，相关经验1-2年会稀缺 - 手握AI，“产品+开发+运营” 一手抓的超级个体成为时代新宠 a. 值得只为5000人写一个软件，每个月收10块钱 b. 每家公司值得有这样一个程序员，可以让效率大增 - 程序员更具有成为超级个体的潜质 • “当代”程序员AI应用六境界: 人人都行 需要开发，但核心几十行代码就够 Embeddings, 向量数据库, LangChain …… https://python.langchain.com Fine-tune, https://chatlaw.cloud • 我们的应对: - 观察: 研究大模型的公司招！人！多！ - 注意: 大模型在影响我们的就业 - 思考: 时代在变，最需要提升啥 - 动手: 怎么做？ �扫描上方二维码，快快加入学习�