老毛的博客

假设模型为LiL_iLi​，输入为qqq，模型输出为LiqL_i(q)Li​q若正确答案表示为aaa，则输入在模型LiL_iLi​raLiqraLi​q))sqLiqsqLi​q))模型的运行代价根据上面的调研表格可知：输入要钱、输出要钱、固定按次要钱。

部分截图来自原课程视频《2023李宏毅最新生成式AI教程》，B站自行搜索。用AI运行AI，顾名思义就是使用AI来统筹调用其他AI来解决复杂问题。常见的AI运行AI工具有：这里面推荐使用Godmode，相较其他工具更加友好，可以随时调整执行计划，可以以10分钟为单位分段执行查看执行结果，且不需要魔法上网就可以访问（但需要谷歌或推特账号登录）。

部分截图来自原课程视频《2023李宏毅最新生成式AI教程》，B站自行搜索。

部分截图来自原课程视频《2023李宏毅最新生成式AI教程》，B站自行搜索这节课主要是复习，但是里面有些结论可以加深对ML和DL的理解。

文句最小单位是Token，在中文中指字，英文中指Word piece，例如单词unbelievable的token为：un believ able英文为什么不用单词作为token？因为通过之前的学习我们知道，AIGC在微观上来看是一个分类问题，因此我们需要为模型提供所有可能的分类，而英语单词理论上来讲是无穷多的（因为里面有各种专有名词、人名、地名等），只能用更小的Word piece来对英文进行分类。

部分截图来自原课程视频《2023李宏毅最新生成式AI教程》，B站自行搜索。

部分截图来自原课程视频《2023李宏毅最新生成式AI教程》，B站自行搜索开幕就是"A colossal language model, showcasing unimaginable power."并以此为语料从Midjourney生成一个AI插画，看了一下个玩意被羊毛党薅到已经收费了。AI表示巨大力量之类的图片总是会加上渺小的人类做比较。图中怪兽的左手手指那里貌似有点没生成好，另外牙的细节也不够逼真。通常我们认为大模型一般性能会比较好，在20年一篇OpenAI的文章。

我们报告了 GPT-4 的开发情况，这是一个大型多模态模型，可以接受图像和文本输入，并生成文本输出。虽然在现实世界的许多场景中，GPT-4 的能力不如人类，但在各种专业和学术基准测试中，GPT-4 表现出了人类水平的性能，包括在模拟律师资格考试中以前 10% 左右的成绩通过考试。GPT-4 是一个基于变换器的模型，经过预先训练，可以预测文档中的下一个标记。训练后的调整过程提高了在事实性和遵守预期行为方面的性能。该项目的一个核心组成部分是开发基础设施和优化方法，使其在各种规模的情况下都能表现出可预测性。

部分截图来自原课程视频《2023李宏毅最新生成式AI教程》，B站自行搜索。

σt​z部分截图来自原课程视频《2023李宏毅最新生成式AI教程》，B站自行搜索。书接。

文章目录Diffusion Model回顾Diffusion Model算法TrainingInference图像生成模型的本质目标MLE vs KLVAE计算Pθ(x)P_\theta(x)Pθ​(x)Lower bound of log⁡P(x)\log P(x)logP(x)DDPM计算Pθ(x)P_\theta(x)Pθ​(x)Lower bound of log⁡P(x)\log P(x)logP(x)原理数学推导部分截图来自原课程视频《2023李宏毅最新生成式AI教程》，B站自行搜索。Dif

部分截图来自原课程视频《2023李宏毅最新生成式AI教程》，B站自行搜索。

部分截图来自原课程视频《2023李宏毅最新生成式AI教程》，B站自行搜索。官网Blog地址：https://openai.com/research/language-models-can-explain-neurons-in-language-modelsAI涉及到的神经网络模型是一个黑盒子，关于AI的可解释性一直也是研究的一个热点，现有研究有从不同目的，不同角度对这个黑盒子做了一些可解释性的解读。

本课程来自深度之眼《大模型——前沿论文带读训练营》公开课，部分截图来自课程视频。向量空间中词表示的有效估计作者：Hugo Touvron等单位：Meta AI发表时间：2023 arxivChatGPT相关工具，不过貌似好多都很麻烦，要部署，直接能用的没看见。。。什么是LLaMA：1.参数量有四档：7/13/33/65亿，最低那档据说24g显存的显卡可以跑，7亿的LLaMA用了1万亿token进行训练，最大模型则用了1.4万亿。

首发公众号：学姐带你学AI本课程来自深度之眼《大模型——前沿论文带读训练营》公开课，部分截图来自课程视频。Glm-130B：开放的双语预训练模型作者：Hugo Touvron等单位：清华大学发表时间：ICLR 2023项目地址：https://github.com/THUDM/GLM-130B这个模型有个轻量化版本GLM-6BGLM-130B是一个双语（英语和汉语）预训练的语言模型，具有1300亿个参数，使用了General Language Model (GLM)的算法。

首发公众号：学姐带你学AI本课程来自深度之眼《大模型——前沿论文带读训练营》公开课，部分截图来自课程视频。自指导：将语言模型与自生成的指令相结合作者：Yizhong Wang等单位：华盛顿大学发表时间：ACL 2023以上介绍的prompt称之为：指令。各种研究表明：对大模型进行指令微调，可使的模型对于新任务具有0-shot的卓越能力（摘要第一句）。但指令微调很大程度上依赖于人类（专家）编写的指令数据，这些些数据在数量、多样性和创造性方面都是有限的，阻碍了调整后的模型的通用性。