办公用品网站模板游戏网站交换友情链接

办公用品网站模板,游戏网站交换友情链接,菜鸟零基础如何自学编程,专业网站的建设设行吗大型语言模型#xff08;入门篇#xff09;A一、大型语言模型的定义二、大型语言模型的工作原理1. 词语表示#xff1a;分词和嵌入1.1 将分本分解为分词1.2 从分词到嵌入#xff1a;捕捉含义2. 预测下一个词3. 训练数据规模的作用4. 模型参数5. Transformer架构简介5.1 核心…大型语言模型入门篇A一、大型语言模型的定义二、大型语言模型的工作原理1. 词语表示分词和嵌入1.1 将分本分解为分词1.2 从分词到嵌入捕捉含义2. 预测下一个词3. 训练数据规模的作用4. 模型参数5. Transformer架构简介5.1 核心思想注意力机制5.2 结构简化视图5.3 位置信息一、大型语言模型的定义大型语言模型通常缩写为LLMs是人工智能AI和自然语言处理NLP的一部分。LLM本质上是一种AI模型专门用于理解、生成和与人类语言文本交互可以将其视为一个经过训练、能处理单词、句子和段落的复杂系统。“大型语言模型”名称拆解模型在AI和机器学习中“模型”是一个经过数据训练的系统用于识别模式或进行预测。它不是一个物理实体而是一个复杂的数学和计算结构。语言表明模型的处理对象。它专门处理人类语言——阅读、处理和生成。这使其与训练于图像、声音或数字数据的AI模型有所不同。大型用于训练的文本数据量之大LLMs在庞大的数据集上进行训练这些数据通常包含互联网上可用的大部分文本、数字化书籍、文章及其他来源。这种广泛的接触使它们能够学到文本中复杂的模式、语法、事实甚至推理方式。模型拥有的参数数量参数使模型在训练过程中调整的内部变量或“旋钮”。它们存储从数据中学到的模式。简单来说LLM接收输入文本“提示词”并根据其训练中学到统计模式生成输出文本。其基本运作方式通常是根据前面的一串文本预测最有可能的下一个词或词的一部分。通过反复预测下一个元素它可以生成完整的句子、段落或文档。二、大型语言模型的工作原理1. 词语表示分词和嵌入计算机不像人类那样理解词语和句子它们处理的是数字。让机器处理语言主要包括两个步骤将文本分解为易于处理的小块称作分词然后将这些分词表示为数字列表称作嵌入。1.1 将分本分解为分词假设你有一个句子“I love you!”LLM通常不会直接处理整个句子甚至不是逐词处理而是将文本分解成更小的单位称作分词。一个分词可能是一个完整的词、一个词的一部分子词甚至只是标点符号。将文本分解为分词的过程称为分词处理。特定文本如何分词取决于所使用的分词器它通常与LLM本身一同选择和训练。举例Large Language Models可能会变成 [“Large”, “Language”, “Models”]三个分词tokenization可能会变成 [“token”, “ization”]两个分词捕获词根和后缀isn’t可能会变成 [“is”, “n’t”,]两个分词 U.S.A. 可能会变成 [ U, “.”, “S”, “.”, “A”, “.”] 六个分词包括空格和标点为什么使用子词将文本分词为子词有助于模型处理不熟悉的词语或变体。如果模型知道“token”和“ization”即使它在训练期间没有经常看到“tokenization”这个词它也可能理解。也有助于控制唯一分词的总量使其易于管理。一旦分词完成模型词汇表中的每个唯一分词都会被分配一个特定的整数ID。1.2 从分词到嵌入捕捉含义这些整数ID告诉模型它正在识别哪个分词但它们本身并没有捕捉到分词之间的含义或关联。嵌入是一个由数字组成的密集列表也称为向量它表示一个分词。每个分词不再是单一的ID而是被映射到一个可能有数百或数千个维度数字的向量。这些嵌入向量不是手动分配的是模型在大量的训练过程中学到的。模型会调整这些向量中的值使得在相似语境中使用的分词最终具有相似的嵌入向量。2. 预测下一个词大型语言模型在生成文本时其核心是执行一个高度复杂的预测任务。其基本理念是预测序列中的下一个词元通常对应一个词或词的一部分。给定一系列前序词元通常称为上下文模型会计算其整个词汇表中下一个词元应该是什么样的概率分布。输入上下文模型接收一个初始的词元序列可以是提供的提示也可以是模型迄今为止生成的文本例如上下文可能代表The cat sat on the这些词元概率计算基于此上下文模型分析它在训练过程中学习到的模式。然后它会计算其词汇表中每个可能的词元在下一个位置出现的概率可能会得出A.“mat” 的概率是0.6B.“roof” 的概率是0.2C.chair 的概率是0.1D.“computer” 的概率是0.0001…依此类推词元选择模型需要选择下一个词元。最简单的策略通常是贪婪解码即直接选择概率最高的词元示例中是mat。更复杂的策略可能涉及从概率最高的前几个词元中进行采样以引入多样性但其核心概念仍基于这些计算出的概率。更新上下文选定的词元被附加到序列中。上下文现在变成“The cat sat on the mat”。重复此过程重复进行。模型接收新的、更长的上下文并预测其后的下一个词元计算概率选择词元然后再次附加。这种顺序的、概率驱动的预测机制是大型语言模型生成连贯且与上下文相关的文本背后的基本运作原理。预测的质量和复杂程度在很大程度上取决于模型的架构、训练数据集的大小机器参数数量。3. 训练数据规模的作用大型语言模型的核心任务是预测下一个词或词元这依赖于识别语言中的模式模型看到的例子越多识别这些模式的能力就越强。训练数据量、模型参数数量以及模型的整体表现之间存在密切关联。参数越多的模型通常有能力学习更复杂的模式但它们需要相应更大的数据集来有效训练而非简单地记忆输入。给一个大型模型相对小的数据集可能不会产生好的结果。反之给一个小模型提供海量数据集可能效率不高因为模型缺乏捕获数据中所有细节的能力。数量固然重要但训练数据的质量也必不可少。如果训练数据充满错误、偏见或有害内容模型就会学习并复制这些不理想的模式。4. 模型参数可以将参数看作是大型语言模型内部可调节的“旋钮”或配置设定。在训练期间模型会处理输入文本并不断调整这些参数以更好地完成其核心任务通常是预测序列中的下一个词。参数数量越多通常能让模型具有更高的能力来记忆信息和学习训练数据中的复杂模式。训练阶段完成后这些参数通常会被“冻结”这意味着它们的值是固定的。当你向一个训练好的大型语言模型提供提示时你的输入文本会通过模型的各个层进行处理。每一步进行的计算都取决于输入数据和这些已学习参数的固定值。5. Transformer架构简介5.1 核心思想注意力机制Transformer架构引入了一种强大的机制称为注意力机制具体来说是自注意力机制。模型不再严格地一个接一个地处理词语注意力机制让模型在考虑任何单个词时能衡量输入序列中所有词的重要性。例如当你读到句子“The cat, which chased the mouse, quickly climbed up the tall tree”那只追逐老鼠的猫迅速爬上了高高的树为了理解“up”这个词你的大脑自然会不仅关注它前面的“climbed”还会把它与“cat”、“tree”联系起来以获得完整信息。注意力机制让模型能够以计算方式进行类似操作。它学习识别输入中哪些其他词语为理解当前词或预测下一个词提供最有用的上下文。这使得Transformer能够有效处理长距离依赖关系——指文本中相距较远的词语之间的关系。5.2 结构简化视图尽管Transformer架构包含多个组成部分但可以将其简化为两个主要部分编码器Encoder这部分读取输入文本。它利用自注意力机制同时处理所有输入词并为每个词构建丰富的表示嵌入这些表示融入了整个输入序列的上下文。解码器Decoder这部分一次生成一个词元作为输出文本。它也使用自注意力机制来考虑已生成的词语。更重要的是它也关注编码器生成的上下文表示。这确保了输出与输入提示相关并在生成更多文本时保持连贯性。5.3 位置信息你可能会有个疑问如果模型使用注意力机制同时查看所有词语它是如何得知词语的原始顺序呢这通过位置编码来处理。本质上表示每个词位置的额外信息被添加到词的嵌入中。这确保了模型拥有序列顺序信息即使在使用注意力机制时会衡量词语的重要性而不管其位置。