如今高效智能的AI大模型，正如雨后春笋般破土而出，人们对于AI大模型的学习与探索之路，也愈发宽阔平坦。虽然AI工具已不再陌生，但其中关于AI Prompt、大模型的吞吐量、蒸馏与量化、私有化知识库等这些常见的专业术语，你又了解多少？这篇文章将帮助你快速掌握AI行业常见的核心概念。
1、大模型型号
每个大模型都有其独特的设计和功能，有些大模型可能在语言理解方面表现出色，有些则可能在生成图像或解决特定领域问题上更有优势，就像不同品牌的汽车。
同一个大模型也会有不同的版本型号，例如DeepSeek R1、DeepSeek V3等，不同的版本号代表着全面的进化，例如更大的参数、更快的速度、更长的上下文、或者多模态之类的新功能。
很多模型还针对不同任务做了微调，这些在名字上同样有区分，比如DeepSeek Coder V2、DeepSeek Math等。
通常情况对话型就加chat，写代码就加coder，算数学就加math，做视觉就加vision等等。
2、模型参数
模型参数的数量通常非常庞大，比如7B、14B、32B等（7B=7Billion=7000000000个参数），一个拥有数十亿甚至数万亿参数的大模型，就像一个拥有超级多“脑细胞”的超级大脑。这些参数决定了模型如何理解输入的信息，并生成相应的输出。
模型参数越大，通常能够学习到更复杂的模式和规律。
参数越大，价格越贵，所以需要根据处理任务的复杂度，合理选择不同“尺寸”的模型。
7B 模型
适用场景：适用于一些对实时性要求较高，且任务相对简单的场景。
例如简单的文本分类任务，如将新闻文章快速分类为政治、经济、娱乐等类别；基础的智能客服场景，能够回答一些常见的、较为固定的问题，如“产品的价格是多少”“如何注册账号”等。
14B 模型
适用场景：可以处理稍微复杂一点的自然语言处理任务。
例如，能够进行简单的文本摘要生成，提取文章的关键信息；在智能客服中，可以理解一些稍微复杂的用户问题，如“我之前购买的产品出现了故障，该如何解决”，并给出相应的解决方案。
32B 模型
适用场景：生成质量较高的文本，比如吸引人的广告文案、社交媒体推文等内容，提供一些不错的创意和内容生成。在知识问答系统中，能够回答一些涉及一定领域知识的问题，如 “人工智能的发展历程是怎样的”。
70B 模型
适用场景：具备更强的语言理解和生成能力，适用于复杂的对话系统，能够进行多轮对话，理解对话中的上下文信息，并给出合理的回应；在文本生成方面，能够生成更连贯、更有逻辑的长篇内容，如小说、技术文档等。
例如作为智能写作助手，帮助员工撰写报告、方案等文档，提供思路和内容建议。能够处理较为复杂的文字工作，理解领导和同事的意图，并提供高质量的协助。
671B 模型
适用场景：通常具有非常强大的知识储备和语言处理能力，能够处理极其复杂的任务。
例如，在科学研究领域，能够帮助科研人员理解和分析复杂的学术文献，进行知识图谱构建；在金融领域，能够对大量的金融数据进行深度挖掘和分析，进行风险评估和投资预测。
通过对海量的数据和信息进行分析，提供有价值的洞察和建议，能够为企业的重大决策提供有力的支持。
3、上下文长度
你可以把上下文长度想象成一个“记忆窗口”。
当大模型处理文本时，它会考虑一定长度的前文内容来理解当前的文本信息，这个长度就是上下文长度。一般简单且短的问题用低上下文，而严谨且文本量大的用高上下文。
上下文长度通常有：
2K (2048): 标准长度，适合一般对话
4K (4096): 中等长度，可处理较长文档
8K (8192): 较长上下文，适合长文分析
32K : 超长上下文，可处理书籍内容
如果上下文长度很短，模型就像一个记忆力不太好的人，可能会忘记之前的信息，导致回答不准确。
4、Token
Token可以理解为文本的“积木块”。
当大模型处理文本时，它会把文本分成一个个小的单元，这些小单元就是Token。比如句子“我喜欢吃苹果”，可能会被分成“我”“喜欢”“吃”“苹果”这几个Token。
模型通过对这些Token的理解和处理来分析整个文本的含义。
每个Token都有其对应的编号或向量表示，就像每个积木块都有自己的独特标识一样，模型就是通过操作这些“积木块”来进行语言处理。
5、蒸馏
蒸馏可以想象成从一个“知识渊博的老师”（大模型）那里提取精华，传授给一个“学生”（小模型）的过程。大模型通常包含了大量的知识和信息，但它可能比较复杂，运行起来比较慢。
蒸馏是通过一种特殊的训练方法，让小模型学习大模型的行为和知识，从而变得更加聪明。就像学生向老师学习一样，小模型通过蒸馏可以在保持一定性能的同时，变得更加简洁和高效，能够更快地处理任务。
6、量化
模型参数通常是非常精确的数字，占用大量的存储空间和计算资源。量化就是把这些精确的数字用更简单、更紧凑的方式表示，比如把一个32位的浮点数变成8位的整数。
就像一幅彩色画(大模型)，但你想用更少的颜色画出类似的作品(小一点的模型)。
比如，从256种颜色减少到16种颜色，这样可以节省颜料(计算资源)。虽然可能会损失一点点精度，但模型的运行速度会大幅提高，同时也能节省很多存储空间，让模型能够在更有限的设备上运行。
7、知识库与RAG
知识库就像是一个巨大的图书馆，里面存放着各种各样的知识和信息，比如历史事件、科学知识、文化传统等等。
而RAG（检索增强生成）则是一种从这个“图书馆”里快速找到有用信息，然后把这些信息提供给大模型，让大模型能够根据这些准确的知识来生成更准确、更有依据的回答。
8、MOE（混合专家模型）
DeepSeek采用MoE（Mixture of Experts，混合专家）架构，训练多个专家模块，每个专家针对特定的数据分布或任务进行优化。
好比当模型接收到一个任务时，它会根据任务的特点自动选择最合适的“专家”来处理，或者综合多个“专家”的意见来给出最终的结果。就像在一个团队中，不同的成员有不同的专业技能，遇到问题时会由最擅长的人来解决，或者大家一起商量出一个最佳方案。
确保每个专家处理其最擅长的数据类型或任务方面，从而实现更高效、准确的预测。
9、Prompt
Prompt可以理解为给大模型的“提示语”或“指令”。当你想要让大模型做某件事情或回答某个问题时，你输入的那段文字就是Prompt。
Prompt的设计非常重要，因为它会直接影响大模型的输出结果。
10、Agent
Agent可以根据大模型的能力和一些预设的规则，自主地完成一些任务，比如与用户进行对话、处理信息、执行特定的操作等。
Agent就像是一个有自己思维和行动能力的小机器人，它能够理解用户的需求，然后利用大模型的知识和自身的功能来帮助用户解决问题，为用户提供服务。
本文转自：万云智算
免责声明：本文为转载，非本网原创内容，不代表本网观点。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容。
如有疑问请发送邮件至：bangqikeconnect@gmail.com