企业 网站备案 法人,营销型网站建设方案演讲ppt,抚顺营销型网站建设,兰州门户网站建设最近也在努力的想要学习些机器学习的知识#xff0c;目前正在了解各个概念及术语#xff0c;下面就把学习到的概念都列出来。 人工智能 (AI) Artificial intelligence 人工智能生成内容#xff08;AIGC#xff09; 机器学习#xff08;ML#xff09; Machine Learning …最近也在努力的想要学习些机器学习的知识目前正在了解各个概念及术语下面就把学习到的概念都列出来。 人工智能 (AI) Artificial intelligence 人工智能生成内容AIGC 机器学习ML Machine Learning
是人工智能 (AI) 的一个分支专注于使用数据和算法来模仿人类的学习方式从而随着时间的推移逐渐提高准确性
Machine Learning 共分为四类分别是监督式 、非监督式 、半监督式学习和强化学习。 深度学习DLDeep Learning
深度学习是机器学习的一个分支(最重要的分支)机器学习是人工智能的一个分支 自然语言处理NLPNatural Language Processing 语言模型LMLanguage Model 大预言模型LLMLarge Language Model 小语言模型SLMSmall Language Model 神经网络语言模型NNLNNeural Network Language Model 深度学习算法 卷积神经网络CNNConvolutional Neural Network 参考资料 CNN 循环神经网络RNN 参考资料 RNN 生成式对抗网络GAN 深度强化学习 RL Transformer架构
Transformer架构是大型语言模型背后的核心架构。它采用了自注意力机制来捕捉输入序列中的长距离依赖关系避免了传统循环神经网络RNN中存在的梯度消失问题。Transformer包括编码器和解码器两个部分其中编码器用于将输入序列编码为隐藏表示而解码器则用于根据编码器的输出生成目标序列。 自注意力机制Self-Attention
自注意力机制是Transformer架构的核心之一。它允许模型在处理每个输入位置时都可以关注到其他位置的信息并且可以动态地调整不同位置的重要性。通过计算每个位置与其他位置的相关性自注意力机制可以有效地捕捉序列中的语义关系从而提高模型在自然语言处理任务中的性能。 微调Fine-tuning
在预训练模型的基础上通过在特定任务上进行少量训练以调整模型参数以适应特定任务的需求。 泛化Generalization
模型在未见过的数据上表现良好的能力避免过拟合于训练数据。 文本转语音TTSText To Speech
将书面文字转换为可听见的语音的技术 语音转文字STTSpeech To Text 算力单位 OPS (operations per second)
每秒处理次数通常是默认对INT8整数型数据的处理次数INT8省略不写
TOPSTera Operations Per Second
GPU每秒可以执行的深度学习推理操作次数1TOPS处理器每秒钟可进行一万亿次10^12操作。
FLOPS (Floating point number operations per second)
每秒处理浮点数次数加上FL后FLOPS指的是对FP32浮点数的处理次数
TFLOPS (Tera Floating point number operations per second)
每秒处理浮点数的万亿次数
FLOPs Floating point number operations
模型参数的处理次数注意s是小写 MOPS Million Operation Per Second 一百万次10^6 兆百万
GOPS Giga Operations Per Second 十亿次 10^9 千兆十亿billionB
TOPS Tera Operations Per Second 一万亿次 10^12 兆兆
换算
1 TOPS 10^12 FLOPS
1 GOPS 10^9 FLOPS
1 MOPS 10^6 FLOPS
