视频网站的防盗链是怎么做的,网站培训制度,手机网站图片宽度,电子商务网站的建设流程FPGA、GPU 与 CPU——AI 应用的硬件选择
现场可编程门阵列 (FPGA) 为人工智能 (AI) 应用带来许多优势。图形处理单元 (GPU) 和传统中央处理单元 (CPU) 相比如何#xff1f;
人工智能#xff08;AI#xff09;一词是指能够以类似于人类的方式做出决策的非人类机器智能。这包…FPGA、GPU 与 CPU——AI 应用的硬件选择
现场可编程门阵列 (FPGA) 为人工智能 (AI) 应用带来许多优势。图形处理单元 (GPU) 和传统中央处理单元 (CPU) 相比如何
人工智能AI一词是指能够以类似于人类的方式做出决策的非人类机器智能。这包括判断能力、沉思能力、适应能力和意图能力。
研究公司Statista预测到2025年全球人工智能市场将达到1260亿美元。到2030年人工智能将占中国GDP的26.1%、北美GDP的14.5%和阿联酋GDP的13.6%。
整个人工智能市场包括广泛的应用包括自然语言处理NLP、机器人过程自动化、机器学习和机器视觉。人工智能正在许多垂直行业迅速得到采用并正在创造下一个伟大的技术变革就像个人电脑和智能手机的出现一样。 人工智能 (AI) 及其术语的起源可以归功于研究人员 Allen Newell、Cliff Shaw 和 Herbert Simon 在 1956 年创建的逻辑理论家程序。逻辑理论家程序旨在模拟人类解决问题的能力由研究与开发兰德公司资助。逻辑理论家被认为是第一个人工智能项目于 1956 年在新罕布什尔州达特茅斯学院的达特茅斯夏季人工智能研究项目 (DSRPAI) 上提出。 虽然人工智能主要依赖于模仿人类思维的编程算法但硬件也是同样重要的一部分。用于人工智能操作的三种主要硬件解决方案是现场可编程门阵列FPGA、图形处理单元GPU和中央处理单元CPU。 每个选项都有自己的优势但也有一些局限性我们将进一步探讨。
FPGA
现场可编程门阵列 (FPGA) 是具有可编程硬件结构的集成电路类型。这与图形处理单元 (GPU) 和中央处理单元 (CPU) 的不同之处在于 FPGA 处理器内部的功能电路不是硬蚀刻的。这使得 FPGA 处理器能够根据需要进行编程和更新。这也使设计人员能够从头开始构建神经网络并构建 FPGA以最好地满足他们的需求。
FPGA 的可重新编程、可重新配置架构为不断变化的人工智能领域提供了关键优势使设计人员能够快速测试新的和更新的算法。无需开发和发布新硬件这在加快上市时间和节省成本方面提供了强大的竞争优势。 FPGA 集速度、可编程性和灵活性于一身可通过降低专用集成电路 (ASIC) 开发中固有的成本和复杂性来提高性能效率。
FPGA 提供的主要优势包括 卓越的性能和减少延迟的优势FPGA 提供低延迟和确定性延迟 (DL)。深度学习作为模型将从初始状态或给定的起始条件连续产生相同的输出。 DL 提供已知的响应时间这对于许多具有硬期限的应用程序至关重要。这使得语音识别、视频流和动作识别等实时应用程序的执行速度更快。 成本效益FPGA 在制造后可以针对不同的数据类型和功能进行重新编程与用新硬件替换应用程序相比它具有真正的价值。通过将图像处理管道等附加功能集成到同一芯片上设计人员可以将 FPGA 不仅仅用于人工智能从而降低成本并节省电路板空间。 FPGA 较长的产品生命周期可以为应用提供更高的实用性可以在几年甚至几十年内测量。这一特性使其成为工业、航空航天、国防、医疗和运输市场的理想选择。 能源效率FPGA 使设计人员能够微调硬件以满足应用需求。利用 INT8 量化等开发工具是优化 TensorFlow 和 PyTorch 等机器学习框架的成功方法。 INT8 量化还为 NVIDIA® TensorRT 和 Xilinx® DNNDK 等硬件工具链带来了良好的结果。这是因为 INT8 使用 8 位整数而不是浮点数并且使用整数数学而不是浮点数学。正确利用 INT8 可以降低内存和计算需求从而将内存和带宽使用量减少多达 75%。事实证明这对于满足要求苛刻的应用中的能效要求至关重要。 FPGA 可以并行承载多种功能甚至可以为特定功能分配芯片的各个部分从而大大提高操作和能源效率。 FPGA 独特的架构将少量分布式内存放入结构中使其更接近处理。与 GPU 设计相比这可以减少延迟更重要的是可以降低功耗。
GPU
图形处理单元 (GPU) 最初开发用于生成计算机图形、虚拟现实训练环境和视频依赖于高级计算和浮点功能来绘制几何对象、照明和颜色深度。为了让人工智能取得成功需要大量数据进行分析和学习。这需要强大的计算能力来执行人工智能算法并转移大量数据。 GPU 可以执行这些操作因为它们是专门为快速处理渲染视频和图形时使用的大量数据而设计的。它们强大的计算能力使其在机器学习和人工智能应用中广受欢迎。
GPU 非常适合并行处理即并行计算大量算术运算。这为具有快速连续重复执行的重复工作负载的应用程序提供了可观的加速。 GPU 的定价可以根据具有竞争力的解决方案进行定价平均显卡的生命周期为五年。 GPU 上的人工智能确实有其局限性。 GPU 通常无法提供与 ASIC 设计一样多的性能其中微芯片是专门为人工智能应用而设计的。 GPU 提供大量计算能力但代价是能源效率和热量。热量可能会给应用程序带来耐久性问题损害性能并限制操作环境的类型。更新AI算法和添加新功能的能力也不是FPGA处理器可比的。
中央处理器 中央处理器 (CPU) 是许多设备中使用的标准处理器。与 FPGA 和 GPU 相比CPU 的架构具有有限数量的针对顺序串行处理进行优化的内核。 Arm® 处理器可能是一个例外因为它们强大地实现了单指令多数据 (SIMD) 架构允许在多个数据点上同时运行但其性能仍然无法与 GPU 或 FPGA 相比。 有限的内核数量降低了 CPU 处理器并行处理正确运行 AI 算法所需的大量数据的效率。 FPGA 和 GPU 的架构设计具有快速同时处理多个任务所需的密集并行处理能力。 FPGA 和 GPU 处理器执行 AI 算法的速度比 CPU 快得多。这意味着人工智能应用程序或神经网络在 FPGA 或 GPU 上的学习和反应速度比 CPU 快几倍。 CPU 确实提供了一些初始定价优势。当使用有限的数据集训练小型神经网络时可以使用 CPU但代价是时间。基于 CPU 的系统比基于 FPGA 或 GPU 的系统运行速度慢得多。基于 CPU 的应用程序的另一个好处是功耗。与 GPU 配置相比CPU 将提供更好的能效。
微型机器学习 (TinyML)
TinyML 被视为人工智能发展的下一个进化阶段正在经历强劲的增长。在 FPGA、GPU 和 CPU 处理器上运行的人工智能应用程序非常强大但它们不能用于手机、无人机和可穿戴应用程序等所有环境。 随着互联设备的广泛采用需要进行本地数据分析以减少对云的依赖以实现完整的功能。 TinyML 可在微控制器上运行的边缘设备上实现低延迟、低功耗和低带宽推理模型。 消费级 CPU 的平均功耗为 65 至 85 瓦而 GPU 的平均功耗为 200 至 500 瓦。相比之下典型的微控制器消耗的功率为毫瓦或微瓦数量级这比功耗低一千倍。这种能源效率使 TinyML 设备能够依靠电池供电运行数周、数月甚至数年同时在边缘运行 ML 应用程序。 TinyML 支持 TensorFlow Lite、uTensor 和 Arm 的 CMSIS-NN 等框架将人工智能和小型互联设备结合在一起。
TinyML 的优势包括 能源效率微控制器消耗的电量非常少这为远程安装和移动设备带来了好处。 低延迟通过在边缘本地处理数据数据不需要传输到云端进行推理。这大大减少了设备延迟。 隐私数据可以存储在本地而不是存储在云服务器上。 减少带宽随着推理对云的依赖减少带宽问题也被最小化。 使用 MCU 的 TinyML 的未来对于小型边缘设备和 FPGA、GPU 或 CPU 不可行的普通应用程序来说是有希望的。
要点
AI 的三种主要硬件选择是FPGA、GPU 和 CPU。在速度和反应时间至关重要的人工智能应用中FPGA 和 GPU 在学习和反应时间方面具有优势。虽然 GPU 能够处理人工智能和神经网络所需的大量数据但其缺点包括能源效率、热考虑因素热量、耐用性以及使用新功能和人工智能算法更新应用程序的能力。 FPGA 在人工智能应用和神经网络中具有关键优势。其中包括能源效率、实用性、耐用性以及轻松更新人工智能算法的能力。
