开通微网站,建设工程施工包括哪些工程,themegallery模板网,微信代运营协议一、前言
在当今的数字化时代#xff0c;人工智能和机器学习已经成为推动社会进步的重要引擎。亚马逊云科技在 2023 re:Invent 全球大会上#xff0c;宣布推出五项 Amazon SageMaker 新功能#xff1a; Amazon SageMaker HyperPod 通过为大规模分布式训练提供专用的基础架构…一、前言
在当今的数字化时代人工智能和机器学习已经成为推动社会进步的重要引擎。亚马逊云科技在 2023 re:Invent 全球大会上宣布推出五项 Amazon SageMaker 新功能 Amazon SageMaker HyperPod 通过为大规模分布式训练提供专用的基础架构将基础模型的训练时间缩短了高达40%
Amazon SageMaker Inference 通过优化加速器的使用平均降低50%的基础模型部署成本并平均缩短了20%的延迟时间Amazon SageMaker Clarify 能够让客户更轻松地根据支持负责任的 AI 的参数迅速评估和选择基础模型Amazon SageMaker Canvas 功能帮助客户通过自然语言指令加速数据准备并仅需几次点击即可使用基础模型进行模型定制宝马集团BMW、缤客Booking.com、Hugging Face、Perplexity、Salesforce、Stability AI 和先锋领航集团Vanguard等已开始使用新的 Amazon SageMaker 功能
旨在帮助客户加速构建、训练和部署大型语言模型和其他基础模型这些新功能将助力用户更快的进行模型开发和应用部署提供更强大的工具和资源。本文将对 Amazon SageMaker 进行实际体验以揭示其如何助力机器学习之旅。
二、Amazon SageMaker 概述 通过传统的方式创建机器学习模型开发人员需要从数据准备过程开始经过可视化、选择算法、设置框架、训练模型、调整数百万个可能的参数、部署模型并监视其性能这个过程往往需要重复多次非常繁琐且特别耗时。
以下是创建机器学习模型的典型工作流程 那么 Amazon SageMaker 是一项完全托管的服务它提供了一站式的机器学习开发环境从数据准备、模型训练到模型部署所有这些都可以在云端完成十分方便快捷能够带来巨大的效能提升。以下是 Amazon SageMaker 提供的几种机器学习开发环境
Amazon SageMaker Studio允许您构建、训练、调试、部署和监控您的机器学习模型。 亚马逊 SageMaker 笔记本实例允许您准备和处理数据以及从运行 Jupyter Notebook 应用程序的计算实例训练和部署机器学习模型。 Amazon SageMaker Studio LabStudio Lab 是一项免费服务可让您在基于开源的环境中访问亚马逊云科技计算资源 JupyterLab无需亚马逊云科技账户。 Amazon SageMaker Canvas使您能够使用机器学习来生成预测而无需编写代码。 Amazon SageMaker 地理空间使您能够构建、训练和部署地理空间模型。Amazon rStud ioSageMakerrStudio 是 R 的 IDE它具有支持直接执行代码的控制台、语法突出显示编辑器以及用于绘图、历史记录、调试和工作区管理的工具。 对于不想处理硬件、软件和基础架构等方面问题希望简化操作机器学习模型开发流程灵活选择算法和模型及资源以满足不同业务需求的可以放心的选择 Amazon SageMaker
三、Amazon SageMaker 在生产环境中的应用优势
在机器学习的应用过程中将模型部署到生产环境是一项关键任务。生产环境不仅要求模型具有高性能还要求模型具备高可用性和可扩展性。本文将深入探讨 Amazon SageMaker 在生产环境中应用的优势和挑战。 高性能Amazon SageMaker 可以利用亚马逊云科技的计算资源为用户提供高性能的机器学习模型训练和部署。它支持多种深度学习框架包括 TensorFlow、PyTorch 等可以满足不同类型的应用需求。高可用性通过自动扩展群集和跨多个可用性区域的数据存储Amazon SageMaker 可以保证模型的高可用性。这意味着即使在流量高峰期或服务器故障的情况下模型也能保持稳定运行。自动化Amazon SageMaker 提供了自动化的模型部署工具可以自动将训练好的模型转换为生产就绪的版本并部署到云端或边缘设备上。这大大降低了模型部署的复杂性和人工错误率。安全性Amazon SageMaker 提供了完善的安全性控制包括数据加密、访问控制和安全审计等功能可以保护用户的数据和模型的安全性。
四、Amazon SageMaker 如何把机器学习的能力赋能每一个企业角色
相信对于很多计算机领域的开发者来说利用 Amazon SageMaker 来进行机器学习的构建应该是轻车熟路那么对于非计算机领域背景的人能够使用 Amazon SageMaker 的强大功能来进行机器学习并且应用到他们的日常业务场景中呢答案是肯定的。Amazon SageMaker Canvas 使您能够使用机器学习来生成预测而无需编写任何代码。接下来我将会以公开的糖尿病患者数据集包含历史数据这个数据集包括超过15个与患者和医院结果相关的特征共计16,000行数据量使用 Amazon SageMaker Canvas 零代码来构建模型预测高危糖尿病患者是否有可能在30天内、30天后或根本不入院。接下来我来指导大家怎么操作和使用
1、在 Amazon SageMaker 控制台选择画布并点击 canvas 2、进入到 Amazon SageMaker Canvas 界面后回有一个引导提示数据集管理、建模、预测 3、选择 New model 并创建一个新的模型 4、导入数据集和预览数据集包含了15个与患者和医院结果相关的特征字段 5、系统提供了两种构建模式标准模式、快速模式。快速构建模型模式模型构建速度更快精确度则要低一些。标准模式则反之模型构建耗时更多精准度则要高一些。 6、选择我们目标字段 readmitted 重新入院字段来作为我们的预测字段
我们可以在下方的预览中查看到每一个特征值是否存在缺失值以及与目标值的相关性并根据需要进行特征值或特征组合的筛选。通过查看特征分布我们可以查看特征是否存在偏移和不均衡的问题。Amazon Canvas 可以自动识别数据中的缺失值并用相邻值进行填补。通过结合业务逻辑和与目标值的相关性我们可以初步选定特征组合。 7、与此同时我们还可以通过选择快速模式 Preview model 快速预测当前配置下模型的效果并查看每一个特征的影响力从而实现动态交互优化 我们可以看到 num-lab-precedures实验室程序次数、num-medication药物次数等对预测结果的影响是比较大的而患者性别等字段则关联较小我们在后续的模型训练当中可以将影响小的字段去掉。
8、在选定特征组合之后我们就可以开始构建模型了
SageMaker Canvas 可以自动完成数据清洗构建最多250个模型并从中选取最优的模型。我们可以选择 Quick build 或者 Standard build 两种模式训练模型Quick build 通常只需要2-15分钟而 Standard build 则需要2-4个小时但是可以提供更高准确率并能一键分享给 SageMaker Studio。实际训练过的模型精度理论上要高于我们前面预测的效果 9、模型构建结果在概览页可以看到预测的精准度为56.716%也可以看到各个特征的影响值。在得分页可以看到具体的预测准确数和错误数。 10. 利用模型进行预测
模型构建完成后就可以利用模型对单个数据进行预测了 由此我们可以通过这个模型预测来清晰地看到哪些指标对高危糖尿病患者是否有可能在30天内、30天后或根本不入院的影响比较大从而来正反馈患者在之前应该注意哪些健康事项从而避免再次入院对于医疗健康领域有很大的研究帮助。
11、感悟
以上就是 Amazon SageMaker Canvas 使用的全部操作流程了使用过程中给我留下了几个比较印象深刻的点
1. 预览数据 导入数据进行构建后数据分析师能快速地了解数据的大体质量不同特征的数据类型有无缺失值均值、众数等信息大大减少了因为数据质量问题引发的后续的问题。
2. 构建后的简单特征关联度分析 通常情况下特征的选取是基于业务经验系统也对这方面给出了快捷的特征影响分析帮助分析师能筛除不必要的特征加快模型构建速度。
3、普通用户也能自己上手使用 整体来说需要使用数据分析的客户能全靠自己摸索走完整个模型创建、分析和预测的流程实际体会一下机器学习在业务分析中的作用还是有很大帮助的也真正做到了让机器学习有效赋能企业的每个部门把机器学习的能力交到每一个企业角色手中。
五、结语
当然你在使用 Amazon SageMaker 的过程中我们也可以使用 Data Wrangler 对用户行为数据进行预处理和清洗使用 Studio 进行模型训练并利用 AutoML 功能自动化了部分模型优化过程最后将训练好的模型部署到生产环境中并利用 Amazon SageMaker 的监控功能对模型进行实时监控和管理。
总的来说Amazon SageMaker 是一款强大而全面的机器学习服务。它为用户提供了从数据准备到模型部署的一站式解决方案极大地简化了机器学习的过程。无论你是初学者还是经验丰富的开发者Amazon SageMaker 都能帮助你快速、轻松地迈入机器学习的世界。
读者福利如果大家对大模型感兴趣这套大模型学习资料一定对你有用
对于0基础小白入门 如果你是零基础小白想快速入门大模型是可以考虑的。 一方面是学习时间相对较短学习内容更全面更集中。 二方面是可以根据这些资料规划好学习计划和方向。 资源分享 大模型AGI学习包 资料目录
成长路线图学习规划配套视频教程实战LLM人工智能比赛资料AI人工智能必读书单面试题合集
《人工智能\大模型入门学习大礼包》可以扫描下方二维码免费领取 1.成长路线图学习规划
要学习一门新的技术作为新手一定要先学习成长路线图方向不对努力白费。
对于从来没有接触过网络安全的同学我们帮你准备了详细的学习成长路线图学习规划。可以说是最科学最系统的学习路线大家跟着这个大的方向学习准没问题。 2.视频教程
很多朋友都不喜欢晦涩的文字我也为大家准备了视频教程其中一共有21个章节每个章节都是当前板块的精华浓缩。 3.LLM
大家最喜欢也是最关心的LLM大语言模型 《人工智能\大模型入门学习大礼包》可以扫描下方二维码免费领取
