昆明工程建设信息网站,wordpress 添加样式表,做计划网站,摄影app#x1f4cb; 博主简介 #x1f496; 作者简介#xff1a;大家好#xff0c;我是wux_labs。#x1f61c; 热衷于各种主流技术#xff0c;热爱数据科学、机器学习、云计算、人工智能。 通过了TiDB数据库专员#xff08;PCTA#xff09;、TiDB数据库专家#xff08;PCTP… 博主简介 作者简介大家好我是wux_labs。 热衷于各种主流技术热爱数据科学、机器学习、云计算、人工智能。 通过了TiDB数据库专员PCTA、TiDB数据库专家PCTP、TiDB数据库认证SQL开发专家PCSD认证。 通过了微软Azure开发人员、Azure数据工程师、Azure解决方案架构师专家认证。 对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究对Databricks的使用有丰富的经验。 个人主页wux_labs如果您对我还算满意请关注一下吧~ 个人社区数据科学社区如果您是数据科学爱好者一起来交流吧~ 请支持我欢迎大家 点赞收藏⭐️吐槽您的支持是我持续创作的动力~ 《PySpark大数据分析实战》-14.云服务模式Databricks介绍基本概念 《PySpark大数据分析实战》-14.云服务模式Databricks介绍基本概念前言Databricks基本概念工作空间Workspaces工作区Workspace笔记本Notebook集群Cluster文件系统DBFS作业Job 结束语 《PySpark大数据分析实战》-14.云服务模式Databricks介绍基本概念
前言
大家好今天为大家分享的是《PySpark大数据分析实战》第2章第5节的内容云服务模式Databricks介绍基本概念。 图书在当当、京东、机械工业出版社以及各大书店有售 除了自己部署Spark的集群环境Spark的商业母公司还提供了基于云环境的Spark环境Databricks。Databricks是软件即服务SaaS环境基于Spark的统一数据分析平台用于数据工程、数据科学和机器学习。Databricks提供了一组统一的工具用于大规模构建、部署、共享和维护企业级数据解决方案。Databricks的主界面如图所示。 Databricks基本概念
在使用Databricks之前需要对Databricks中的一些基本概念有所了解。
工作空间Workspaces
Workspaces称为工作区是一个基于角色的交互式环境UI界面可以管理Databricks的Cluster、Notebook、Job等为了跟Workspace进行区分本书将Workspaces称为工作空间。Databricks的主界面就是一个工作空间不同角色的工作空间可以通过主界面左侧菜单栏顶部菜单进行切换。
工作区Workspace
Workspace也称工作区用于访问所有Databricks资产的环境可以管理Notebook、Library并将这些对象按文件夹的形式进行组织同时工作区还提供对数据对象和计算资源的访问。工作区对应于主界面左侧菜单栏上的Workspace菜单。
笔记本Notebook
Notebook即笔记本是一个基于Web的笔记本包含可执行代码、笔记、图片资源等可以在笔记本中编写Python、R、Scala、SQL等代码执行代码并获得输出结果可以对结果进行可视化处理。笔记本可以在工作区中创建也可以将已有笔记本托管于Git仓库通过Repos菜单将Git仓库添加到Databricks实现笔记本的版本控制管理。
集群Cluster
Cluster即集群是Databricks的计算资源进行数据集成、数据分析、机器学习需要计算资源必须先创建集群。Databricks的集群是Spark集群支持单节点、多节点集群。集群可以通过主界面左侧菜单栏中的Compute菜单进行创建。
文件系统DBFS
Databricks文件系统DBFS是一个装载到Databricks工作区的分布式文件系统可以在Databricks群集上使用。在Databricks中集群提供计算资源包括CPU、内存、网络等DBFS则提供数据和文件的存储、读写能力是Databricks中一个非常重要基础设施这与HDFS类似。与HDFS不同的是DBFS是针对可缩放对象存储的一种抽象可将类Unix文件系统调用映射到本机云存储API调用这让访问DBFS上的文件就像访问本地文件一样简单。
作业Job
Job称为作业是Databricks中运行代码的一种方式。作业与笔记本不同笔记本是Databricks中运行交互式代码的一种方式而作业是Databricks中运行非交互式代码的一种方式。作业中可以运行笔记本、Python脚本、Jar包等支持定时启动运行、持续运行。
结束语
好了感谢大家的关注今天就分享到这里了更多详细内容请阅读原书或持续关注专栏。
