当前位置: 首页 > news >正文

网站怎么做必须交钱吗wordpress 插件原理

网站怎么做必须交钱吗,wordpress 插件原理,网页脚本语言有哪些,上海市装修公司排名文章目录 1. 任务说明2. 解决思路3. 准备成绩文件4. 采用交互式实现5. 采用Spark项目实战概述#xff1a;使用Spark SQL实现分组排行榜任务背景任务目标技术选型实现步骤1. 准备数据2. 数据上传至HDFS3. 启动Spark Shell或创建Spark项目4. 读取数据5. 数据转换6. 创建临时视图… 文章目录 1. 任务说明2. 解决思路3. 准备成绩文件4. 采用交互式实现5. 采用Spark项目实战概述使用Spark SQL实现分组排行榜任务背景任务目标技术选型实现步骤1. 准备数据2. 数据上传至HDFS3. 启动Spark Shell或创建Spark项目4. 读取数据5. 数据转换6. 创建临时视图7. SQL查询实现分组排行榜8. 结果格式化输出9. 运行程序并验证结果 代码实现结果展示总结 1. 任务说明 2. 解决思路 3. 准备成绩文件 4. 采用交互式实现 5. 采用Spark项目 实战概述使用Spark SQL实现分组排行榜 任务背景 在教育数据分析领域经常需要对学生的成绩进行分组和排名。本实战任务通过Apache Spark的Spark SQL模块实现对学生成绩数据的分组并求出每个学生分数最高的前3个成绩。 任务目标 处理包含多个学生多条成绩记录的数据集。对每个学生的成绩进行分组并计算每个学生最高的前3个成绩。以指定的格式输出每个学生的Top3成绩。 技术选型 使用Apache Spark作为大数据处理框架。利用Spark SQL进行数据查询和操作。 实现步骤 1. 准备数据 创建本地文件grades.txt存储学生姓名和对应的成绩。 2. 数据上传至HDFS 创建HDFS目录/topn/input。将grades.txt上传至HDFS。 3. 启动Spark Shell或创建Spark项目 启动Spark Shell或创建Maven项目并配置Spark相关依赖。 4. 读取数据 使用Spark读取HDFS上的成绩文件创建DataFrame。 5. 数据转换 将单列DataFrame转换成包含name和grade的多列DataFrame。 6. 创建临时视图 基于DataFrame创建SQL临时视图以便进行SQL查询。 7. SQL查询实现分组排行榜 使用窗口函数row_number()和over()对每个学生的成绩进行降序排名并筛选出排名前3的成绩。 8. 结果格式化输出 将查询结果转换为元组然后按学生姓名分组格式化输出每个学生的Top3成绩。 9. 运行程序并验证结果 执行Scala程序查看输出的Top3成绩是否符合预期。 代码实现 以下是使用Scala编写的Spark程序示例用于实现分组排行榜功能 package net.huawei.sqlimport org.apache.spark.sql.{SparkSession, functions}object GradeTopN {def main(args: Array[String]): Unit {val spark SparkSession.builder().appName(SparkSQLGradeTopN).master(local[*]).getOrCreate()val df spark.read.text(hdfs://master:9000/topn/input/grades.txt)val gradeDF df.selectExpr(split(value, ) as (name, grade)).withColumn(grade, functions.expr(cast(grade as int))).drop(value)gradeDF.createOrReplaceTempView(t_grade)val top3 spark.sql(SELECT name, gradeFROM (SELECT name, grade,ROW_NUMBER() OVER (PARTITION BY name ORDER BY grade DESC) as rankFROM t_grade) tWHERE t.rank 3)top3.show()val result top3.collect.map(row (row.getString(0), row.getInt(1)))val grouped result.groupBy(_._1)grouped.foreach { case (name, grades) println(s$name: ${grades.map(_._2).mkString( )})}spark.stop()} }结果展示 程序运行后将输出每个学生的Top3成绩 张三丰: 94 90 87 李孟达: 88 85 82 王晓云: 98 97 93总结 本实战任务展示了如何使用Spark SQL对数据进行分组和TopN计算这是大数据领域中常见的数据处理需求。通过Spark SQL的窗口函数可以方便地实现复杂的数据分析任务。
http://www.w-s-a.com/news/896573/

相关文章:

  • 做小型企业网站多少钱衡阳市建设局网站
  • 金华专业网站建设公司网站建设空间和服务器方式
  • 自己做的网站在浏览器上显示不安全吗wordpress revolution slider
  • 西安网站建设推广优化搜索引擎营销
  • 互联网站备案管理工作方案 工信部注册深圳公司需要什么条件
  • 网站网站服务器网站建设 物流
  • 国外开发网站手机网站建设制作
  • 怎么把自己做的网站传网上青岛工程建设监理公司网站
  • 网站301跳转效果商丘网站公司
  • 公司网站建设西安网站的架构与建设
  • 食品科技学校网站模板花溪村镇建设银行网站
  • 图片渐隐 网站头部flash地方志网站建设自查报告
  • 深圳做商城网站视觉品牌网站建设
  • 永康电子商务网站建设弹幕网站怎么做
  • 百川网站企业做网站要注意哪些
  • 球迷类的网站如何做网站建设需要哪些素材
  • 请问有重庆有做网站吗电子政务系统网站建设的基本过程
  • 建设银行管方网站官网最新版cmsv6
  • 网站开发工程师需要会写什么深圳网站(建设信科网络)
  • 台州网站搭建网站建设需求计划
  • 网站app免费下载软件大全大连百度推广哪家好
  • 网站建设的面试要求iis做的网站手机怎么访问
  • 定州市住房保障和城乡建设局网站上海网站建设排行
  • 网站发帖百度收录网站改版后不收录
  • 昆明建设局网站号码网站开发 浏览器兼容性
  • 湖北专业网站建设大全室内设计联盟app下载
  • 网站建设的意义和作用江苏城市建设档案馆网站
  • 华为云速建站贴心的广州网站建设
  • 网页网站开发公司天津seo推广
  • 网站线框图用什么做共享门店新增礼品卡兑换模式