郑州网站建设推广优化,房地产估价师,南通南通网站优化,百度指数的数据来源目录
一.安装
二.导入
1.全量导入
一.MySQL导入HDFS 二.MySQL导入Hive 2.增量导入
一.过滤导入hdfs/hive
二.导出 一.安装
1.下载地址#xff1a;sqoop下载地址 2.解压
tar -zxvf ./sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C ../module/
3.改名和配置归属权限
#改名…目录
一.安装
二.导入
1.全量导入
一.MySQL导入HDFS 二.MySQL导入Hive 2.增量导入
一.过滤导入hdfs/hive
二.导出 一.安装
1.下载地址sqoop下载地址 2.解压
tar -zxvf ./sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C ../module/
3.改名和配置归属权限
#改名
mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop
#设置归属用户名和用户组如果是root权限登入可以无需配置
chown -R root:root sqoop4.配置环境变量 vim /etc/profile 最后刷新配置 source /etc/profile
验证是否安装好sqoop
sqoop list-databases -connect jdbc:mysql://bigdata1:3306 --username root --password 123456 二.导入
1.全量导入
一.MySQL导入HDFS
sqoop import #导入
--connect jdbc:mysql://bigdata1:3306/ds_db01 \ #配置连接url地址
--username root \ #用户名
--password 123456 \ #密码
--delete-target-dir \ #如果该地址存在则删除
--target-dir /mydata2 \ #hdfs目标路径
--fields-terminated-by \t \ #配置它的列分隔符
--table brand_info \ #mysql表名
--m 1 #配置map数为1因为整个过程中只用了map没有reduce 查看是否导入成功 二.MySQL导入Hive 注意 --hive-import 的配置项要在 --hive-database 之前 sqoop import \ #导入
--connect jdbc:mysql://bigdata1:3306/ds_db01 \ #url和mysql库名
--username root \ #用户名
--password 123456 \ #密码
--table supplier_info \ #数据库表名
--hive-import \ #导入hive--m 1 \ #map并行度
--hive-database sqoop_db; #hive目标数据库查看hive中是否导入成功 2.增量导入 将满足条件的数据抽取到hdfs或hive,需要用到配置参数为 --where 表达式 一.过滤导入hdfs/hive
1.1原表数据 1.2增量导入命令 注意 where一般位于--table sqoop import -connect jdbc:mysql://bigdata1:3306/gehui \
--username root \
--password 123456 \
--where tel999999 \ #设置增量条件
--table user \
--target-dir /mydata4 \
--fields-terminated-by \t \
--m 1 1.3增量导入结果 二.导出
hdfs导出到mysql中
sqoop export \
--connect jdbc:mysql:///gehui:3306?characterEncodingUTF-8 \
--username root \
--password 123456\
--table test1 \
--m 1 \
--export-dir /root/sort-result #需要导出的目录 --export-dir : 参数指定要从中导出数据的HDFS目录。
