博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Sqoop的使用
阅读量:3938 次
发布时间:2019-05-23

本文共 788 字,大约阅读时间需要 2 分钟。

前言:不积跬步无以至千里,不积小流无以成江海                -----《劝学》

Sqoop导入数据是通过MapReduce作用完成的,并且是没有Reduce任务的MapReduce作业,下面讲解Sqoop的使用

1、codegen

将关系型数据库表的记录映射为一个java文件、java class类以及相关的jar包。该命令将数据库表的记录映射为一个java文件,在该java文件中对于有表的各个字段。生成的jar和class文件在Metasore功能使用时会用到。

2、create-hive-table

该命令选项前面已经用到,作用是生成与关系数据库表的表结构对应的Hive表。

3、eval

eval命令选项可以让Sqoop使用SQL语句对关系型数据库进行操作

4、export

从HDFS中将数据导出到关系数据库中

5、help

显示Sqoop的帮助信息

6、import

将数据库表的数据导入Hive中

7、import-all-tables

将数据库里的所有表导入HDFS中,每个表在HDFS中都对应一个独立的目录

8、job

该命令选项可以生产一个Sqoop的作业,但是不会立即执行,需要手动执行

9、list-databases

该命令选项可以列出关系型数据库的所有数据库名

10、list-tables

该命令选项可以列出关系型数据库的某一个数据库的所有表名

11、merge

该命令选项的作用是将HDFS上的俩份文件进行合并,在合并的同时进行数据去重

12、metastore

记录Sqoop作业的元数据信息,如果不启动Metastore实例,则默认的元数据存储目录为  ~/.sqoop;如果要更改存储目录,可以在配制文件sqoop.site.xml中进行更爱

13、version

显示Sqoop版本信息

小结

Sqoop和Hive一样,都属于Hadoop的客户端。

转载地址:http://ncuwi.baihongyu.com/

你可能感兴趣的文章
vncsever-centos&debian
查看>>
华为snmp模板
查看>>
华为wlan模板
查看>>
kvm&xen挂载镜像文件
查看>>
华为路由器配置NAT使内网用户通过外网IP地址方式访问内网服务器示例
查看>>
virt命令
查看>>
15个保障服务器安全的方法:
查看>>
在VMware Workstation 中部署VCSA6.5
查看>>
openstack&ceph
查看>>
ME60 双机热备 奇偶mac负载分担
查看>>
oracle11G安装en
查看>>
关于丢失或者损坏etc/fstab文件后
查看>>
VMware-ESXi-6.5 集成第三方驱动方法
查看>>
Oracle RAC on vSphere 安装手册v2
查看>>
V2V迁移
查看>>
BFD
查看>>
docker网络
查看>>
锐捷交换机的多对多镜像口
查看>>
Linux系统修改编码
查看>>
word文档不能显示图片的处理
查看>>