大数据入门到精通18--sqoop 导入关系库到hdfs中和hive表中
一，选择数据库，这里使用标准mysql sakila数据库
mysql -u root -D sakila -p
二。首先尝试把表中的数据导入到hdfs文件中，这样后续就可以使用spark来dataframe或者rdd来处理数据
sqoop import --connect "jdbc:mysql://host03.xyy:3306/sakila" --username root --password root --table rental --target-dir "SqoopImport/rental" --num-mappers 1
\\SqoopImport 目录必须有，rental 目录可以不存在
三。如果要导入到hive里面，要使用 --warehouse参数。
sqoop import --connect "jdbc:mysql://host03.xyy:3306/sakila" --username root --password root --table rental --warehouse-dir "/user/hive/warehouse/sakila.db" --num-mappers 2
\\因为之前我们已经全表导入过一次了，会提示文件已经存在的错误
hadoop fs -mv /user/hive/warehouse/sakila.db/rental /user/hive/warehouse/sakila.db/rental2
\\把原来的目录移走
sqoop import --connect "jdbc:mysql://host03.xyy:3306/sakila" --username root --password root --table rental --warehouse-dir "/user/hive/warehouse/sakila.db" --num-mappers 2
四。也可以通过sqoop命令来查看hive的元数据库。
1.查看多少个数据库
sqoop list-databases --connect "jdbc:mysql://host03.xyy:3306" --username root --password root
2.查看多少给表
sqoop list-tables --connect "jdbc:mysql://host03.xyy:3306/sakila" --username root --password root
3.sqoop执行select语句。
sqoop eval --connect "jdbc:mysql://host03.xyy:3306/sakila" --username root --password root --query "select * from rental limit 10"
五。导入hive或者hdfs中使用追加模式
sqoop import --connect "jdbc:mysql://host03.xyy:3306/sakila" --username root --password root --table rental --where "date(return_date) < '2005-07-30'" --warehouse-dir "/user/hive/warehouse/sakila.db" --append --num-mappers 2
Total MapReduce CPU Time Spent: 9 seconds 250 msec
OK
23191
Time taken: 30.055 seconds, Fetched: 1 row(s)
hive>
\\原来数据hive里面的表格数据是16044条，重新append一批数据以后百年城23191条
\\apend 也可以应用 hdfs文件中，和target-dir配合使用
六。导入hdfs和hive中使用删除模式
sqoop import --connect "jdbc:mysql://host03.xyy:3306/sakila" --username root --password root --table rental --where "date(return_date) < '2005-07-30'" --warehouse-dir "/user/hive/warehouse/sakila.db" --delete-target-dir --num-mappers 2
OK
7147
Time taken: 32.115 seconds, Fetched: 1 row(s)
hive>
\\--delete-target-dir 是删除模式导入，清空原来的数据，这个命令也可以在导入hdfs下使用
注意以上例子中都是使用了where条件的导入。
七。关于导入数据的并行数量
前面几个例子都是使用了--num-mapper 2 也就是两个并行。
实际上默认是因为原来的mysql表中有主键，如果没有主键是不能直接指定并行为2 的。因为系统不知道怎么切割数据。
如果要并行需要使用另外一个参数
在mysql中执行复制一个表格
create table customer_copy like customer;
insert into customer_copy select * from customer
sqoop import --connect "jdbc:mysql://host03.xyy:3306/sakila" --username root --password root --table customer_copy --warehouse-dir "/user/hive/warehouse/sakila.db" --delete-target-dir -split-by address_id --num-mappers 2
八。sqoop全表导入
//导入数据库mysql到hive
sqoop import-all-tables --connect "jdbc:mysql://host03.xyy:3306/sakila" --username root --password root --hive-import --hive-database sakila --m 2
如果其中部分表格没有主键 并行就有问题。需要使用一个参数 --autoreset-to-one-mapper
sqoop import-all-tables --connect "jdbc:mysql://host03.xyy:3306/sakila" --username root --password root --warehouse-dir "SqoopImport/sakila" --autoreset-to-one-mapper --m 2
这样对于没有主键的自动变成一个map去处理
九。文件格式
通过参数决定每个表存入hdfs中的格式
--as-textfile （default）
--as-avrodatafile
--as-sequencefile
--as-parquetfile
10.sqoop import参数列表
| Argument | Description |
|---|---|
--append |
Append data to an existing dataset in HDFS |
--as-avrodatafile |
Imports data to Avro Data Files |
--as-sequencefile |
Imports data to SequenceFiles |
--as-textfile |
Imports data as plain text (default) |
--as-parquetfile |
Imports data to Parquet Files |
--boundary-query |
Boundary query to use for creating splits |
--columns |
Columns to import from table |
--delete-target-dir |
Delete the import target directory if it exists |
--direct |
Use direct connector if exists for the database |
--fetch-size |
Number of entries to read from database at once. |
--inline-lob-limit |
Set the maximum size for an inline LOB |
-m,--num-mappers |
Use n map tasks to import in parallel |
-e,--query |
Import the results of statement. |
--split-by |
Column of the table used to split work units. Cannot be used with --autoreset-to-one-mapper option. |
--split-limit |
Upper Limit for each split size. This only applies to Integer and Date columns. For date or timestamp fields it is calculated in seconds. |
--autoreset-to-one-mapper |
Import should use one mapper if a table has no primary key and no split-by column is provided. Cannot be used with --split-by option. |
--table |
Table to read |
--target-dir |
HDFS destination dir |
--temporary-rootdir |
HDFS directory for temporary files created during import (overrides default "_sqoop") |
--warehouse-dir |
HDFS parent for table destination |
--where |
WHERE clause to use during import |
-z,--compress |
Enable compression |
--compression-codec |
Use Hadoop codec (default gzip) |
--null-string |
The string to be written for a null value for string columns |
--null-non-string |
The string to be written for a null value for non-string columns |