Я попытался импортировать таблицу в HDFS с помощью этой команды. В конце он сказал, что задание импорта не выполнено. Я видел, как люди упоминали о настройке mappred-site.xml. Конфигурация была сделана правильно, но у меня все еще есть эта ошибка. Я нашел файл с именем "мой стол" в HDFS, но данных не было.
sqoop import --connect jdbc:mysql://localhost:3306/testDb --имя пользователя Amel --пароль Amel@-1998 --table myTable;
21/07/10 16:41:54 ИНФОРМАЦИЯ mapred.LocalDistributedCacheManager: локализованный файл:/usr/local/hadoop/sqoop/sqoop-1.4.7.jar как файл:/app/hadoop/tmp/mapred/local/1625928112591/ sqoop-1.4.7.jar
21/07/10 16:41:54 ИНФОРМАЦИЯ mapred.LocalDistributedCacheManager: Создание символической ссылки: /app/hadoop/tmp/mapred/local/1625928112592/jackson-core-asl-1.9.13.jar <- /home/amel/jackson -core-asl-1.9.13.jar
21/07/10 16:41:54 ПРЕДУПРЕЖДЕНИЕ fs.FileUtil: Command 'ln -s /app/hadoop/tmp/mapred/local/1625928112592/jackson-core-asl-1.9.13.jar /home/amel/jackson -core-asl-1.9.13.jar' не удалось 1 с: ln: не удалось создать символическую ссылку '/home/amel/jackson-core-asl-1.9.13.jar': разрешение отклонено
21/07/10 16:41:54 ПРЕДУПРЕЖДЕНИЕ mapred.LocalDistributedCacheManager: не удалось создать символическую ссылку: /app/hadoop/tmp/mapred/local/1625928112592/jackson-core-asl-1.9.13.jar <- /home/amel /jackson-core-asl-1.9.13.jar
21/07/10 16:41:54 ИНФОРМАЦИЯ mapred.LocalDistributedCacheManager: локализованный файл:/usr/local/hadoop/sqoop/lib/jackson-core-asl-1.9.13.jar как файл:/app/hadoop/tmp/ mapred/local/1625928112592/jackson-core-asl-1.9.13.jar
21/07/10 16:41:54 ИНФОРМАЦИЯ mapred.LocalDistributedCacheManager: файл:/app/hadoop/tmp/mapred/local/1625928112558/commons-lang3-3.4.jar
21/07/10 16:41:54 ИНФОРМАЦИЯ mapred.LocalDistributedCacheManager: файл:/app/hadoop/tmp/mapred/local/1625928112559/mysql-connector-java-8.0.25.jar
21/07/10 16:41:54 ИНФОРМАЦИЯ mapred.LocalDistributedCacheManager: файл:/app/hadoop/tmp/mapred/local/1625928112560/opencsv-2.3.jar
21/07/10 16:41:54 ИНФОРМАЦИЯ mapred.LocalDistributedCacheManager: файл:/app/hadoop/tmp/mapred/local/1625928112561/slf4j-api-1.6.1.jar
21/07/10 16:41:54 ИНФОРМАЦИЯ mapred.LocalDistributedCacheManager: файл:/app/hadoop/tmp/mapred/local/1625928112562/snappy-java-1.1.1.6.jar
21/07/10 16:41:54 ИНФОРМАЦИЯ mapred.LocalDistributedCacheManager: файл:/app/hadoop/tmp/mapred/local/1625928112563/avro-mapred-1.8.1-hadoop2.jar
21/07/10 16:41:54 ИНФОРМАЦИЯ mapred.LocalDistributedCacheManager: файл:/app/hadoop/tmp/mapred/local/1625928112564/xz-1.5.jar
21/07/10 16:41:54 ИНФОРМАЦИЯ mapred.LocalDistributedCacheManager: файл:/app/hadoop/tmp/mapred/local/1625928112565/parquet-format-2.2.0-rc1.jar
21/07/10 16:41:54 ИНФОРМАЦИЯ mapred.LocalDistributedCacheManager: файл:/app/hadoop/tmp/mapred/local/1625928112566/kite-data-core-1.1.0.jar
21/07/10 16:41:54 ИНФОРМАЦИЯ mapred.LocalDistributedCacheManager: файл:/app/hadoop/tmp/mapred/local/1625928112567/commons-io-1.4.jar
21/07/10 16:41:54 ИНФОРМАЦИЯ mapred.LocalDistributedCacheManager: файл:/app/hadoop/tmp/mapred/local/1625928112568/ant-contrib-1.0b3.jar
21/07/10 16:41:54 ИНФОРМАЦИЯ mapred.LocalDistributedCacheManager: файл:/app/hadoop/tmp/mapred/local/1625928112569/jackson-annotations-2.3.1.jar
21/07/10 16:41:54 ИНФОРМАЦИЯ mapred.LocalDistributedCacheManager: файл:/app/hadoop/tmp/mapred/local/1625928112570/paranamer-2.7.jar
21/07/10 16:41:54 ИНФОРМАЦИЯ mapred.LocalDistributedCacheManager: файл:/app/hadoop/tmp/mapred/local/1625928112571/commons-compress-1.8.1.jar
21/07/10 16:41:54 ИНФОРМАЦИЯ mapred.LocalDistributedCacheManager: файл:/app/hadoop/tmp/mapred/local/1625928112572/kite-hadoop-compatibility-1.1.0.jar
21/07/10 16:41:54 ИНФОРМАЦИЯ mapred.LocalDistributedCacheManager: файл:/app/hadoop/tmp/mapred/local/1625928112573/commons-codec-1.4.jar
21/07/10 16:41:54 ИНФОРМАЦИЯ mapred.LocalDistributedCacheManager: файл:/app/hadoop/tmp/mapred/local/1625928112574/kite-data-mapreduce-1.1.0.jar
21/07/10 16:41:54 ИНФОРМАЦИЯ mapred.LocalDistributedCacheManager: файл:/app/hadoop/tmp/mapred/local/1625928112575/ant-eclipse-1.0-jvm1.2.jar
21/07/10 16:41:54 ИНФОРМАЦИЯ mapred.LocalDistributedCacheManager: файл:/app/hadoop/tmp/mapred/local/1625928112576/parquet-jackson-1.6.0.jar
21/07/10 16:41:54 ИНФОРМАЦИЯ mapred.LocalDistributedCacheManager: файл:/app/hadoop/tmp/mapred/local/1625928112577/commons-logging-1.1.1.jar
21/07/10 16:41:54 ИНФОРМАЦИЯ mapred.LocalDistributedCacheManager: файл:/app/hadoop/tmp/mapred/local/1625928112578/avro-1.8.1.jar
07.21.10 16:41:54 ИНФОРМАЦИЯ mapred.LocalDistributedCacheManager: файл:/app/hadoop/tmp/mapred/local/1625928112579/parquet-encoding-1.6.0.jar
21/07/10 16:41:54 ИНФОРМАЦИЯ mapred.LocalDistributedCacheManager: файл:/app/hadoop/tmp/mapred/local/1625928112580/parquet-hadoop-1.6.0.jar
21/07/10 16:41:54 ИНФОРМАЦИЯ mapred.LocalDistributedCacheManager: файл:/app/hadoop/tmp/mapred/local/1625928112581/commons-jexl-2.1.1.jar
21/07/10 16:41:54 ИНФОРМАЦИЯ mapred.LocalDistributedCacheManager: файл:/app/hadoop/tmp/mapred/local/1625928112582/jackson-core-2.3.1.jar
21/07/10 16:41:54 ИНФОРМАЦИЯ mapred.LocalDistributedCacheManager: файл:/app/hadoop/tmp/mapred/local/1625928112583/kite-data-hive-1.1.0.jar
21/07/10 16:41:54 ИНФОРМАЦИЯ mapred.LocalDistributedCacheManager: файл:/app/hadoop/tmp/mapred/local/1625928112584/parquet-common-1.6.0.jar
21/07/10 16:41:54 ИНФОРМАЦИЯ mapred.LocalDistributedCacheManager: файл:/app/hadoop/tmp/mapred/local/1625928112585/parquet-avro-1.6.0.jar
21/07/10 16:41:54 ИНФОРМАЦИЯ mapred.LocalDistributedCacheManager: файл:/app/hadoop/tmp/mapred/local/1625928112586/jackson-mapper-asl-1.9.13.jar
21/07/10 16:41:54 ИНФОРМАЦИЯ mapred.LocalDistributedCacheManager: файл:/app/hadoop/tmp/mapred/local/1625928112587/parquet-column-1.6.0.jar
21/07/10 16:41:54 ИНФОРМАЦИЯ mapred.LocalDistributedCacheManager: файл:/app/hadoop/tmp/mapred/local/1625928112588/parquet-generator-1.6.0.jar
21/07/10 16:41:54 ИНФОРМАЦИЯ mapred.LocalDistributedCacheManager: файл:/app/hadoop/tmp/mapred/local/1625928112589/jackson-databind-2.3.1.jar
21/07/10 16:41:54 ИНФОРМАЦИЯ mapred.LocalDistributedCacheManager: файл:/app/hadoop/tmp/mapred/local/1625928112590/hsqldb-1.8.0.10.jar
21/07/10 16:41:54 ИНФОРМАЦИЯ mapred.LocalDistributedCacheManager: файл:/app/hadoop/tmp/mapred/local/1625928112591/sqoop-1.4.7.jar
21/07/10 16:41:54 ИНФОРМАЦИЯ mapred.LocalDistributedCacheManager: файл:/app/hadoop/tmp/mapred/local/1625928112592/jackson-core-asl-1.9.13.jar
21/07/10 16:41:54 ИНФОРМАЦИЯ mapreduce.Job: URL-адрес для отслеживания задания: http://localhost:8080/
21/07/10 16:41:54 ИНФОРМАЦИЯ mapreduce.Job: Выполняется задание: job_local1527603516_0001
21/07/10 16:41:54 INFO mapred.LocalJobRunner: OutputCommitter установлен в конфигурации null
21/07/10 16:41:54 INFO output.FileOutputCommitter: версия алгоритма File Output Committer — 1
21/07/10 16:41:54 INFO output.FileOutputCommitter: FileOutputCommitter пропустить очистку _temporary папок в выходном каталоге: false, игнорировать ошибки очистки: false
21/07/10 16:41:54 ИНФОРМАЦИЯ mapred.LocalJobRunner: OutputCommitter is org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter
21/07/10 16:41:54 ИНФОРМАЦИЯ mapred.LocalJobRunner: Ожидание задач карты
21/07/10 16:41:54 ИНФОРМАЦИЯ mapred.LocalJobRunner: Запуск задачи: try_local1527603516_0001_m_000000_0
21/07/10 16:41:54 INFO output.FileOutputCommitter: версия алгоритма File Output Committer — 1
21/07/10 16:41:54 INFO output.FileOutputCommitter: FileOutputCommitter пропустить очистку _temporary папок в выходном каталоге: false, игнорировать ошибки очистки: false
07.21.10 16:41:55 INFO mapred.Task: Использование ResourceCalculatorProcessTree : [ ]
21/07/10 16:41:55 ИНФОРМАЦИЯ db.DBInputFormat: использование изоляции чтения зафиксированных транзакций
21/07/10 16:41:55 ИНФОРМАЦИЯ mapred.MapTask: Разделение обработки: 1=1 И 1=1
21/07/10 16:41:55 INFO mapred.LocalJobRunner: выполнение задачи сопоставления выполнено.
07.21.10 16:41:55 ПРЕДУПРЕЖДЕНИЕ mapred.LocalJobRunner: job_local1527603516_0001
java.lang.Exception: java.lang.RuntimeException: java.lang.ClassNotFoundException: класс myTable не найден
в org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:489)
в org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:549)
Вызвано: java.lang.RuntimeException: java.lang.ClassNotFoundException: класс myTable не найден
в org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2369)
в org.apache.sqoop.mapreduce.db.DBConfiguration.getInputClass(DBConfiguration.java:403)
в org.apache.sqoop.mapreduce.db.DataDrivenDBInputFormat.createDBRecordReader(DataDrivenDBInputFormat.java:270)
в org.apache.sqoop.mapreduce.db.DBInputFormat.createRecordReader(DBInputFormat.java:266)
в org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.<init>(MapTask.java:515)
в org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:758)
на org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
в org.apache.hadoop.mapred.LocalJobRunner$Job$MapTaskRunnable.run(LocalJobRunner.java:270)
в java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
в java.util.concurrent.FutureTask.run(FutureTask.java:266)
в java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
в java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
на java.lang.Thread.run(Thread.java:748)
Вызвано: java.lang.ClassNotFoundException: класс myTable не найден
в org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:2273)
в org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2367)
... еще 12
21/07/10 16:41:55 ИНФОРМАЦИЯ mapreduce.Job: Job job_local1527603516_0001 работает в режиме uber: false
21.07.10 16:41:55 ИНФО mapreduce.Job: карта 0% уменьшить 0%
21/07/10 16:41:55 ИНФОРМАЦИЯ mapreduce.Job: задание job_local1527603516_0001 не выполнено с состоянием FAILED из-за: NA
21/07/10 16:41:55 ИНФО mapreduce.Job: Счетчики: 0
21/07/10 16:41:55 ПРЕДУПРЕЖДЕНИЕ mapreduce.Counters: Группа FileSystemCounters устарела. Вместо этого используйте org.apache.hadoop.mapreduce.FileSystemCounter.
21/07/10 16:41:55 ИНФОРМАЦИЯ mapreduce.ImportJobBase: передано 0 байт за 4,3351 секунды (0 байт/сек)
21/07/10 16:41:55 ПРЕДУПРЕЖДЕНИЕ mapreduce.Counters: Группа org.apache.hadoop.mapred.Task$Counter устарела. Вместо этого используйте org.apache.hadoop.mapreduce.TaskCounter.
21/07/10 16:41:55 ИНФОРМАЦИЯ mapreduce.ImportJobBase: получено 0 записей.
21/07/10 16:41:55 ERROR tool.ImportTool: Ошибка импорта: Ошибка задания импорта!
