博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hive执行job时return code 2排查
阅读量:4298 次
发布时间:2019-05-27

本文共 1340 字,大约阅读时间需要 4 分钟。

Hive执行job时return code 2排查

2017年10月17日 14:50:56  阅读数:2570 标签:  更多

个人分类: 

版权声明:本文为starfd原创文章,转载请标明出处。 https://blog.csdn.net/starfd/article/details/78260400

项目测试时,在执行Insert语句时,突然报return code 2错误导致job停止,头一次碰上这种不明觉厉的问题,有问题上百度、bing,首先查到的是,看了下,目前还是在hive shell模式下执行,应该不是这问题,而且将insert部分去除,只保留select部分还是报return code 2错误,继续查问题,查到,看下来感觉可以按这个思路去查问题,首先是hive shell执行时的异常信息

红框部分为异常时的job编号,在/tmp/用户名/目录下查看hive.XXX.log

hive.log为当日的hive执行日志,通过notepad++打开,按job编号进行搜索,可以搜索到多个记录,对比记录,可以看到如下异常

job编号后面紧跟着异常信息,是因为数据问题导致,到此就排查出了究竟是什么问题导致了return code 2

 

 

 

Hive 插入数据时遇到Return Code 2问题的解决

2016年04月15日 08:20:06  阅读数:7115 标签: 更多

个人分类: 

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/sparkexpert/article/details/51158575

正常情况下,估计很难遇到这个问题。

 

但是也刚好都碰上了这样的问题。于是把解决过程记录一下。

 

Hive运行成功之后,当输入select count(*) from XX或者插入数据时,居然碰到BUG。

 

2016-04-14 12:31:56,199 Stage-1 map = 0%,  reduce = 0%

Ended Job = job_1460599682683_0005 with errors

Error during job, obtaining debugging information...

FAILED: Execution Error, return code 2 fromorg.apache.hadoop.hive.ql.exec.mr.MapRedTask

MapReduce Jobs Launched:

Stage-Stage-1:  HDFS Read: 0HDFS Write: 0 FAIL

Total MapReduce CPU Time Spent: 0 msec

 

这个问题只是HIVE单方面的问题,而用Hadoop  Job日志查看,却是YarnException: Unauthorized request to start container的问题。

 

未经授权的请求,怎么会有这样的问题呢。经过网上未解,说是各个节点的时间未同步的问题。

 

简直是晕,不知道谁刚好把某个节点时间修改了。才导致了这样的坑,居然都踩上了。于是把时间进行修改,进行系统时间同步,果然没有再次出现。

 

 

你可能感兴趣的文章
spring boot jpa 实现拦截器
查看>>
jenkins + maven+ gitlab 自动化部署
查看>>
Pull Request流程
查看>>
Lambda 表达式
查看>>
函数式数据处理(一)--流
查看>>
java 流使用
查看>>
java 用流收集数据
查看>>
java并行流
查看>>
CompletableFuture 组合式异步编程
查看>>
mysql查询某一个字段是否包含中文字符
查看>>
Java中equals和==的区别
查看>>
JVM内存管理及GC机制
查看>>
Java:按值传递还是按引用传递详细解说
查看>>
全面理解Java内存模型
查看>>
Java中Synchronized的用法
查看>>
阻塞队列
查看>>
linux的基础知识
查看>>
接口技术原理
查看>>
五大串口的基本原理
查看>>
PCB设计技巧与注意事项
查看>>