hadoop作业查询与关闭

hadoop作业的查询和关闭

  • hadoop version < 2.3.0

查看正在运行的 Hadoop 任务:

hadoop job -list

关闭Hadoop 任务进程:

hadoop job -kill $jobId

组合以上两条命令就可以实现 kill 掉指定用户的 job

1
2
3
4
for i in `hadoop job -list | grep -w username| awk '{print $1}' | grep job_`; 
do
hadoop job -kill $i;
done

username 就是你希望关闭 Hadoop 任务的用户

  • hadoop version >= 2.3.0

查看正在运行的 Hadoop 任务:

yarn application -list

关闭 Hadoop 任务进程:

yarn application -kill $ApplicationId


本博客所有文章除特别声明外,均采用 CC BY-SA 4.0 协议 ,转载请注明出处!