spark on Yarn输出自定义日志

来源：飒榕旅游知识分享网

说明： 生产中spark程序打包发布到Yarn集群上，运行日志在ResourceManager UI，找到自己的项目，点击ID进入，点击Logs查看。java版还要点击click here。

1、scala版

依赖：

        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-api-scala_2.11</artifactId>
            <version>11.0</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.slf4j/slf4j-log4j12 -->
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>1.7.16</version>
        </dependency>

代码：

import org.apache.logging.log4j.scala.Logging
object HBaseOP extends Logging{

	def main(args: Array[String]): Unit = {
		// 日志
		logger.error("cccccccccccofscalawithcore")
		logger.error("cccccccccccofscalawithcore")
		logger.error("cccccccccccofscalawithcore")
		
		......下略......

结果：

2、java版

依赖：

        <!-- https://mvnrepository.com/artifact/org.slf4j/slf4j-log4j12 -->
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>1.7.16</version>
        </dependency>

代码：

import org.apache.log4j.Logger;
public class HbaseOp {
    public static void main(String[] args) throws IOException {
        private final Logger logger = Logger.getLogger(HbaseOp.class);
		logger.error("ccccccccccccccccccccccccccc");
        logger.error("ccccccccccccccccccccccccccc");
        logger.error("ccccccccccccccccccccccccccc");
        
        ......下略......

效果：

因篇幅问题不能全部显示，请点此查看更多更全内容

查看全文