本文共 877 字，大约阅读时间需要 2 分钟。

job提交任务源码流程

waitForCompletion()submit();// 1建立连接	connect();			// 1）创建提交Job的代理		new Cluster(getConfiguration());			// （1）判断是本地yarn还是远程			initialize(jobTrackAddr, conf); // 2 提交jobsubmitter.submitJobInternal(Job.this, cluster)	// 1）创建给集群提交数据的Stag路径	Path jobStagingArea = JobSubmissionFiles.getStagingDir(cluster, conf);	// 2）获取jobid ，并创建Job路径	JobID jobId = submitClient.getNewJobID();	// 3）拷贝jar包到集群copyAndConfigureFiles(job, submitJobDir);		rUploader.uploadFiles(job, jobSubmitDir);// 4）计算切片，生成切片规划文件writeSplits(job, submitJobDir);		maps = writeNewSplits(job, jobSubmitDir);		input.getSplits(job);// 5）向Stag路径写XML配置文件writeConf(conf, submitJobFile);	conf.writeXml(out);// 6）提交Job,返回提交状态status = submitClient.submitJob(jobId, submitJobDir.toString(), job.getCredentials());

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SIwXAuL3-1603113681436)(https://s1.ax1x.com/2020/10/13/0h2TET.png)]

转载地址：http://ficki.baihongyu.com/