yarn-session模式提交flink任务步骤
Session模式
yarn-session.sh(开辟资源) + flink run(提交任务)
1.在yarn上启动一个Flink会话，node1上执行以下命令
/export/server/flink/bin/yarn-session.sh -n 2 -tm 800 -s 1 -d
说明:
申请2个CPU、1600M内存
-n 表示申请2个容器，这里指的就是多少个taskmanager
-tm 表示每个TaskManager的内存大小
-s 表示每个TaskManager的slots数量
-d 表示以后台程序方式运行
注意:
该警告不用管
WARN org.apache.hadoop.hdfs.DFSClient - Caught exception
java.lang.InterruptedException
2.查看UI界面
http://node1:8088/cluster
3.使用flink run提交任务：
/export/server/flink/bin/flink run /export/server/flink/examples/batch/WordCount.jar
运行完之后可以继续运行其他的小任务
/export/server/flink/bin/flink run /export/server/flink/examples/batch/WordCount.jar
4.通过上方的ApplicationMaster可以进入Flink的管理界面
5.关闭yarn-session：
yarn application -kill application_1599402747874_0001
6.rm -rf /tmp/.yarn-properties-root
yarn-session.sh 参数说明如下：-n,--container
-D
-d,--detached 在后台独立运行。
-jm,--jobManagerMemory
-nm,--name：在 YARN 上为一个自定义的应用设置一个名字。
-q,--query：显示 YARN 中可用的资源（内存、cpu 核数）。
-qu,--queue
-s,--slots
-tm,--taskManagerMemory
-z,--zookeeperNamespace
-id,--applicationId
作者：空凯空凯空空凯
链接：https://www.jianshu.com/p/617aef9bf531
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。