Flink on yarn
一: 配置:
1.配置yarn-site.xml
<property>
<name>yarn.resourcemanager.am.max-attempts</name>
<value>4</value>
</property>
2.配置flink的flink-conf.yaml
high-availability: zookeeper
high-availability.storageDir: hdfs:///flink/ha/
high-availability.zookeeper.quorum: localhost:2181,diagbot02:2181
yarn.application-attempts:4
二:启动
启动yarn-session命令: ./yarn-session.sh -n 2 -s 1 -jm 3072 -tm 6144 -nm test -d
启动yarn-session的参数解释如下
-n(--container) | taskmanager的数量 |
-s(--slots)| 用启动应用所需的slot数量/ -s 的值向上取整，有时可以多一些taskmanager，做冗余 每个taskmanager的slot数量，默认一个slot一个core，默认每个taskmanager的slot的个数为1 | 6～10
-jm | jobmanager的内存（单位MB)| 3072
-tm | 每个taskmanager的内存（单位MB)| 根据core 与内存的比例来设置，-s的值＊ （core与内存的比）来算
-nm | yarn 的appName(现在yarn的ui上的名字)｜
-d |后台执行|
启动flink命令: ./flink -run file:///home/yarn/test.jar -a 1 -p 12 -yid appId -nm flink-test -d
启动应用参数解释如下
-j | 运行flink 应用的jar所在的目录
-a | 运行flink 应用的主方法的参数
-p | 运行flink应用的并行度
-c | 运行flink应用的主类, 可以通过在打包设置主类
-nm | flink 应用名字，在flink-ui 上面展示
-d | 后台执行
--fromsavepoint| flink 应用启动的状态恢复点
1、love
2、linux 内存管理
3、HTML与用户的交互 表单
4、无题国庆
5、H3C 路由器SSH服务配置命令（续）