FLINK-状态管理

1.flink中的状态

a.算子状态

b.键控状态

c.状态后端 --用户状态管理

2.算子状态（Operatior State）

　　算子状态是task级别的，就是每个task对应一个state。

　　算子状态数据结构：

• • 列表状态（List state），将状态表示为一组数据的列表；（会根据并行度的调整把之前的状态重新分组重新分配）。
  • 联合列表状态（Union list state），也将状态表示为数据的列表，它常规列表状态的区别在于，在发生故障时，或者从保存点（savepoint）启动应用程序时如何恢复（把之前的每一个状态广播到对应的每个算子中）。
  • 广播状态（Broadcast state），如果一个算子有多项任务，而它的每项任务状态又都相同，那么这种特殊情况最适合应用广播状态（把同一个状态广播给所有算子子任务）。

3.键控状态（Keyed State） --更常用

 　　键控状态数据结构：

• • 值状态（Value state），将状态表示为单个值；（直接.value获取，Set操作是.update）
  • 列表状态（List state），将状态表示为一组数据的列表（存多个状态）；（.get，.update，.add）
  • 映射状态（Map state），将状态表示为一组Key-Value对；（.get，.put ，类似HashMap）
  • 聚合状态（Reducing state & Aggregating State），将状态表示为一个用于聚合操作的列表；（add不像之前添加到列表，它是直接聚合到之前的结果中。Reduce输入输出类型是不能变的，Aggregate可得到数据类型完全不一样的结果）

　　键控状态的使用：

声明一个键控状态:
lazy val lastTemp: ValueState[Double] = getRuntimeContext.getState(new ValueStateDescriptor[Double]("lastTemp", classOf[Double]))
读取状态:
val prevTemp = lastTemp.value()
对状态赋值:
lastTemp.update(value.temperature)

4.状态后端（State Backends） -- 状态管理（存储、访问、维护和检查点）

　　状态的存储、访问以及维护，由一个可插入的组件决定，这个组件就叫做状态后端（State Backends）；

　　状态后端主要负责两件事：本地的状态管理，以及将检查点（checkpoint）状态写入远程存储。

　　状态后端的分类：

　　1.MemoryStateBackend： 一般用于开发和测试

• • 内存级的状态后端，会将键控状态作为内存中的对象进行管理，将它们存储在TaskManager的JVM堆上，而将checkpoint存储在JobManager的内存中；
  • 特点快速、低延迟，但不稳定；

　　2.FsStateBackend（文件系统状态后端）：生产环境

• • 将checkpoint存到远程的持久化文件系统（FileSystem）上，而对于本地状态，跟MemoryStateBackend一样，也会存到TaskManager的JVM堆上。
  • 同时拥有内存级的本地访问速度，和更好的容错保证；（如果是超大规模的需要保存还是无法解决，存到本地状态就可能OOM）

　　3.RocksDBStateBackend：

• • 将所有状态序列化后，存入本地的RocksDB（本地数据库硬盘空间）中存储，全部序列化存储到本地。

5. state总结

1. 是否存在当前处理的 key（current key）：operator state 是没有当前 key 的概念，而 keyedstate 的数值总是与一个 current key 对应。 2. 存储对象是否 on heap: 目前 operator state backend 仅有一种 on-heap 的实现；而 keyed statebackend 有 on-heap 和 off-heap（RocksDB）的多种实现。 3. 是否需要手动声明快照（snapshot）和恢复 (restore) 方法：operator state 需要手动实现snapshot 和 restore 方法；而 keyed state 则由 backend 自行实现，对用户透明。 4. 数据大小：一般而言，我们认为 operator state 的数据规模是比较小的；认为 keyed state 规模是相对比较大的。需要注意的是，这是一个经验判断，不是一个绝对的判断区分标准。