上QQ阅读APP看书,第一时间看更新
5.4 总结
DataStream类型系统分为物理类型和逻辑类型,在Flink UDF中需要使用类型推断将用户代码中的类型转换为DataStream的逻辑类型,在运行时刻需要使用逻辑类型信息来实现数据的序列化和反序列化。DataStream的类型系统对SQL的类型系统的支持不够完善,所以Blink SQL引入了新的类型系统,执行层面使用DataStream类型系统。
对于Flink类型系统没有覆盖的类型,使用Kryo来实现序列化。对于Flink类型系统支持的类型,则会使用类型描述信息,将数据序列化为二进制数据和从二进制反序列化成对象。