Spark 中用 Scala 和 java 开发有什么区别

Question

如题所述

Answer 1

就个人体会来说，Scala相对于Java的优势是巨大的。熟悉Scala之后再看Java代码，有种读汇编的感觉……

如果仅仅是写Spark应用，并非一定要学Scala，可以直接用Spark的Java API或Python API。但因为语言上的差异，用Java开发Spark应用要罗嗦许多。好在带lambda的Java 8出来之后有所改善。

在Spark应用开发上，学Scala主要好处有二：

开发效率更高，代码更精简；
使用Spark过程中出现异常情况，在排查时如果对Spark源码比较熟悉，可以事半功倍。

Answer 2

每个Flink应用程序都需要一个执行环境。流应用程序需要使StreamExecutionEnvironment。在应用程序中进行的DataStream API调用会生成一个作业图，该作业图附加到 StreamExecutionEnvironment。