Apache Spark 是一種與 Hadoop 相似的開源集群計(jì)算環(huán)境，但是兩者之間還存在一些不同之處，這些有用的不同之處使 Spark 在某些工作負(fù)載方面表現(xiàn)得更加優(yōu)越，換句話說，Spark 啟用了內(nèi)存分布數(shù)據(jù)集，除了能夠提供交互式查詢外，它還可以優(yōu)化迭代工作負(fù)載。

2.4.4 版本包含穩(wěn)定性修復(fù)的維護(hù)版本，內(nèi)容如下：

• 修復(fù)十進(jìn)制 toScalaBigInt/toJavaBigInteger 表示不適合長的十進(jìn)制的問題
• 修復(fù) PushProjectionThroughUnion 可空性問題
• 修復(fù) From_Avro 在本地模式下不修改其他行中的變量
• Spark 2.4.3 當(dāng) HiveUDAF 遇到 0 行時(shí)意外拋出 NPE。與其他版本一樣，修復(fù)后返回 NULL
• 修復(fù) PySparkSocket 服務(wù)器與 JVM 連接線程的同步
• KafkaOffsetRangeCalculator.getRange 可能會減少偏移量
• 緩存一個不確定的 RDD 會導(dǎo)致在重新運(yùn)行階段時(shí)出現(xiàn)不正確的結(jié)果
• Spark 2.2 引入了 LinearSVCModel.setWeightCol 方法，這種方法是不正確的。它在 2.4.4 中被棄用，在 3.0.0 中將被刪除

詳情見說明：

https://spark.apache.org/releases/spark-release-2-4-4.html

標(biāo)簽： [db:TAGG]

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。