升级Spark版本

本文汇总Spark升级相关问题的现象、原因和处理建议,便于快速完成排查。

问题

客户自定义作业使用的spark版本太老,需要定制化spark版本

解决方案

  1. 登录spark官网,下载对应的spark版本二进制安装包

20250716161122

20250716170901

  1. 删除本地的spark-min

20250716161557

  1. 修改install.sh脚本中的spark下载链接

20250716161644

  1. 执行install命令,重新下载spark安装包

20250716161727

  1. 修改全局的spark依赖版本

20250716161913

  1. 使用isx package重新打包

20250716171102