计算集群

本文说明计算集群功能的使用场景、操作流程和配置项,帮助用户规范完成平台操作。

计算集群是平台提供计算能力的核心,类似ai训练需要显卡,大数据计算需要计算集群 点击计算集群菜单,查看当前租户内创建的集群 支持名称、备注搜索

20241219163607

添加计算集群

点击添加集群按钮,创建集群

20240427201919

  • 集群名称 : 必填,平台内显示的集群名称
  • 类型 : 必填,支持三种集群类型包括 Kubernetes、Yarn、Standalone
  • 备注 : 非必填
Kubernetes

全称Kubernetes,基于Kubernetes的集群调度,会将作业提交到Kubernetes中进行计算 服务器中需要提供Kubernetes服务和kubectl命令执行权限

Yarn

基于Hadoop下Yarn的集群调度,会将作业提交到YARN中进行计算 服务器中需要提供YARN调度服务和YARN命令执行权限

Standalone

支持spark单机模式运行,服务器中仅需安装Java环境即可,推荐Java 17版本

设置默认集群

设置默认集群,会在首页优先显示该集群的监控信息

20241219170653

20241219170720

添加集群节点

点击集群名称,进入集群的节点管理界面 点击添加节点按钮,可添加服务器节点 一个集群中,可添加多台服务器节点

20240427202438

  • 名称 : 必填,节点的名称
  • Host : 必填,服务器的IP,推荐使用服务器的内网IP地址
  • 用户名 : 必填,服务器中的用户名
  • 验证类型 : 必填,服务器验证的方式,包括密码、令牌 令牌:ssh的私钥验证 密码:服务器对应的用户密码
  • 默认安装Spark :仅在Standalone类型集群下有该选项,将在服务器中默认安装spark服务
  • 备注 :非必填

集群节点操作

点击更多按钮,支持以下操作

  • 编辑:修改节点信息
  • 停止:停止节点的监听
  • 检测:检测当前节点状态
  • 安装:服务器安装监听服务
  • 卸载:服务器卸载监听服务
  • 清理:清理监听服务器产生的缓存文件
  • 删除:删除集群节点,包括卸载节点、清理缓存步骤

20240427202646

查看安装进度

点击日志按钮,可查看监听服务的安装进度 安装成功后,节点状态会更新为运行中状态,集群状态会更新为可用状态 注意:在安装过程中,无法中止,请耐心等待安装结果再执行其他操作

20240427202911

刷新当前服务器节点使用情况

点击刷新按钮,可刷新服务器节点实时信息

20250116165206