计算集群
本文说明计算集群功能的使用场景、操作流程和配置项,帮助用户规范完成平台操作。
计算集群是平台提供计算能力的核心,类似ai训练需要显卡,大数据计算需要计算集群 点击
计算集群菜单,查看当前租户内创建的集群 支持名称、备注搜索

添加计算集群
点击
添加集群按钮,创建集群

- 集群名称 : 必填,平台内显示的集群名称
- 类型 : 必填,支持三种集群类型包括 Kubernetes、Yarn、Standalone
- 备注 : 非必填
Kubernetes
全称Kubernetes,基于Kubernetes的集群调度,会将作业提交到Kubernetes中进行计算 服务器中需要提供Kubernetes服务和kubectl命令执行权限
Yarn
基于Hadoop下Yarn的集群调度,会将作业提交到YARN中进行计算 服务器中需要提供YARN调度服务和YARN命令执行权限
Standalone
支持spark单机模式运行,服务器中仅需安装Java环境即可,推荐Java 17版本
设置默认集群
设置默认集群,会在首页优先显示该集群的监控信息


添加集群节点
点击
集群名称,进入集群的节点管理界面 点击添加节点按钮,可添加服务器节点 一个集群中,可添加多台服务器节点

- 名称 : 必填,节点的名称
- Host : 必填,服务器的IP,推荐使用服务器的内网IP地址
- 用户名 : 必填,服务器中的用户名
- 验证类型 : 必填,服务器验证的方式,包括密码、令牌 令牌:ssh的私钥验证 密码:服务器对应的用户密码
- 默认安装Spark :仅在
Standalone类型集群下有该选项,将在服务器中默认安装spark服务 - 备注 :非必填
集群节点操作
点击更多按钮,支持以下操作
编辑:修改节点信息停止:停止节点的监听检测:检测当前节点状态安装:服务器安装监听服务卸载:服务器卸载监听服务清理:清理监听服务器产生的缓存文件删除:删除集群节点,包括卸载节点、清理缓存步骤

查看安装进度
点击
日志按钮,可查看监听服务的安装进度 安装成功后,节点状态会更新为运行中状态,集群状态会更新为可用状态 注意:在安装过程中,无法中止,请耐心等待安装结果再执行其他操作

刷新当前服务器节点使用情况
点击
刷新按钮,可刷新服务器节点实时信息

