CentOS7.3上离线安装Ambari及使用HDP部署hadoop集群服务 作者: sysit 分类: d 发表于 2018-10-26 565人围观 ## 1. 概况 ### 1.1 服务器信息 主机名 | IP地址 | 安装服务 - | :-: | - manager.kkops.com | 10.28.103.213| JDK，NTP Server，Ambari Server，MySQL node1.kkops.com | 10.28.103.214 | JDK，NTP Client，Ambari Agent node2.kkops.com | 10.28.103.215 | JDK，NTP Client，Ambari Agent node3.kkops.com | 10.28.103.216 | JDK，NTP Client，Ambari Agent ### 1.2 软件信息 软件 | 版本 | 离线软件包 - | :-: | - Ambari | 2.6.0.0| [ambari-2.6.0.0-centos7.tar.gz](http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.0.0/ambari-2.6.0.0-centos7.tar.gz)| HDP | 2.6.3.0|[HDP-2.6.3.0-centos7-rpm.tar.gz](http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.3.0/HDP-2.6.3.0-centos7-rpm.tar.gz)| HDP-UTILS| 1.1.0.21|[HDP-UTILS-1.1.0.21-centos7.tar.gz](http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7/HDP-UTILS-1.1.0.21-centos7.tar.gz)| JDK | 1.8.144| jdk-8u144-linux-x64.rpm| ### 1.3 本地源 由于联机使用官方repo网速太慢了，因此在官方网站上下载了以上三个软件包，解压到本地。 >搭建了内网本地源服务的方法是： 1. 在集群服务器上安装一个httpd服务； 2. 把三个软件包解压到/var/www/html目录下。 软件 | 版本 | 本地源路径 - | :-: | - Ambari | 2.6.0.0|http://mirrors.kkops.com/hortonworks/ambari-2.6.0.0/centos7/| HDP | 2.6.3.0|http://mirrors.bbdops.com/list/hortonworks/HDP-2.6.3.0/centos7/| HDP-UTILS| 1.1.0.21|http://mirrors.bbdops.com/list/hortonworks/HDP-UTILS-1.1.0.21/centos7/ ## 2. 服务器基础配置 ### 2.1 服务器初始化 >见[CentOS7.3初始化脚本](http://www.kkops.com/blog/post/kkops/CentOS7.3%E5%88%9D%E5%A7%8B%E5%8C%96%E8%84%9A%E6%9C%AC) ### 2.2 配置hosts ``` cat >> /etc/hosts <<'EOF' 10.28.103.213 manager.kkops.com manager 10.28.103.214 node1.kkops.com node1 10.28.103.215 node2.kkops.com node2 10.28.103.216 node3.kkops.com node3 EOF ``` ### 2.3 配置ntp同步 > 见ntp安装配置 ### 2.4 安装MySQL5.7 > 见[CentOS7.3 离线安装MySQL5.7](http://www.kkops.com/blog/post/kkops/CentOS7.3-%E7%A6%BB%E7%BA%BF%E5%AE%89%E8%A3%85MySQL5.7) ### 2.5 配置Ambari源 ``` cat > /etc/yum.repos.d/ambari.repo<<'EOF' [ambari-2.6.0.0] name=ambari Version - ambari-2.6.0.0 baseurl=http://mirrors.kkops.com/hortonworks/ambari-2.6.0.0/centos7/ gpgcheck=1 gpgkey=http://mirrors.kkops.com/hortonworks/ambari-2.6.0.0/centos7/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins enabled=1 priority=1 EOF yum clean all ``` ### 2.6 安装jdk ``` curl -o jdk-8u144-linux-x64.rpm http://mirrors.kkops.com/jdk/jdk-8u144-linux-x64.rpm rpm -ivh jdk-8u144-linux-x64.rpm ``` ## 3. 安装Ambari ### 3.1 安装Ambari Server #### 3.1.1 安装软件包 * 在manager.kkops.com上安装 ``` yum install mysql-connector-java ambari-server ``` #### 3.1.2 创建MySQL数据库并导入数据 ``` mysql -uroot -p mysql> create database ambari; mysql> grant all on ambari.* to 'ambari'@'%' identified by 'ambarikkops'; Query OK, 0 rows affected, 1 warning (0.00 sec) mysql> flush privileges; Query OK, 0 rows affected (0.00 sec) mysql> use ambari; mysql> source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql ``` #### 3.1.3 配置Ambari-server ``` [root@manager ~]# ambari-server setup Using python /usr/bin/python Setup ambari-server Checking SELinux... SELinux status is 'disabled' Customize user account for ambari-server daemon [y/n] (n)? #是否在操作系统上建立单独的运行ambari的用户。 Adjusting ambari-server permissions and ownership... Checking firewall status... Checking JDK... [1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8 [2] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7 [3] Custom JDK ============================================================================== Enter choice (1): 3 #选择3,指定自己安装的JDK路径 WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts. WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts. Path to JAVA_HOME: /usr/java/jdk1.8.0_144/ #rpm包安装JDK后的路径 Validating JDK on Ambari Server...done. Completing setup... Configuring database... Enter advanced database configuration [y/n] (n)? y #自定义数据库配置 Configuring database... ============================================================================== Choose one of the following options: [1] - PostgreSQL (Embedded) [2] - Oracle [3] - MySQL / MariaDB [4] - PostgreSQL [5] - Microsoft SQL Server (Tech Preview) [6] - SQL Anywhere [7] - BDB ============================================================================== Enter choice (1): 3 #本文档使用MySQL Hostname (localhost): manager.kkops.com #MySQL数据库的主机名或IP地址 Port (3306): #MySQL端口号，回车保持默认3306 Database name (ambari): #MySQL数据库，回车保持默认ambari库 Username (ambari): #MySQL账号，回车保持默认ambari Enter Database Password (bigdata): #MySQL密码，输入ambari账号的密码，本文档是ambarikkops。 Re-enter password: # 再次确认输入密码 Configuring ambari database... Configuring remote database connection properties... WARNING: Before starting Ambari Server, you must run the following DDL against the database to create the schema: /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql Proceed with configuring remote database connection properties [y/n] (y)? y #提示你需要导入sql文件，y继续。 Extracting system views... ambari-admin-2.6.0.0.267.jar ........... Adjusting ambari-server permissions and ownership... Ambari Server 'setup' completed successfully. ``` >出现如上`Ambari Server 'setup' completed successfully.`说明配置成功。 #### 3.1.4 启动Ambari Server ``` [root@manager ~]# ambari-server start Using python /usr/bin/python Starting ambari-server Ambari Server running with administrator privileges. Organizing resource files at /var/lib/ambari-server/resources... Ambari database consistency check started... Server PID at: /var/run/ambari-server/ambari-server.pid Server out at: /var/log/ambari-server/ambari-server.out Server log at: /var/log/ambari-server/ambari-server.log Waiting for server start............................... Server started listening on 8080 DB configs consistency check: no errors and warnings were found. Ambari Server 'start' completed successfully. ``` >出现如上信息说明启动成功。通过检查进程和端口确认amabari-server运行状态。 ### 3.2 Ambari Agent安装 #### 3.2.1 安装软件 ``` yum install ambari-agent mysql-connector-java -y ``` #### 3.2.2 配置ambari agent ``` sed -i "s/hostname=localhost/hostname=manager.kkops.com/g" /etc/ambari-agent/conf/ambari-agent.ini ``` #### 3.2.3 启动Ambari Agent ``` [root@node1 ~]# ambari-agent start Verifying Python version compatibility... Using python /usr/bin/python Checking for previously running Ambari Agent... Checking ambari-common dir... Starting ambari-agent Verifying ambari-agent process status... Ambari Agent successfully started Agent PID at: /run/ambari-agent/ambari-agent.pid Agent out at: /var/log/ambari-agent/ambari-agent.out Agent log at: /var/log/ambari-agent/ambari-agent.log ``` ### 附：环境清理 > 如果你的环境不是干净的，可以用如下命令清理ambari的现有组件。 ``` python /usr/lib/python2.6/site-packages/ambari_agent/HostCleanup.py --silent --skip=users ``` > --skip=users，表示不清除用户。 ## 4. 登录Ambari web界面完成剩下的安装 * 打开manager.kkops.com:8080界面，如下图：  * 默认账号是admin/admin，登录后进入下一步。   * 点击“Launch Install Wizard”，启动安装向导，进入下一步。  * 输入cluster的名字，本案例输入的是“kkopscluster”，后续可以修改。点击“Next”进入下一步。  * 点击“Use Local Repository”，配置[redhat7]的[Base URL]，这里输入的是HDP和HDP-UTILS的URL。点击“Next”进入下一步。  * 在“Target Hosts”中输入主机名（推荐使用FQDN，支持正则） * 本案例中不使用SSH，因此选择“Perform manual registration on hosts and do not use SSH”,选中该选项后会弹出[Warning]窗口，如下图：  * 点击“OK”进入下一步。  * 点击“Register and Confirm”进入下一步。  * 点击“OK”进入下一步。  * 点击“OK”进入下一步。  * 这里会进行主机检查，需要等待检查完毕，如果没有错误进入如下图所示：  * 如上图红框中的内容，如果这里存在异常，点击“Click here to see check results”查看详细情况，如下图：  * 这里告诉你哪些组件没有通过检测，以及环境清理(hostCleanup)的方法。某些项目可能需要手动处理。 * 如果处理完毕，则点击“Rerun Checks”重新检查。 * 环境检查完毕后，点击“Next”进入下一步。  * 如上图，默认选中全部组件，初次安装建议先安装Zookeeper。如下图：  * 进入下一步。  * 初次安装默认会安装[SmartSense]和[Ambari Metrics]，如下图：  * 点击“OK”进入下一步。  * 选择组件安装的服务器，这里根据实际情况安装。点击“Next”进入下一步。  * 选择安装Client的服务器，这里的Client指的是“Zookeeper Client”，生产系统建议安装在专门提供给GateWay操作的服务器上，本案例为了便于维护，安装在所有的服务器上。点击“Next”进入下一步。  * 这里配置Zookeeper的目录，点击带有提示符号的项目，进入配置。  * 这里需要配置“Grafana Admin Password”，配置后如下图所示：  * 同理，配置另外的组件。  * 完成后如下图：  * 进入下一步。  * 这里是Review信息，点击“Deploy”进入下一步。  * 点击“Complete”完成安装，如下图：  * 开始安装其他组件。 如果觉得我的文章对您有用，请随意赞赏。您的支持将鼓励我继续创作！ 赞赏支持
