揭秘HDP服务器配置，探寻其背后的Web服务器选择与应用策略

HDP所使用的Web服务器探究

1、目前市面上免费开放的Hadoop版本主要来源于三家国际厂商，分别是：Apache（最原始的版本，其他所有发行版均基于此版本进行优化和改进）、Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称CDH）、以及Hortonworks版本（Hortonworks Data Platform，简称HDP），在国内市场，大多数用户倾向于选择CDH版本。

2、默认的集群名称为default，相应的拓扑配置文件位于/usr/hdp/current/knox-server/conf/topologies/default.xml，创建LDAP服务器可以通过手动安装OpenLDAP或使用Knox自带的Demo LDAP两种方式完成，本文以手动部署OpenLDAP为例，创建了一个测试用户dn：cn=test，ou=users，dc=hdp，dc=com，并设置密码为test。

3、简而言之，拥有系统管理权限的人即为管理员，系统管理员这一角色多出现在计算机数量众多的环境中，而在个人电脑使用中，用户自己便是系统管理员，这也要求你必须精通计算机知识，系统管理员主要分为网络系统管理员和信息系统管理员，前者主要负责整个网络的设备和服务器的规划、安装、配置、管理与维护，确保内部网络的稳定和安全运行。

4、安装Apache HTTP服务器，从指定目录下载Ambari和HDP-3资源，并通过浏览器验证安装URL，接着配置ambari和HDP的本地yum源，以及MariaDB，以支持后续的Hive和Oozie安装，在安装ambari-server时，需确保PostgreSQL版本兼容，并根据Python版本调整配置。

系统管理员的基本素质要求

1、要成为一名合格的Linux管理员，通常需要掌握以下要点：要深入了解Linux系统的各个方面，在此，笔者必须指出，即便是最基本的Linux系统管理员，也需要通过不断学习和长期实践，才能真正掌握Linux操作系统和网络的全貌。

2、信息系统运行管理员考试要求：熟悉计算机系统的组成及其关键性能指标。

3、IT管理员需要掌握的十大知识点：如果你想成为一名IT管理员，一些基础知识是必须的，你需要了解IP子网和防火墙的基本原理，掌握网络路由、交换机的基本配置，以及程序配置等，这些都是IT管理员必须掌握的基本技能。

4、采取一切可能的技术手段和管理措施，确保网络信息的安全，对于实时性要求不高的系统和数据，网络管理员应定期进行手动备份，对于关键业务服务和实时性要求高的数据和信息，网络管理员应建立存储备份系统，实施集中式备份管理。

Cloudera集群维护关注的主要指标

1、问题描述：当你使用Cloudera Manager部署了CDH集群后，随着业务需求的增长，你可能需要对集群进行优化或扩展，你可能需要下载并安装一些额外的组件。

2、作为分布式计算平台，性能是一个重要的指标，但它并非唯一，在硬件资源固定的情况下，虚拟化会增加开销，从而降低性能，虚拟化也能带来其他方面的优势，如资源隔离，对于专用的集群，例如仅用于运行Spark的三台设备，其性能表现还是可以接受的。

3、目前市面上免费开放的Hadoop版本主要来源于三家国际厂商，分别是：Apache、Cloudera版本和Hortonworks版本，大多数用户更倾向于选择CDH版本。

4、Cloudera Manager（CM）：一个集中式管理平台，涵盖了安装、监控和集群维护等功能，CM的核心功能包括资源管理、监控诊断、集成配置、状态维护以及更深入的定制选项，通过Admin Console提供用户界面，并通过API支持高级开发。

基于龙芯的大数据平台搭建（Ambari+HDP）

1、未至科技泵站是一款大数据平台数据抽取工具，它支持将数据库数据导入到HDFS中，利用Hadoop提供的集群分布式并行处理能力，通过数据库分区、字段分区、分页方式并行批处理抽取数据，有效解决传统大数据抽取带来的作业负载过重和抽取时间过长的问题，为大数据仓库提供了高效的传输管道。

2、另一款名为“Tempo大数据分析平台”的工具，宣传较少，2017年Gartner报告发布后，无意中发现了这款工具，它是一款BS工具，申请试用过程较为曲折，尽管初次使用时感到有些迷茫，但经过一段时间的摸索，操作变得愈发流畅。

3、在搭建大数据平台过程中，首先需要确保主节点（master）和从节点（slave1、slave2）的网络环境稳定，包括时间同步和相互通信能力，检查DNS设置，并启用NSCD以减轻DNS负担，为每个节点配置主机名，并配置SSH免密码登录，以便后续管理，所有集群节点都需要开启NTP服务，以保持时间同步，关闭防火墙和SELinux以优化系统环境。

4、DB2和Oracle数据库是两款大型数据库，主要服务于企业级市场，尤其是对数据海量存储有需求的大型企业，这些数据库公司通常提供完善的数据整合应用平台；而在数据报表层面，企业存储数据后，首先要解决的是报表问题，以便对数据库进行准确分析。

使用Ambari结合Knox进行LDAP身份认证

1、在安装过程中，FreeIPA负责身份验证和DNS管理，输入必要的服务器信息，如主机名、域名和Kerberos域，建议使用域名而非根域，若遇到安装失败或需要更新nss等问题，可以参考相关解决方案，安装完成后，通过访问https://hd.dtstack.com/，使用安装过程中设置的密码登录，可以进一步管理集群。

2、使用apacheds的ldap服务器，URL为ldap://ldap_host:10389，在Ambari界面中点击Save按钮保存配置，并通过橙 *** 按钮重启相关服务，以更新/usr/hdp/current/knox-server/conf/topologies/目录下的default.xml文件，作为代理网关，Knox对所有支持代理的RESTful服务和页面进行了地址映射。

3、默认用户名密码：admin / admin-password

4、至于被称为FBI的帆软BI，帆软报表在国内用户中较为知名，功能确实不错，但其BI工具相对较弱，它只能进行简单的图形展示，配合报表工具使用可以使页面更美观，但与其他可视化分析、BI工具相比，其功能较为简单，分析能力不足。