发表于 | 分类于
字数统计: 3.1k | 阅读时长 ≈ 15
一、数据定义（DDL）创建修改和删除数据库、表、视图、函数和索引1.1 创建、修改和删除数据库12345678910create database if not exists hive; #创建数据库show databases; #查 ...
阅读全文 »

发表于 | 分类于
字数统计: 2.2k | 阅读时长 ≈ 9
目前hive支持简单的权限管理，默认情况下是不开启，这样所有的用户都具有相同的权限，同时也是超级管理员， 也就对hive中的所有表都有查看和改动的权限，这样是不符合一般数据仓库的安全原则的。下面一起来看看Hive的权限管理。一、Hive 三种授权模型1.1 基于存储的授权Storage Based ...
阅读全文 »

发表于 | 分类于
字数统计: 1.9k | 阅读时长 ≈ 9
一、Metastore和Hiveserver2服务的区别1.1 Metastore 服务Metastore 服务访问元数据的方式bin/hive（cli命令行的方式访问元数据） –访问–> metaStore server –访问–>MySQLMetastore 服务启动方式服务端启动M ...
阅读全文 »

发表于 | 分类于
字数统计: 718 | 阅读时长 ≈ 3
一、CLI连接123456[hadoop@hadoop2 sbin]$ hivehive> show databases;OKdefaultTime taken: 0.788 seconds, Fetched: 1 row(s)hive>启动成功的话如上所示，接下来便可以做 hive 相 ...
阅读全文 »

发表于 | 分类于
字数统计: 3.5k | 阅读时长 ≈ 15
一、Hive 原理Hive 是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce ...
阅读全文 »

发表于 | 分类于
字数统计: 5.8k | 阅读时长 ≈ 23
一、简介NoSQL是Not Only SQL的缩写，泛指用来解决大数据相关问题而创建的数据库技术，NoSQL技术不会完全替代关系型数据库，而是关系型数据的一种补充。HBase是建立在Hadoop文件系统之上的分布式面向列的NoSQL数据库。它是一个开源项目，可横向扩展。HBase的数据模型，类似于谷 ...
阅读全文 »

发表于 | 分类于
字数统计: 2.3k | 阅读时长 ≈ 10
一、HDFS Shell大多数HDFS Shell命令的行为和对应的Unix Shell命令类似，主要不同之处是HDFS Shell命令操作的是远程Hadoop服务器的文件，而Unix Shell命令操作的是本地文件，其他不同之处将在介绍各命令使用详情时指出。常用的HDFS Shell命令如下表所示 ...
阅读全文 »

发表于 | 分类于
字数统计: 3.1k | 阅读时长 ≈ 14
一、Ambari 介绍Apache Ambari 项目旨在通过开发用于配置、管理和监控 Apache Hadoop 集群的软件来简化 Hadoop 管理。Ambari 提供了一个直观、易于使用的 Hadoop 管理 Web UI，由其 RESTful API 支持。Ambari 使系统管理员能够：配 ...
阅读全文 »

发表于 | 分类于
字数统计: 4.1k | 阅读时长 ≈ 19
一、前言在 Hadoop 1.X版本中，NameNode会是整个HDFS集群的单点故障（single point of failure，SPOF）：每一个HDFS集群只能有一个NameNode节点，一旦NameNode所在服务器宕机或者出现故障将导致整个集群都不可用，除非重启或者开启一个新的Name ...
阅读全文 »

发表于 | 分类于
字数统计: 2k | 阅读时长 ≈ 9
一、集群简介Hadoop 集群具体来说包含两个集群：HDFS集群和YARN集群，两个逻辑上分离，但物理上常在一起。HDFS集群负责海量数据的存储，集群中的角色主要有：NameNode、DataNode、SecondaryNameNodeYARN集群负责海量数据运算时的资源调度，集群中的角色主要有：R ...
阅读全文 »