当前位置: 首页 > news >正文

Hive简介 | 体系结构

Hive简介

Hive 是一个框架,可以通过编写sql的方式,自动的编译为MR任务的一个工具。
在这个世界上,会写SQL的人远远大于会写java代码的人,所以假如可以将MR通过sql实现,这个将是一个巨大的市场,FaceBook就这么干。(脸书)
FaceBook -->  Meta (元宇宙) --> 社交网站(校内网)
在大数据中,发展趋势:所有的技术全部都变为SQL。

1、Hive是一个数据仓库工具
2、可以将数据加载到表中,编写sql进行分析
3、底层依赖Hadoop,所以每一次都需要启动hadoop(hdfs以及yarn)
4、Hive的底层计算框架可以使用MR、也可以使用Spark、TEZ
5、Hive不是数据库,而是一个将MR包了一层壳儿。类似于一个中介。

Hive天然的就是当做数据仓库使用的。什么是数据仓库?

数据仓库:数据的仓库,一般只要能存数据的软件都可以当做数据仓库。

比如:开了一个超市,必须有一个仓库,这个仓库是不是可大可小。以前数据量特别小的时候,一般都使用Oracle当做数据仓库,现在企业中一般都使用大数据技术中 的Hive或者跟Hive类似的技术当做数据仓库。

普通的仓库:一般也是分类的,比如食品区、衣服区、电子产品区

数据仓库:也是需要搭建的(分层),方便使用者从仓库中快速的获取想要的数据。仓库搭建的好不好,就叫做建模。

体系结构

注意:

- 包含*的全表查询,比如select * from table 不会生成MapRedcue任务

- 包含*的limit查询,比如select * from table limit 3 不会生成MapRedcue任务


http://www.mrgr.cn/news/68258.html

相关文章:

  • 软著补正有哪些类型
  • CSS3_2D变换(五)
  • 【大数据学习 | kafka高级部分】kafka的优化参数整理
  • 【JavaEE初阶 — 多线程】单例模式 & 指令重排序问题
  • 论文阅读笔记:DRCT: Saving Image Super-Resolution away from Information Bottleneck
  • 在 Flatpak 版本的 GNOME 扩展软件上安装 Dash to Dock
  • 【AIGC探索】AI实现PPT生产全流程
  • unplugin-auto-import 库作用
  • Excel和微软小冰的结合应用
  • (62)使用RLS自适应滤波器进行系统辨识的MATLAB仿真
  • 220亿巨资注入,农业强国梦想加速启航!
  • 小张求职记六
  • 【云原生开发】K8S集群管理后端开发设计与实现
  • 员工培训对六西格玛管理的落地有哪些帮助?
  • 每日八股——java中的注解原理是什么?
  • C++网络编程之IO多路复用(二)
  • 中阳智能模型的量化投资创新及前景
  • 解决windows server 2016 安装IIS失败问题
  • 【Linux系统编程】第四十三弹---多线程编程指南:线程终止方式与C++11中的thread
  • Vue3+element-plus摘要
  • 全局池化(Global Pooling)
  • css基础:底部固定,导航栏浮动在顶部
  • MyBatis项目的创建和增删查改操作
  • Python中的多线程效率分析
  • metrics
  • 数据库数据恢复—通过拼接数据库碎片恢复 SQL Server 数据库