大数据实验二

实验二：https://www.hifleet.com/wp/communities/data/hangyundashujujishukechengshiyanzhinan/paged/2#post-2295

Cassandra and HBase

1.Cassandra

1.1java环境变量准备

NonSQL(not only sql),列式存储
首先是配备环境变量,创建CASSANDRA_HOME系统变量，并将该变量添加到环境变量，同时注意也要添加JAVA_HOME系统变量和JAVA_HOME环境变量（推荐下载JDK8）

1.2cassandra启动

1.3Dbeaver图形化操作cassandra

找到cassandra目录下，命令行输入cassandra,打开端口，进入dbeaver进行连接cassandra数据库

1.3.1 建立Keyspace和Column family（数据准备）

建立ais keyspace图

CREATE KEYSPACE ais WITH REPLICATION = { 'class' : 'org.apache.cassandra.locator.SimpleStrategy', 'replication_factor': '1' } AND DURABLE_WRITES = true;

建立ship_trajectory_data表

CREATE TABLE ais.ship_trajectory_data ( ship_mmsi int, update_time text, data_value text, PRIMARY KEY (ship_mmsi, update_time) );

1.3.2 sstableloader数据导入

命令行，把数据进行导入

sstableloader -d localhost "F:\cassandra2\apache-cassandra-2.1.12\data\data\ais\ship_trajectory_data-fc9dc350be0b11efa0d67fa2a1bbda3b"（自己的路径）

在dbeaver输入以下代码块，可以看到导入信息

select * from ais.ship_trajectory_data;

手写类似sql语句进行插入
数据插入

insert into ais.ship_trajectory_data(ship_mmsi,update_time,data_value)
values (414726000,'2024-10-01 0800','this is data_value');

数据查询

select * from ais.ship_trajectory_data where ship_mmsi=414726000;

2.HBase

2.1 HBase准备

2.1.1修改配置文件

<property>  <name>hbease.rootdir</name>  <value>F:/hbase/hbase-1.3.6/tmp/hbase/root</value>
</property>  
<property>  <name>hbase.tmp.dir</name>  <value>F:/hbase/hbase-1.3.6/tmp/hbase/tmp</value>  
</property>  
<property>  <name>hbase.zookeeper.quorum</name>  <value>localhost</value>
</property>  
<property>  <name>hbase.zookeeper.property.clientPort</name>  <value>2181</value>
</property>  
<property>  <name>hbase.zookeeper.property.dataDir</name>  <value>F:/hbase/hbase-1.3.6/tmp/hbase/zoo</value>  
</property>  
<property>  <name>hbase.cluster.distributed</name>  <value>false</value>  
</property>
<property><name>hbase.master.info.port</name><value>60010</value>
</property>
<property><name>dfs.permissions.enabled</name><value>false</value>
</property>

对应hbase路径F:/hbase/hbase-1.3.6进行自行修改

2.2 Hbase启动

找到F:\hbase\hbase-1.3.6\bin路径（自己安装的路径下的bin）

通过以下命令进行hbase的启动

start-hbase.cmd

如果出现这个错误

就必须把实验二https://www.hifleet.com/wp/communities/data/hangyundashujujishukechengshiyanzhinan/paged/2#post-2295中的winutils.exe 和 hadoop.dll 两个文件，拷贝到c:/windows/system32 目录下

2.3 Hbase监控

浏览器打开http://localhost:60010

2.4 Hbase使用

2.4.1shell登入HBase

hbase shell

2.4.2 hbase创建数据表

create 'dynamic_ships',{NAME => 'fields_family', COMPRESSION => 'GZ'}

该命令将在HBase中新建一个名为“dynamic_ships” 的数据表，该数据表有一个名为“fields_family” 列族，在该列族下可以创建多个列。
使用list命令查看有哪些表，使用== describe== 命令，可以查看数据表的结构和其他相关参数

2.4.3 hbase数据表中写数据

put 'dynamic_ships','414726000-1567325862','fields_family:t','2019-09-01 1642'
put 'dynamic_ships','414726000-1567325862','fields_family:lon',120.41596
put 'dynamic_ships','414726000-1567325862','fields_family:lat',32.042835
put 'dynamic_ships','414726000-1567325862','fields_family:course',234.2
put 'dynamic_ships','414726000-1567325862','fields_family:speed',7.8

上述四条命令，分别表示向上一步建立的数据表“dynamic_ships”，新建一个==rowkey为“414726000-1567325862”==的一条数据，为该条数据在其 ==“fields_family” ==列族里，分别建立5个列：t，lon，lat，course，speed，并且分别为这5个列赋值：‘2019-09-01 1642’，120.41596，32.042835，234.2，7.8

2.4.4 hbase数据表读数据

可以使用可以使用：
get 'dynamic_ships','414726000-1567325862','fields_family:lon'
查看修改后的值。

使用scan命令来扫描

scan 'dynamic_ships'

获取行值为414726000-1567325862相关表信息

get 'dynamic_ships','414726000-1567325862'

获取行名为414726000-1567325862，列名为列族fields_family中的t列

2.4.5 hbase数据表删除数据

get 'dynamic_ships','414726000-1567325862','fields_family:t'

删除行名为414726000-1567325862,列名为列族fields_family中的speed列

delete 'dynamic_ships','414726000-1567325862','fields_family:speed'

删除整个数据表

disable 'dynamic_ships'
drop 'dynamic_ships'

2.5 Hbase关闭

先退出shell，通过

exit()

然后再关闭

stop-hbase.cmd