Hadoop Ecosystem: Cài đặt, Cấu hình & Demo Apache Hive & HBase

cd /opt
sudo wget https://dlcdn.apache.org/hive/hive-4.2.0/apache-hive-4.2.0-bin.tar.gz
sudo tar -xzf apache-hive-4.2.0-bin.tar.gz
sudo mv apache-hive-4.2.0-bin hive
sudo chown -R hadoopnhom2:hadoopnhom2 /opt/hive
hive --version

nano ~/.bashrc

export HIVE_HOME=/opt/hive
export PATH=$PATH:/opt/hive/bin

source ~/.bashrc

rm -f /opt/hive/lib/guava-*.jar
cp /opt/hadoop/share/hadoop/hdfs/lib/guava-*.jar /opt/hive/lib/

rm -f /opt/hive/lib/derby*.jar
wget https://repo1.maven.org/maven2/org/apache/derby/derby/10.14.2.0/derby-10.14.2.0.jar -O /opt/hive/lib/derby-10.14.2.0.jar

nano /opt/hive/conf/hive-site.xml

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:derby:;databaseName=/home/hadoopnhom2/metastore_db;create=true</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>org.apache.derby.jdbc.EmbeddedDriver</value>
    </property>
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
    </property>
</configuration>

echo "export HADOOP_HEAPSIZE=2048" >> /opt/hive/conf/hive-env.sh

cd /home/hadoopnhom2
schematool -dbType derby -initSchema
schematool -dbType derby -info

nohup hiveserver2 > /home/hadoopnhom2/hiveserver2.log 2>&1 &

beeline -u jdbc:hive2://localhost:10000 -n hadoopnhom2

CREATE EXTERNAL TABLE IF NOT EXISTS airlines (
    iata_code STRING, 
    airline STRING
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
STORED AS TEXTFILE
LOCATION '/data/flight_project/airlines'
TBLPROPERTIES ("skip.header.line.count"="1");
 

CREATE EXTERNAL TABLE IF NOT EXISTS clean_flights (
    year INT, month INT, day INT, 
    airline STRING, flight_number INT, 
    origin_airport STRING, destination_airport STRING, 
    departure_delay INT, arrival_delay INT
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
STORED AS TEXTFILE
LOCATION '/data/flight_project/clean_flights';
 

set hive.execution.engine=mr;
set mapreduce.framework.name=local;
set hive.auto.convert.join=false;



SELECT 
    a.airline AS ten_hang, 
    SUM(f.departure_delay) AS tong_phut_delay
FROM clean_flights f
JOIN airlines a ON f.airline = a.iata_code
WHERE f.departure_delay > 0
GROUP BY a.airline
ORDER BY tong_phut_delay DESC
LIMIT 5;

cd /opt
sudo wget https://dlcdn.apache.org/hbase/2.5.14/hbase-2.5.14-bin.tar.gz
sudo tar -xzf hbase-2.5.14-bin.tar.gz
sudo mv hbase-2.5.14 hbase
sudo chown -R hadoopnhom2:hadoopnhom2 /opt/hbase
hbase version

export HBASE_HOME=/opt/hbase
export PATH=$PATH:/opt/hbase/bin

echo "export JAVA_HOME=/usr/lib/jvm/java-21-openjdk-amd64" >> /opt/hbase/conf/hbase-env.sh

nano /opt/hbase/conf/hbase-site.xml

<configuration>
  <property><name>hbase.rootdir</name><value>hdfs://quyenlt-master:9000/hbase</value></property>
  <property><name>hbase.cluster.distributed</name><value>true</value></property>
  <property><name>hbase.zookeeper.quorum</name><value>quyenlt-master</value></property>
  <property><name>hbase.wal.provider</name><value>filesystem</value></property>
</configuration>

start-hbase.sh

hbase shell

create 'flight_delays', 'delay_info'

put 'flight_delays', 'WN_123', 'delay_info:airline', 'Southwest Airlines Co.'
put 'flight_delays', 'WN_123', 'delay_info:departure_delay', '45'
put 'flight_delays', 'AA_456', 'delay_info:airline', 'American Airlines Inc.'
put 'flight_delays', 'AA_456', 'delay_info:departure_delay', '12'

get 'flight_delays', 'WN_123'

scan 'flight_delays'

Ý nghĩa Demo Apache HBase: Truy xuất thời gian thực (Real-time NoSQL)

Chúng ta đang làm gì? Lúc này, chúng ta chuyển sang góc nhìn của một Kỹ sư Hệ thống / Backend Developer (Backend Engineer).

1. Chuyển đổi mô hình lưu trữ: HBase không dùng SQL và cũng không dùng bảng quan hệ. Dữ liệu được lưu dưới dạng tổ hợp Key-Value vô cùng linh hoạt. Chúng ta tạo bảng flight_delays với một Column Family là delay_info.

2. Thiết kế RowKey sinh tử: Chìa khóa của HBase nằm ở RowKey. Trong demo, chúng ta dùng mã chuyến bay (ví dụ: WN_123) làm RowKey. Khi thực hiện lệnh put, chúng ta đang ghi trực tiếp trạng thái trễ chuyến của chuyến bay WN_123 vào RAM (MemStore) và đĩa cứng (HFile) một cách tức thời.

3. Truy xuất ngẫu nhiên (Random Read): Lệnh get 'flight_delays', 'WN_123' không yêu cầu hệ thống quét hàng triệu chuyến bay khác. Dựa vào RowKey và cơ chế chỉ mục (B-Tree/LSM Tree) của HBase, nó "nhảy" thẳng đến đúng vị trí vật lý trên ổ cứng của máy chủ Slave đang giữ chuyến bay đó để lấy dữ liệu.

Kết quả mong đợi & Ứng dụng thực tế:

• Kết quả: Trả về thông tin chính xác của đúng một chuyến bay cụ thể với độ trễ cực thấp (chỉ 0.01 giây - mili-giây).

• Ứng dụng: Dữ liệu này phục vụ trực tiếp cho Hành khách (End-user). Tưởng tượng một ứng dụng mobile như Flightradar24 hoặc màn hình hiển thị tại sân bay. Khi hành khách nhập mã chuyến bay WN_123 vào app, app sẽ chọc thẳng vào HBase để lấy thông tin delay và hiện lên màn hình ngay lập tức mà không có độ trễ.

Kết luận

Thông qua việc triển khai thành công 2 mô hình trên cùng một hạ tầng Hadoop, hệ thống đã chứng minh được khả năng đáp ứng toàn diện vòng đời dữ liệu. Apache Hive giải quyết bài toán vĩ mô (OLAP): Quét toàn bộ khối lượng dữ liệu khổng lồ (~600MB, hàng triệu dòng) để tìm ra các xu hướng ẩn sâu (Top 5 delay) phục vụ cho Ban quản trị, dù phải đánh đổi bằng thời gian xử lý lô. Ngược lại, Apache HBase giải quyết bài toán vi mô (OLTP): Cung cấp khả năng ghi/đọc ngẫu nhiên cực nhanh (dưới 10 mili-giây) dựa trên RowKey, phục vụ cho các ứng dụng tra cứu thời gian thực của hàng triệu người dùng cuối."