《大数据理论与实践Ⅰ》实验报告①

发表于 分类于 阅读次数： Waline： 本文字数： 492 阅读时长 ≈ 1 分钟

《大数据理论与实践Ⅰ》实验报告①

实验编号 1

实验名称： HDFS基本操作

实验内容：

第1步：启动 TDH Client，执行 TDH Client 的 init.sh 脚本，启动 TDH Client。

image-20241214144429179image-20241214144442474

第2-6步：创建 hdfs_data 目录，将目录权限设为 777，然后创建一个 file1 文件，并上传到 hdfs_data 目录。最终查看目录和文件内容，结果如下：

image-20241214144452547

第7步：访问网址 http://172.18.48.6:50070/，找到 /tmp/jinqiqing/hdfs_data 目录，查看 block ID 为 1112628409。

image-20241214144638576

实验编号 2

实验名称： YARN作业管理

实验内容：

第1步：启动 TDH Client，执行 TDH Client 的 init.sh 脚本，启动 TDH Client。

第2步：在本地创建一个 wordcount.txt 文件，上传至 HDFS 作业输入目录中。

image-20241214144711681

image-20241214144744105

第3步：将 Hadoop MapReduce 程序 hadoop-mapreduce-examples-2.7.2-transwarp-5.1.2.jar 的 WordCount 作业提交给 YARN，并执行得出结果。
image-20241214144737712

image-20241214144758378

第4步：查看输出目录和输出结果，得到词频统计结果。
image-20241214144804441