2018/5/18 15:04:07当前位置推荐好文程序员浏览文章

Hadoop基本用

  1. 查看集群基本信息
    • 命令
      • hdfs dfsadmin -report [-live] [-dead] [-decommissioning]
        • -report 输出文件系统基本信息及相关数据统计
        • -report -live 输出文件系统中在线节点的基本信息及相关数据统计
        • -report -dead 输出文件系统中失效节点的基本信息及相关数据统计
        • -report -decommissioning 输出文件系统中停使用节点的基本信息及相关数据统计
    • 网页版
服务WEB接口默认端口
NameNodehttp://namenode_host:port50070
ResourceManagerhttp://resourcemanager_host:port/8088
MapReduce JobHistory Serverhttp://jobhistoryserver_host:port/19888
  1. 查询集群计算资源信息

    • 页面

      http://namenode_host:port/cluster/nodes

  2. HDFS基本操作

    • 文件页面

      http://namenode_host:port/nn_browsedfscontent.jsp

    • HDFS下创立目录

      hdfs dfs -mkdir -p <path>

    • 上传文件

      命令解释
      hdfs dfs [-copyFromLocal [-f] [-p] [-l]] <localsrc>...<dst>]将文件从本地文件系统复制到HDFS文件系统,主要参数<localsrc>为本地文件路径,<dst>为复制的目标路径
      hdfs dfs [-moveFromLocal <localsrc>...<dst>]将文件从本地文件系统移动到HDFS文件系统,主要参数<localsrc>为本地文件路径,<dst>为移动的目标路径
      hdfs dfs [-put [-f] [-p] [-l]] <localsrc>...<dst>]将文件从本地文件上传到HDFS文件系统,主要参数<localsrc>为本地文件路径,<dst>为移动的目标路径
    • 下载文件

    命令解释
    hdfs dfs [-copyToLocal [-p] [-ignoreCrc] [-crc] <src>...<localdst> ]将文件从HDFS文件系统复制到本地文件系统,主要参数<src>为HDFS文件系统路径,<localdst>为本地文件系统路径
    hdfs dfs [-get [-p] [-ignoreCrc] [-crc] <src>...<localdst>]获取HDFS文件系统上指定路径的文件到本地文件系统,主要参数<src>为HDFS文件系统路径,<localdst>为本地文件系统路径
    • 查看文件内容
    命令解释
    hdfs dfs [-cat [-ignoreCrc] <src>...]查看HDFS文件内容,主要参数<src>指定文件路径
    hdfs dfs [-tail [-f] <file>]输出HDFS文件最后1024字节,主要参数<file>指定文件
    • 删除文件或者目录
    命令解释
    hdfs dfs [-rm [-f] [-r/-R] [-skipTrash] <src>...]删除HDFS上的文件,主要参数-r使用于递归删除,<src>指定删除文件的路径
    hdfs dfs [-rmdir [--ignore-fail-on-non-empty] <dir>...]假如删除的是一个目录,则能用该方法,主要参数<dir>指定目录路径
  3. MapReduce任务

    • Hadoop官方示例包测试板块
    板块名称内容
    multifilewc统计多个文件中单词的数量
    pi应使用quasi-Monte Carlo算法来估算圆周率π的值
    randomtextwriter在每个数据节点随机生成一个10G的文本文件
    wordcount对输入文件中的单词进行频数统计
    wordmean计算输入文件中单词的平均长度
    wordmedian计算输入文件中单词长度的中位数
    wordstandarddeviation计算输入文件中单词长度的标准差
    • 提交MapReduce任务给集群运行
      • 命令

        hadoop jar <jar> [mainClass] args

      • 结果解释

        • job_1496827344397_0001:该形式表示此任务ID,通常也叫业务号
        • 18/04/26 19:39:45 INFO mapreduce.Job: map 100% reduce 68%:map表示map操作进度,reduce表示reduce操作进度
        • Job job_1524672518157_0001 completed successfully:表示此作业成功完成
        • Map input records=8000000:表示输入的记录数量
        • Reduce output recordds=3896706:表示输出的结果数量
网友评论