七天彩票开奖

您当前位置:七天彩票 > 成功案例 > 高教案例 > 北京邮电大学大数据实验平台管理系统

北京邮电大学大数据实验平台管理系统

概述

        "大数据"是一个体量特别大,数据类别特别大的数据集,并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。 "大数据"首先是指数据体量(volumes)大,指代大型数据集,一般在10TB规模左右,但在实际应用中,很多企业用户把多个数据集放在一起,已经形成了PB级的数据量。其次是指数据类别(variety)大,数据来自多种数据源,数据种类和格式日渐丰富,已冲破了以前所限定的结构化数据范畴,囊括了半结构化和非结构化数据。接着是数据处理速度(Velocity)快,在数据量非常庞大的情况下,也能够做到数据的实时处理。最后一个特点是指数据真实性(Veracity)高,随着社交数据、企业内容、交易与应用数据等新数据源的兴趣,传统数据源的局限被打破,企业愈发需要有效的信息之力以确保其真实性及安全性。

实现目标

    为北京邮电大学搭建大数据实训室,为100人同时在线,提供Hadoop服务,同时进行并行存储和并行计算。

基础平台搭建--云

云技术架构

        首先 “私有云”基于企业网构成,私有云的构建与运行者、资源提供者和使用者是集团和集团企业下属相关厂所、研究单位、企业等,其目的主要是强调企业内或集团内制造资源和制造能力整合与服务,优化企业或集团资源和能力使用率,减少重复资源和能力的重复建设,降低成本,提高竞争力。

        云计算为方便地,按需地通过网络访问共享的计算资源提供了解决途径,它可以实现基础设施和用户程序的快速自动部署,同时提供云环境(硬件,软件)完整的生命周期管理。使用者可以通过网络随时访问。同时将计算资源池化,各应用按负载要求从资源池中灵活调用,可以实现自动的资源添加或缩减,同时也可以统计各应用对计算资源的消耗情况。

        引入云计算平台可以降低 IT 成本,同时提高现有资产的效率、利用率和灵活性。

采用云计算的优势

        任何一种新的信息技术在企业中的应用,往往都是出于商业价值的考量。对基础设施云来说也不例外。基础设施云和传统的IT架构相比,能极大的提高企业信息部门各个服务器的使用率,解决企业自有的计算力在高峰时期不足而在低谷时期又过剩的矛盾,提升企业信息系统的容错性,并最终在规模化的基础上产生的更好的成本效应。

逻辑架构设计

        云计算解决方案实现资源弹性调整以为上层服务云提供各类服务及业务系统,为了加强IT部门对于云平台及下层各种资源的运维程度,我们需要建设一个统一的运维管理自动化平台,该平台采用OPENSTACK运维管理自动化产品的完整解决方案。OPENSTACK运维管理自动化产品能够实现IT运维整个生命期的自动化,涵盖了从最初的设备发现及拓扑生成,到安装、配置、升级、安全管理、审计及扩展的全过程。

应用平台搭建--大数据实验平台

        Hadoop 是一个能够让用户轻松架构和使用的分布式计算平台、轻松地在 Hadoop 上开发和运行处理海量数据的应用程序。它主要有以下几个优点:

产品架构

1.      大数据实验平台管理系统架构

2.      设计要点

        界面化的 Hadoop 部署工具。采用开源的 openstack 虚拟化平台。hadoop 基于 Apache Hadoop 二次开发,增进了易用性,同时增加 了 ResourceManager 高可用功能,可提供大于 2 台的ResourceManager,保证 YARN 框架的 7*24 不间断工作。集成了 Hadoop 生态圈的大部分生态应用,Accumulo,HBase,Hive,Pig,Storm,Kafka,Sqoop,Flume 等。已预编译为 rpm、deb 方式,,支持 CentOS, RedHat 5/6, ubuntu等 Linux 操作系统。提供管理界面,可通过管理节点以界面化的方式快速部署和管理 Hadoop 集群,并提供监控功能,监测每台节点的运行状况。


发表时间:[2017-09-08 11:48:26]

龙头彩票官网 诺亚彩票开奖 四柱彩票规律 四柱彩票官网 七天彩票开奖 诺亚彩票平台 全球彩票开奖 乐享彩票计划网 龙头彩票直播 龙头彩票计划网