中关村能源工程智能装备产业技术研究院
Institute of energy engineering intelligent equipment technology

大数据技术开发案例展示平台

作者:    发布时间:2017-12-04

大数据分析已经在各个行业得到了重点关注是当前的研究和教学热点本成果技术来源于我校计算机系大数据技术研发组在多年的大数据教学科研活动下完成的成果立足于分布式计算环境和编程方法以技术案例方式展示大数据的预处理、数据挖掘可视化分析过程内容丰富界面直观每个案例都有对应的大规模数据集具有真实的工程背景。平台环境基于Hadoop系统,兼顾了SparkMahout算法库。编程实例中包括了JavaPythonR语言,适应不同教学和科研需求为了确保案例库的顺利运行专门研制了一套大数据案例库管控系统能够实现案例的提交查询修改和删除同时,设置了权限管理机制,对案例的使用情况和测评结果进行输出并以网页可视化方式展示和反馈给各级用户。

目前已经完成了案例管控系统的原型设计,部分案例已经在研究生培养和本科生科研指导中得到应用测试环境利用了学科建设提供的大数据一体机和网络系统。

创新点有3个方面:

1)所有案例都在Hadoop大数据系统中测试运行具有分 布式计算特点;

2)技术案例具有原创性,为用户选择三种不同的编程语言和案例参照(JavaPythonR语言

3)自主设计的管控系统,功能实用,针对性强。 本成果的案例是在真正的分布式计算环境中运行用户只需要提交程序即可测试运行结果可以远程浏览用户还能 够参照案例库进行学习和改进实用性强现有同类大数据 实验教学系统或科研系统一般只具备一种编程语言且缺 乏案例库管理功能多数案例只能再单机下运行不具备分 布式计算特点。