数据挖掘与大数据分析是以计算机基础为基础,以挖掘算法为核心,紧密面向行业应用的一门综合性学科。其主要技术涉及概率论与数理统计、数据挖掘、算法与数据结构、计算机网络、并行计算等多个专业方向,因此该学科对于实验室具有较高的专业要求。实验室不仅要提供基础的开发环境,还要提供大数据的运算环境以及用于实验的实战大数据案例。这些实验素材的准备均需专业的大数据实验室作为支撑。
目前,在我国高校的专业设置上与数据挖掘与大数据分析实验相关的学科专业包括:计算机科学与技术、信息管理与信息系统、统计学、经济、金融、贸易、生物信息以及公共卫生等。这些专业的学生需要分别从原理、技术与应用等不同的角度掌握大数据分析的理论与分析方法。学生要很好地掌握这些课程,除了课堂学习,通过实验来加深理解和提高实际应用操作能力也是主要途径。调查表明,数据挖掘与大数据分析实验所需要的算法、计算环境以及数据等,都无法在我国高校现有的实验室中完成。因此,建设专门的数据挖掘与大数据分析实验室就显得非常重要。
实验室建设的意义:大数据已经给新兴互联网企业(如电子商务、搜索引擎、社交网络、互联网营销等)、银行金融企业、高端装备制造企业等带来了巨大的商业机遇,大数据在整个企业的价值增值链中发挥着至关重要的决定性作用。大数据同时正在成为和企业竞争的新焦点,各大企业正纷纷投向大数据促生的新蓝海,给大数据行业带来新的发展机遇。
建设大数据专业教学实训实验室,开展以大数据为方向的创新专业,项目实训,能有效实现快速引进入国内外大数据先进的技术、成熟的解决方案以及管理和教学内容。同时达到为社会输送合格的大数据技术人才,提升本校毕业生的就业率和就业质量;使高等院校在新技术教学成果展示,数据挖掘,数据分析,商业智能等科研方向,以及校企合作领域处于领先地位。实现科研、教学与社会服务的顺畅衔接,逐步打造以培养大数据为核心人才的科研、教学基地。同时,建设大数据云实验室将带给教师和学生领略大数据技术的魅力和广阔前景,使学生掌握主流的大数据存储、管理、分析处理技术,以及大数据平台架构和建设,分享成功的大数据应用项目实施经验,学习大数据应用项目解决方案咨询服务。
大数据实验室建设:
(1)基础环境建设
实验室基础环境建设主要是支撑实验室的基本环境配套建设,包括学生实验用桌椅、教学用投影音响器材、实验室空调系统、综合布线系统、安防监控系统及实验室装修系统等。通过这些基础支撑环境的建设,才能保证实验室正常为教学和科研服务。
(2)IT环境建设
IT环境建设包括实验终端个人电脑和存储规划建设。
学生实验终端计算机一方面可以采用普通终端PC机,组合成实验室局域网,支撑学生进行实验,另一方面随着云计算技术的发展,学生计算机可以采用虚拟桌面云终端的设计方式,通过采用专用云资源服务器及存云调度设备进行设计,利用服务器虚拟化的方法来对终端进行支撑,用户通过部署在实验台的瘦客户端进行实验操作,所有应用、数据统一存放在后台服务器,虚拟桌面云终端不存放任何数据,可被管理工具统一管理,包括分发系统、更新软件、远程监控、审计等操作。虚拟桌面云平台也通过虚拟化平台的管理工具管理,大大降低维护人员的重复工作量。
(3)网络环境建设
数据挖掘与大数据分析实验室网络部署环境如上图所示。其中,路由器和交换机等网络设备将用户和存储连接起来,是用户之间以及用户与资源之间的通信设备;实训平台设备提供云存储和统一资源调度系统功能,其可以是一台设备,也可以是多台设备的集群部署,以提高设备的虚拟化能力,用户通过统一资源调度平台调用其中的所所有资源,而无需关注硬件设备;管理员可以对平台进行统一管理,包括账户管理、资源管理、实验管理等;普通用户可以通过平台进行各项数据挖掘实验及技术验证等操作。
实验室建设内容
数据挖掘与大数据分析相关教学与实训资源
教学与实训过程管理平台 - 泰迪智能科技云教学平台
云计算平台 - 泰迪智能科技云基础桌面云平台
大数据课程体系建设与学科规划
大数据作为继云计算、物联网之后IT行业又一颠覆性的技术,备受关注。大数据无处不在,包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的社会各行各业,都融入了大数据的印迹,大数据对人类的社会生产和生活必将产生重大而深远的影响。大数据时代的到来,迫切需要高校及时建立大数据技术课程体系,为社会培养和输送一大批具备大数据专业素养的高级人才,满足社会对大数据人才日益旺盛的需求。
根据现有国内外高校开展大数据课程的建设经验以及现有的大数据技术就业市场需求而制定的,让学生具备研究大数据科学与工程领域问题和解决实际大数据应用问题的能力,系统地掌握信息技术、数据分析、云计算技术、信息处理等基本理论、知识和技能,并且能够根据所学的实训知识与方法技术从事实际的大数据分析工作,具备创新能力和实际操作能力。
(1) 培养目标
大数据技术课程旨在培养能够熟练掌握并利用计算机技术、大数据存储管理技术、大数据分析挖掘技术,具备数据爆炸时代能够解决实际大数据应用问题的理论与实践能力并长的高素质复合型管理人才。
(2) 培养要求
大数据技术专业的学生应具备的知识和能力如下:
系统地掌握计算机数据结构、操作系统、数据库原理技术、分布式系统技术、数据分析的基本理论与技术;
能够熟练运用所学的大数据技术知识、信息处理等方法进行信息系统设计、开发实施和部署应用;
能够承担行业内软件公司的大数据应用系统开发、企业信息数据基础设施的咨询规划和大数据分析工作