大数据项目实战教学大纲.docx

《大数据项目实战教学大纲.docx》由会员分享，可在线阅读，更多相关《大数据项目实战教学大纲.docx（5页珍藏版）》请在汇文网上搜索。

1、大数据项目实战课程教学大纲（课程英文名称）课程编号：201800522062学 分：5学分学 时：46学时 （其中：讲课学时24 上机学时：22）先修课程： Hadoop后续课程：Spark适用专业：大数据应用技术开课部门：一、课程的性质与目标Hadoop项目实战是互联网+创业教育学院软件工程（大数据、人工智能）专业的一门校定必修专业课。通过学习课程有助于学生综合运用大数据课程知识以及各种工具软件实现大数据分析全流程操作，并通过编写程序与理论讲解相结合的形式加深了解；同时对Hadoop离线数据分析项目的开发过程有所了解，如数据的采集、数据的预处理、数据的分析以及最终达到数据可视化的目的。开设本

2、学科的目的是让学生掌握如何使用大数据分析技术解决特定业务领域的问题。完成本课程学习后能够熟练的应用大数据技术解决企业中的实际生产问题。二、教学条件要求操作系统：Center OSHadoop版本：Hadoop2.7.4 Hive版本：Hive1.2.1Sqoop版本：Sqoop1.4.6Mysql版本：Mysql5.7.25虚拟化工具：VMware Workstation 开发工具：Eclipse三、课程的主要内容及基本要求第1章 项目概述章名项目概述学时2学习目标1. 掌握项目需求和目标2. 了解项目架构设计和技术选型3. 了解项目环境和相关开发工具4. 理解项目开发流程知识点了解掌握重点难

3、点项目需求和目标预备知识项目架构设计及技术选取开发环境和开发工具介绍项目开发流程第2章 搭建大数据集群环境章名搭建大数据集群环境学时10学习目标1. 了解虚拟机的安装和克隆2. 熟悉虚拟机网络配置和SSH服务配置3. 掌握Hadoop集群的搭建4. 掌握Hive的安装5. 掌握Sqoop的安装知识点了解掌握重点难点虚拟机安装与克隆虚拟机网络配置SSH服务配置JDK安装Hadoop安装Hadoop集群配置Hadoop集群测试通过UI界面查看Hadoop运行状态Hive的安装模式Hive安装Sqoop安装第3章 数据采集章名数据采集学时7学习目标1. 了解HTTP协议2. 了解爬虫的基本原理3.

4、掌握HDFS API的基本使用4. 熟悉HttpClient爬虫的使用方法知识点了解掌握重点难点数据源分类HTTP请求过程认识HttpClient分析网页数据结构数据采集环境准备创建响应结果JavaBean类封装HTTP请求的工具类封装储存在HDFS数据工具类实现网页数据采集第4章 数据预处理章名数据预处理学时8学习目标1. 了解数据预处理流程2. 掌握编写MapReduce程序3. 熟悉HDFS Shell的基本使用4. 掌握MapReduce程序的两种运行模式知识点了解掌握重点难点分析预处理数据设计数据预处理方案数据预处理环境准备创建数据转换类创建实现Map任务的Mapper类创建MapR

5、educe主程序并执行程序将数据预处理程序提交到集群中运行第5章 数据分析章名数据分析学时7学习目标1. 了解数据分析2. 了解数据仓库3. 掌握Hive的操作4. 掌握HQL语句的使用知识点了解掌握重点难点数据分析概述什么是Hive设计Hive数据仓库实现数据仓库职位区域分析职位薪资分析公司福利分析职位技能要求分析第6章 数据可视化章名数据可视化学时15学习目标1. 掌握Sqoop数据迁移工具的使用2. 熟悉关系型数据库MySQL3. 掌握SSM JAVAEE开发框架的整合及应用4. 掌握Echarts前端框架的使用知识点了解掌握重点难点系统介绍系统架构创建关系型数据库通过Sqoop实现数据

6、迁移平台环境搭建实现职位区域分布展示实现薪资分布展示实现福利标签词云图实现技能标签词云图平台可视化展示四、学时分配章目讲课上机合计第1章 项目概述2学时0学时2学时第2章 搭建大数据集群环境4学时6学时10学时第3章 数据采集4学时3学时7学时第4章 数据预处理3学时3学时6学时第5章 数据分析3学时2学时5学时第6章 数据可视化8学时8学时16学时合计24学时22学时46学时五、考核模式与成绩评定办法本课程为考试课程，期末考试采用百分制的闭卷考试模式。学生的考试成绩由平时成绩（30%）和期末考试（70%）组成，其中，平时成绩包括出勤（5%）、作业（5%）、上机成绩（20%）。六、选用教材和主要参考书本大纲是根据教材Hadoop项目实战所设计的。七、大纲说明本课程的授课模式为：课堂授课+上机，其中，课堂主要采用多媒体的方式进行授课，要求学生掌握项目内容及程序设计思想；上机主要是编写程序，要求学生动手完成指定的程序设计或验证。撰写人： 审定人：批准人： 执行时间：