掌握Spark机器学习库 大数据开发技能更进一步

admin

掌握Spark机器学习库 大数据开发技能更进一步

掌握Spark机器学习库 大数据开发技能更进一步

“大数据时代”已经不是一个新鲜词汇了，随着技术的商业化推广，越来越多的大数据技术已经进入人们的生活。与此同时，大数据技术的相关岗位需求也越来越多，更多的同学希望向大数据方向转型。本课程主要讲解Spark机器学习库，侧重实践的讲解，同时也以浅显易懂的方式介绍机器学习算法的内在原理。学习本课程，可以为想要转型大数据工程师或是入行大数据工作的同学提供实践指导作用。欢迎感兴趣的小伙伴们一起来学习。

第1章 初识机器学习

在本章中将带领大家概要了解什么是机器学习、机器学习在当前有哪些典型应用、机器学习的核心思想、常用的框架有哪些，该如何进行选型等相关问题。

1-1 导学

1-2 机器学习概述

1-3 机器学习核心思想

1-4 机器学习的框架与选型..

第2章 初识MLlib

本章中，将介绍Spark的机器学习库，对比Spark当前两种机器学习库（MLLib/ML）的区别，同时介绍Spark机器学习库的应用场景以及行业应用优势。

2-1 MLlib概述

2-2 MLlib的数据结构

2-3 MLlib与ml

2-4 MLlib的应用场景

第3章 实战环境搭建

本章中，将介绍如何进行实战环境搭建。包括如何完成Spark环境安装配置、如何通过Spark Shell进行编程，并通过 Wordcount 入门程序，完成部署和测试。

3-1 Spark环境安装

3-2 Spark配置若干要点

3-3 学习Spark shell

3-4 实战Wordcount

第4章 数据可视化

本章中，将对数据可视化进行介绍，告诉大家什么是数据可视化，我们通过数据可视化能对大数据系统起到怎样的作用，并结合 Echars 介绍了如何实现常见的数据可视化图表（折线图、柱状图、散点图）。

4-1 数据可视化的作用及常用方法

4-2 初识Echarts

4-3 通过Echarts实现图表化数据展示

第5章 Spark的矩阵与向量

本章中，将讲解矩阵与向量的一些基本运算，并介绍Spark的矩阵与向量的操作，帮助数据基础薄弱的同学补齐短板。

5-1 矩阵与向量介绍

5-2 Spark中实践向量的使用

5-3 Spark中实践矩阵的使用

第6章 Spark基础统计模块

本章中，将概要介绍Spark的基础统计模块、简单的统计学知识、相关系数以及假设检验的知识，拓展大家的技术视野。

6-1 基础统计模块及常用统计学知识介绍

6-2 实战统计汇总

6-3 学习相关系数

6-4 学习假设检验

游客，如果您要查看本帖隐藏内容请回复