请选择 进入手机版 | 继续访问电脑版

SparkSQL极速入门 整合Kudu实现广告业务数据分析 完整版

120
回复
4687
查看
  [复制链接]
  • TA的每日心情
    开心
    25 分钟前
  • 签到天数: 339 天

    [LV.8]以坛为家I

    5075

    主题

    6104

    帖子

    87万

    积分

    管理员

    Rank: 9Rank: 9Rank: 9

    积分
    876349
    发表于 2019-11-9 20:55:49 | 显示全部楼层 |阅读模式
    5d844ae7089e674906000338-360-202.jpg

    第1章 课程介绍&学习指南
    本章会对这门课程进行说明并进行学习方法介绍。

    第2章 为什么要学Spark
    Spark作为近几年最火爆的大数据处理技术,是成为大数据工程师必备的技能之一。本章节将从如下几个方面对Spark进行一个宏观上的介绍:Spark产生背景、特性、环境部署、Spark与Hadoop的对比、Spark开发语言及运行模式等。

    第3章 Spark SQL快速入门
    Spark SQL面世已来,深受小伙伴们的喜爱,继续为Spark用户提供高性能SQL on Hadoop解决方案,还为Spark带来了通用、高效、多元一体的结构化数据处理能力。本章将从为什么要学习SQL/Spark SQL、SQL on Hadoop框架、Spark SQL概述、架构及快速入门,这几个角度进行展开讲解...

    第4章 Spark SQL API编程
    DataFrame&Dataset是Spark2.x中最核心的编程对象,Spark2.x中的子框架能够使用DataFrame或Dataset来进行数据的交互操作。本章将从DataFrame的概述、DataFrame对比RDD、DataFrame API操作等方面对DataFrame做详细的编程开发讲解。

    第5章 Data Source API
    Spark SQL中的核心功能,可以使用Data Source API非常方便的对存储在不同系统上的不同格式的数据进行操作。本章将讲解如何使用Data Source API来操作text、json、Parquet、JDBC中的数据以及综合使用。

    第6章 整合Hive操作及函数
    如何使用Spark对接已有数据仓库Hive中的数据,这是在生产中常见的问题。本章将讲解如何使用Spark无缝对接Hive中已有数据进行处理,thriftserver的使用、以及如何使用Spark SQL中的内置函数以及自定义函数。

    第7章 Kudu入门
    近两年,KUDU在大数据平台的应用越来越广泛,她是Cloudera开源的运行在Hadoop平台上的列式存储系统,能够为我们提供“fast analytics on fast data”。本章将从Kudu的核心概念、架构、部署、API操作以及Spark整合Kudu的使用展开讲解。

    第8章 基于Spark SQL和Kudu的广告业务项目实战(一)
    本章使用Spark SQL整合Kudu对广告业务项目进行统计分析操作。涉及到的过程有:项目架构、数据清洗、数据统计、结果入库、项目重构。通过本实战项目将Spark SQL和Kudu中的知识点融会贯通,达到举一反三的效果 。

    第9章 基于Spark SQL和Kudu的广告业务项目实战(二)
    基于上一章节做更复杂维度的统计分析,作业的封装、调度。

    第10章 Spark调优策略
    Spark应用调优是一个在生产上或者面试中老生常谈的问题,本章节将从资源设置、广播变量、Shuffle、JVM引发的相关角度逐一展开讲解。

    第11章 Presto初识
    Preso也是当下用的非常多的一种SQL on Hadoop的解决方案。本章节将从Presto架构、API操作等角度出发,通过一个案例来进行综合演练。

    第12章 云平台建设的思考
    本章将从如何建设大数据云平台的角度,涉及到数据平台的N个方面,是小伙伴以后进入大厂工作奠定基础,同时也会从Spark vs Flink的角度来为小伙伴们分析选型时的疑惑。


    游客,如果您要查看本帖隐藏内容请回复

    回复

    使用道具 举报

  • TA的每日心情
    难过
    3 天前
  • 签到天数: 60 天

    [LV.6]常住居民II

    2

    主题

    79

    帖子

    1526

    积分

    终身会员

    Rank: 6Rank: 6

    积分
    1526
    发表于 2019-11-10 22:30:55 | 显示全部楼层
    看看!!!!!!!!!!!!!!!!
    回复

    使用道具 举报

  • TA的每日心情
    无聊
    2021-4-2 14:19
  • 签到天数: 82 天

    [LV.6]常住居民II

    5

    主题

    139

    帖子

    4418

    积分

    终身会员

    Rank: 6Rank: 6

    积分
    4418
    发表于 2019-11-11 20:50:09 | 显示全部楼层
    SparkSQL极速入门
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    4 天前
  • 签到天数: 319 天

    [LV.8]以坛为家I

    8

    主题

    481

    帖子

    1万

    积分

    终身会员

    Rank: 6Rank: 6

    积分
    10784
    发表于 2019-11-12 01:05:42 | 显示全部楼层
    谢谢分享
    回复

    使用道具 举报

  • TA的每日心情

    2020-6-11 11:12
  • 签到天数: 46 天

    [LV.5]常住居民I

    1

    主题

    102

    帖子

    3543

    积分

    终身会员

    Rank: 6Rank: 6

    积分
    3543
    发表于 2019-11-13 10:11:09 | 显示全部楼层
    Kudu也是我想学的,虽然还要继续等
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2021-2-27 10:43
  • 签到天数: 132 天

    [LV.7]常住居民III

    1

    主题

    255

    帖子

    5754

    积分

    终身会员

    Rank: 6Rank: 6

    积分
    5754
    发表于 2019-11-13 11:33:04 | 显示全部楼层
    SparkSQL极速入门 整合Kudu实现广告业务数据分析 [修改]
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    4 天前
  • 签到天数: 56 天

    [LV.5]常住居民I

    4

    主题

    160

    帖子

    4593

    积分

    终身会员

    Rank: 6Rank: 6

    积分
    4593
    发表于 2019-11-14 14:41:34 | 显示全部楼层
    啥也不说了感谢楼主分享
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    2019-11-18 14:07
  • 签到天数: 10 天

    [LV.3]偶尔看看II

    2

    主题

    34

    帖子

    2333

    积分

    终身会员

    Rank: 6Rank: 6

    积分
    2333
    QQ
    发表于 2019-11-14 15:12:23 | 显示全部楼层
    6334634563456
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    慵懒
    2020-9-7 23:28
  • 签到天数: 367 天

    [LV.9]以坛为家II

    18

    主题

    592

    帖子

    1万

    积分

    终身会员

    Rank: 6Rank: 6

    积分
    12976
    发表于 2019-11-17 14:13:46 | 显示全部楼层
    感谢分享
    回复

    使用道具 举报

  • TA的每日心情
    郁闷
    2021-4-7 08:54
  • 签到天数: 152 天

    [LV.7]常住居民III

    3

    主题

    398

    帖子

    6777

    积分

    终身会员

    Rank: 6Rank: 6

    积分
    6777
    发表于 2019-11-17 17:48:05 | 显示全部楼层
    不错不错不错
    回复 支持 反对

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    学习课程!一站搞定!
    学途无忧VIP会员群

    973849140

    周一至周日9:00-23:00

    反馈建议

    1227072433@qq.com 在线QQ咨询

    扫描二维码关注我们

    学途无忧!为学习谋坦途,为会员谋福利!|网站地图