请选择 进入手机版 | 继续访问电脑版

玩转热门框架 用企业级思维 开发通用够硬的大数据平台 完整版

104
回复
2672
查看
  [复制链接]
  • TA的每日心情

    7 小时前
  • 签到天数: 283 天

    [LV.8]以坛为家I

    4601

    主题

    5574

    帖子

    76万

    积分

    管理员

    Rank: 9Rank: 9Rank: 9

    积分
    769888
    发表于 2020-2-19 23:19:12 | 显示全部楼层 |阅读模式
    5e40f9d408e7c86b06000338-360-202.jpg

    第1章 课程导学与学习指南
    本章中将向大家介绍课程能学到什么、解决什么实际问题、项目成果展示,课程整体安排以及如何学习更高效。

    第2章 认识企业中的大数据平台
    为什么要有大数据平台?大数据平台究竟是为了解决什么问题产生的?如何判断一个大数据平台的好坏?在设计一个数据平台时,需要注意哪些,有什么步骤。各大企业现有的解决方案有哪些,常见的技术栈有哪些,我们自己设计的这个通用的大数据平台是什么结构。...

    第3章 大数据平台 —— 数据仓库之离线&实时
    你真的理解数据仓库是什么吗?数据仓库如何进行分层,为什么要分层呢?分层一定好吗?带你理解数据仓库,逐步掌握离线数仓工具Hive。对比离线数仓和实时数仓,了解实时数仓常见架构。

    第4章 大数据平台——数据仓库之权限管理
    解决三大问题:数仓安全问题,对比常见权限认证框架,使用Ranger开发数仓权限模块;数据来源问题,对常用数据采集工具进行介绍,使用DataX进行数据采集;数仓管理问题,介绍数据治理的概念及ApacheAtlas

    第5章 大数据平台 —— 调度系统
    解决离线批处理任务的定时执行问题,对主流调度框架Azkaban进行架构介绍、特性讲解和部署应用。通过Java程序调用Azkaban相关接口,实现创建任务、调度任务功能,实现API接口封装

    第6章 大数据平台 —— 计算引擎
    平台的计算引擎是基于Spark构建的,依托了Yarn进行资源调度。本章从Spark架构、核心介绍及部署开始,进行Spark部分开发。之后接入Spark SQL模块。最后介绍了Spark的一些高阶调优技巧。

    第7章 大数据平台建设 —— SQL查询引擎
    介绍SQL On Hadoop 方案。对Presto架构和应用做了一些介绍,利用Presto作为底层的SQL查询引擎,实现快速查询和多数据源查询。涉及Presto的配置优化,自定义函数、EventListener、以及通用UDF的开发,最后完成Presto On Yarn部署

    第8章 大数据平台建设 —— 监控预警
    集群监控能提高资源利用率,有效管理整个集群,本章对常见集群的预警方案做了介绍和应用,最后通过Ganafa展示项目监控数据

    第9章 大数据平台建设 —— 管理整合、任务定制
    整合前面章节中开发的数仓管理功能,整合数仓权限、数据治理和数据采集,通过界面化配置实现数据采集任务定制。实现任务调度功能,实现shell命令、JAVA程序、Python程序、Spark程序的运行和管理

    第10章 系统集成及可视化
    实现多引擎的数据查询及可视化模块,生成图表进行展示。将前面的数据仓库、调度系统、SQL引擎、计算引擎、预警监控系统、元数据管理系统等等,如何将他们集成到一起构建大数据平台


    游客,如果您要查看本帖隐藏内容请回复

    回复

    使用道具 举报

  • TA的每日心情
    郁闷
    2020-8-29 01:35
  • 签到天数: 100 天

    [LV.6]常住居民II

    1

    主题

    192

    帖子

    5123

    积分

    终身会员

    Rank: 6Rank: 6

    积分
    5123
    发表于 2020-2-20 21:12:58 | 显示全部楼层
    666666666666
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    2020-10-21 08:30
  • 签到天数: 65 天

    [LV.6]常住居民II

    2

    主题

    165

    帖子

    3876

    积分

    终身会员

    Rank: 6Rank: 6

    积分
    3876
    发表于 2020-2-21 14:42:14 | 显示全部楼层
    感谢分享
    回复

    使用道具 举报

  • TA的每日心情
    奋斗
    2020-10-13 09:02
  • 签到天数: 208 天

    [LV.7]常住居民III

    3

    主题

    423

    帖子

    7751

    积分

    终身会员

    Rank: 6Rank: 6

    积分
    7751
    发表于 2020-2-21 15:13:51 | 显示全部楼层
    谢谢楼主的分享!
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    擦汗
    2020-6-13 13:13
  • 签到天数: 82 天

    [LV.6]常住居民II

    2

    主题

    123

    帖子

    4337

    积分

    终身会员

    Rank: 6Rank: 6

    积分
    4337
    发表于 2020-2-21 18:43:35 | 显示全部楼层
    感谢分享!!!!!!
    回复

    使用道具 举报

  • TA的每日心情
    奋斗
    2020-10-12 18:58
  • 签到天数: 55 天

    [LV.5]常住居民I

    3

    主题

    149

    帖子

    1773

    积分

    终身会员

    Rank: 6Rank: 6

    积分
    1773
    发表于 2020-2-22 13:36:21 | 显示全部楼层
    谢谢楼主分享
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    慵懒
    2020-9-7 23:28
  • 签到天数: 367 天

    [LV.9]以坛为家II

    18

    主题

    592

    帖子

    1万

    积分

    终身会员

    Rank: 6Rank: 6

    积分
    12976
    发表于 2020-2-24 22:32:52 | 显示全部楼层
    谢谢分享
    回复

    使用道具 举报

  • TA的每日心情
    无聊
    9 小时前
  • 签到天数: 241 天

    [LV.8]以坛为家I

    2

    主题

    300

    帖子

    8409

    积分

    终身会员

    Rank: 6Rank: 6

    积分
    8409
    发表于 2020-3-2 07:52:14 | 显示全部楼层
    666666666666666
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    2020-3-5 13:36
  • 签到天数: 1 天

    [LV.1]初来乍到

    0

    主题

    3

    帖子

    2054

    积分

    金牌会员

    Rank: 6Rank: 6

    积分
    2054
    发表于 2020-3-5 13:46:50 | 显示全部楼层
    不错不错
    回复

    使用道具 举报

  • TA的每日心情
    慵懒
    2020-9-1 08:55
  • 签到天数: 107 天

    [LV.6]常住居民II

    2

    主题

    269

    帖子

    5229

    积分

    终身会员

    Rank: 6Rank: 6

    积分
    5229
    发表于 2020-3-6 12:02:44 | 显示全部楼层
    感谢分享
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    学习课程!一站搞定!
    学途无忧VIP会员群

    973849140

    周一至周日9:00-23:00

    反馈建议

    169371168@qq.com 在线QQ咨询

    扫描二维码关注我们

    学途无忧!为学习谋坦途,为会员谋福利!|网站地图