友讯社区

 找回密码
 立即注册
搜索
热搜: java c++
查看: 453|回复: 12

[项目实战] 日志分析为例进入大数据 Spark SQL 的世界 共10章

[复制链接]

2585

主题

2590

帖子

1万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
13394
发表于 2018-7-10 03:01:28 | 显示全部楼层 |阅读模式

第1章 初探大数据
本章将介绍为什么要学习大数据、如何学好大数据、如何快速转型大数据岗位、本项目实战课程的内容安排、本项目实战课程的前置内容介绍、开发环境介绍。同时为大家介绍项目中涉及的Hadoop、Hive相关的知识


第2章 Spark及其生态圈概述
Spark作为近几年最火爆的大数据处理技术,是成为大数据工程师必备的技能之一。本章将从如下几个方面对Spark进行一个宏观上的介绍:Spark产生背景、特点、发展史、Databricks官方调查结果、Spark与Hadoop的对比、Spark开发语言及运行模式介绍 ...


第3章 实战环境搭建
工欲善其事必先利其器,本章讲述Spark源码编译、Spark Local模式运行、Spark Standalone模式运行


第4章 Spark SQL概述
Spark SQL面世已来,它不仅接过了Shark的接力棒,继续为Spark用户提供高性能SQL on Hadoop解决方案,还为Spark带来了通用、高效、多元一体的结构化数据处理能力。本章将从Spark SQL前世今生、SQL on Hadoop框架、Spark SQL概述、愿景、架构,这几个角度进行展开讲解...


第5章 从Hive平滑过渡到Spark SQL
Hive是SQL-on-Hadoop的解决方案和默认的标准,如何将数据处理从Hive过渡到Spark SQL上来是我们必须要掌握的。本章我们将讲解在Spark中操作Hive中的数据几种方式


第6章 DateFrame&Dataset
DataFrame&Dataset是Spark2.x中最核心的编程对象,Spark2.x中的子框架能够使用DataFrame或Dataset来进行数据的交互操作。本章将从DataFrame的产生背景、DataFrame对比RDD、DataFrame API操作等方面对DataFrame做详细的编程开发讲解


第7章 External Data Source
Spark SQL中的核心功能,可以使用外部数据源非常方便的对存储在不同系统上的不同格式的数据进行操作。本章将讲解如何使用外部数据源来操作Hive、Parquet、MySQL中的数据以及综合使用


第8章 SparkSQL愿景
本章将讲解Spark的愿景:写更少的代码、读更少的数据、让优化器自动优化程序


第9章 慕课网日志实战
本章使用Spark SQL对慕课网主站的访问日志进行各个维度的统计分析操作,涉及到的过程有:数据清洗、数据统计、统计结果入库、数据的可视化、调优及Spark on YARN。通过本实战项目将Spark SQL中的知识点融会贯通,达到举一反三的效果 ...


第10章 Spark SQL扩展和总结
本章将列举Spark SQL在工作中经常用到的方方方面的总结

游客,如果您要查看本帖隐藏内容请回复


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复

使用道具 举报

0

主题

65

帖子

465

积分

永久vip

Rank: 5Rank: 5

积分
465
发表于 2019-1-22 14:29:47 | 显示全部楼层
啥也不说了,感谢楼主分享哇!
回复

使用道具 举报

0

主题

133

帖子

813

积分

永久vip

Rank: 5Rank: 5

积分
813
发表于 2019-1-30 23:43:42 | 显示全部楼层
啥也不说了,感谢楼主分享哇!
回复

使用道具 举报

0

主题

1

帖子

6

积分

新手上路

Rank: 1

积分
6
发表于 2019-4-8 21:15:54 | 显示全部楼层
谢谢分享啊
回复

使用道具 举报

0

主题

289

帖子

1962

积分

永久vip

Rank: 5Rank: 5

积分
1962
发表于 2019-4-9 09:15:53 | 显示全部楼层
谢谢分享啊
回复

使用道具 举报

0

主题

1

帖子

6

积分

新手上路

Rank: 1

积分
6
发表于 2019-5-1 21:11:35 | 显示全部楼层
楼主,请求分享
回复

使用道具 举报

0

主题

2

帖子

18

积分

新手上路

Rank: 1

积分
18
发表于 2019-6-28 14:11:08 | 显示全部楼层
谢谢分享
回复

使用道具 举报

0

主题

1

帖子

6

积分

新手上路

Rank: 1

积分
6
发表于 2019-7-3 11:59:31 | 显示全部楼层
感谢分享,回复看看
回复

使用道具 举报

0

主题

16

帖子

87

积分

永久vip

Rank: 5Rank: 5

积分
87
发表于 2019-7-11 20:01:26 | 显示全部楼层
sdfdsfdg
回复

使用道具 举报

0

主题

477

帖子

1644

积分

永久vip

Rank: 5Rank: 5

积分
1644
发表于 2019-7-22 05:27:39 | 显示全部楼层
啥也不说了,感谢楼主分享哇!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

友讯社区

GMT+8, 2020-6-4 09:29 , Processed in 0.077326 second(s), 30 queries .

Copyright © 2018 友讯IT社区

如果有侵权内容、不妥之处,请联系我们删除。敬请谅解! Email:iyx668@foxmail.com

快速回复 返回顶部 返回列表