课程下载地址:链接: http://pan.baidu.com/s/1kTggcb9 密码: 9mfn
网盘失效的话,请加QQ:3113533060
课程内容:
第一周 Spark生态系统概述与编程模型
Spark生态系统概述
回顾Hadoop MapReduce
Spark运行模式
RDD
Spark运行时模型简介
缓存策略介绍
transformation
action
lineage
容错处理
宽依赖与窄依赖
集群配置
第二周 深入Spark内核
Spark术语解释
集群概览
核心组件
数据本地性
常用RDD
任务调度
DAGScheduler
TaskScheduler
Task细节
广播变量
累加器
性能调优
第三周 Spark on Yarn & Spark as a service
Spark on Yarn原理
Spark on Yarn实践
JobServer架构
JobServer API介绍
JobServer配置与部署
第四周 Spark Streaming原理与实践
DStream
数据源
无状态transformation与有状态transformation
checkpoint
容错
性能优化
第五周 Shark与Spark SQL
Shark数据模型
Shark数据类型
Shark架构
Shark部署
缓存(分区)表
SharkServer
Shark与Spark结合
Spark SQL架构
Parquet支持
DSL
SQL on RDD
Hive支持
UDF
JDBC Server
第六周 Machine Learning on Spark
LinearRegression
K-Means
Collaborative Filtering
第七周 Spark多语言编程
Python简介
PySpark API
使用Python编写Spark程序
Spark with Java
第八周 图计算GraphX
现存的图计算框架
Table Operators
Graph Operators
GraphX设计
第九周 Tachyon原理与实践
Tachyon原理与架构
Tachyon实践
第十周 SparkR
SparkR原理介绍
安装配置与运行
课程目录:
观看说明(必看)
课时1、培训须知
课时2、Spark生态系统概述与编程模型
课时3、Spark生态系统概述与编程模型(一)
课时4、Spark生态系统概述与编程模型(二)
课时5、Spark生态系统概述与编程模型(三)
课时6、Spark生态系统概述与编程模型(四)
课时7、第一周作业,请于9月21日晚12点前提交
课时8、资料
课时9、深入Spark内核(上)
课时10、深入Spark内核(下)
课时11、第二周作业,请于9月28日晚12点前提交
课时12、Spark on Yarn资料
课时13、JobServer资料
课时14、Spark on Yarn
课时15、Spark as a Service
课时16、第三周作业,请于10月5日晚12点前提交
课时17、Streaming资料
课时18、Spark Streaming(上)
课时19、Spark Streaming(下)
课时20、Streaming-1.x(变动)
课时21、第四周作业,请于10月12日晚12点前提交
课时22、Shark 与 Spark SQL资料
课时23、Shark(上)
课时24、Shark(下)
课时25、Spark SQL(上)
课时26、Spark SQL(下)
课时27、第五周作业,请于10月19日晚12点前提交
课时28、第六周课程资料
课时29、MLlib
课时30、Spark 1.x 变动说明
课时31、第六周作业,请于10月26日晚12点前提交
课时32、第七周资料
课时33、Spark多语言编程
课时34、补充说明
课时35、第七周作业,请于11月2日晚12点前提交
课时36、第八周资料
课时37、Tachyon(1)
课时38、Tachyon(2)
课时39、第八周作业,请于11月9日晚12点前提交
课时40、第九周资料
课时41、SparkR-Part1
课时42、SparkR-Part2
课时43、第九周作业,请于11月16日晚12点前提交
课时44、第十周资料
课时45、GraphX-Part1
课时46、GraphX-Part2
课时47、GraphX-Part3
课时48、第十周作业,请于11月23日晚12点前提交
分享到:
相关推荐
Spark2.x机器学习实战(算法篇:基于Kaggle竞赛数据集,六大算法模型构建),本课程主要讲解基于Spark 2.x的机器学习库,MLlib实现了常用的机器学习,如:聚类、分类、回归等6大算法,使用Kaggle竞赛数据集模型构建...
基于Spark2.x机器学习十大案例全方位剖析视频教程 十大案例全方位剖析: 案例1、基于Kaggle的StumbleUpon数据集构建分类系统 案例2、基于BikeSharing数据集构建回归模型 案例3、基于NewsCorpora数据集文本处理新闻...
视频详细讲解,需要的小伙伴自行百度网盘下载,链接见附件,永久有效。 共课程包含9个章节: Spark环境搭建 SparkCore SparkStreaming SparkSQL StructuredStreaming Spark综合案例 Spark多语言开发 Spark3.0新特性 ...
大数据学习视频资料Linux基础教程 hadoop2.x spark storm flume
本教程基于Spark技术高仿驴妈妈旅游网实现的电商行为分析(视频+讲义+代码),涉及核心技术包括但不限于:基于CDH 5.x版本HADOOP生态组件,8台机器,Spark ,HBASE,HIVE,Spark,SparkSQL等
课程分享——Spark从入门到上手实战视频教程,完整版下载,含代码、软件、笔记、课件等。Spark属于新起的基于内存处理海量数据的框架,由于其快速被众公司所青睐。Spark 生态栈框架,非常的强大,可以对数据进行...
Java9 、Java10 、MySQL优化 、JVM原理 、JUC多线程、 CDH版Hadoop Impala、 Flume 、Sqoop、 Azkaban、 Oozie、 HUE、 Kettle、 Kylin 、Spark 、Mllib机器学习、 Flink、 Python、 SpringBoot、 Hadoop3.x新特性、...
包含常见大数据技术的资料和视频,例如 hadoop2.x、hive、hbase、flume、storm、spark等,以及mongodb、redis数据库资料等。资源需要下载,解压密码见文件名
Spark从入门到上手实战视频教程,完整版下载,含代码、软件、笔记、课件等。 Spark属于新起的基于内存处理海量数据的框架,由于其快速被众公司所青睐。Spark 生态栈框架,非常的强大,可以对数据进行批处理、流式...