好程序员-千锋教育旗下高端IT职业教育品牌

400-811-9990
  • 客服QQ
  • 官方微信

    好程序员

    专注高端IT职业培训

[BigData] Spark基础及源码分析视频

[复制链接]
2280 0
梁栋 发表于 2018-12-3 15:27:19 | 只看该作者 |只看大图 |阅读模式 打印 上一主题 下一主题
Spark基础及源码分析视频

以Java语言为蓝本, 讲解scala的语法特征以及Spark生态系统下 的大数据开发技术。课程包含Spark环境的搭建、 Spark源码和Spark框架等。 从内到外,挖掘Spark的五脏六腑。 学员具备中级scala开发工程师水平

  • BigData

    课程分类

  • 104课时

    总课时

  • 初级

    课程难度

  • 网盘密码

课程试学目录
  • 认识Scala

  • 安装开发环境

  • Scala Shell、用IDEA创建Maven项目

  • 配置Maven本地仓库、导入切换项目等其它配置

  • Scala的7种值类型和条件表达式

课程信息
本帖最后由 梁栋 于 2018-12-11 16:43 编辑

课程介绍:以Java语言为蓝本,讲解scala的语法特征以及Spark生态系统下 的大数据开发技术。课程包含Spark环境的搭建、 Spark源码和Spark框架等。 从内到外,挖掘Spark的五脏六腑。 学员具备中级scala开发工程师水平


章节目录及简介:
大数据+人工智能免费视频教程《Scala语言环境安装Scala基本语法》


Scala语言开发环境的配置、结合Java语言来理解Scala的基础语法。


认识Scala  
安装开发环境  
Scala Shell、用IDEA创建Maven项目  
配置Maven本地仓库、导入切换项目等其它配置  
变量的声明  
Scala的7种值类型和条件表达式  
for循环  
方法和函数的声明以及方法转换成函数  
数组  
映射  
元组  
集合之Seq  
集合之Set  
集合之Map



大数据+人工智能免费视频教程《常用方法练习》


通过对经常用到的方法的练习来熟悉函数式编程的强大魅力。


lazy关键字  
函数式编程练习之常用方法  
函数式编程之reduce  
函数式编程之fold  
函数式编程之aggregate  
函数式编程之交并差集  
Scala实现WordCount



大数据+人工智能免费视频教程《面向对象、模式匹配》


结合Java语言来了解Scala面向对象的三大特性、以案例的方式充分理解Scala语言的模式匹配特性。


创建类、属性  构造器、辅助构造器  
单例对象  
伴生对象  
apply和unapply方法  
private关键字  
特质、抽象类、继承、重写、实现等  
模式匹配之匹配字符串  
模式匹配之匹配类型  
模式匹配之匹配数组、元组、集合  
模式匹配之样例类  
模式匹配之偏函数



大数据+人工智能免费视频教程《Actor、柯里化、隐式转换》


理解Actor并利用Actor模型实现高并发事务、Scala语言的另一个高级特性:高阶函数,用柯里化结合隐式转换实现高阶函数的特性。


面向对象基本概念
类和对象的定义格式
作为值的函数  
柯里化概念及声明方式  
柯里化练习  
隐式转换和隐式参数  
隐式转换练习01  
隐式转换练习02
泛型  
UpperBound  
ViewBound  
ContextBound



大数据+人工智能免费视频教程《泛型、Akka》


通过学习scala语言部分的课程,学生能够具备一名中级scala开发工程师水平。


Actor概念  
Actor实例之创建Actor  
Actor实例之消息的接收与发送(异步没有返回值)  
Actor实例之消息的接收与发送(同步有返回值)  
Actor实例之消息的接收与发送(异步有返回值)  
Actor实例之并行编程思想实现单词计数  
Akka简介  
Akka案例需求分析  
Akka案例代码分析



大数据+人工智能免费视频教程《Spark集群安装、Spark任务提交、Spark实现WordCount并上传任务》



本视频,系统全面的讲解Spark环境的搭建以及与Hadoop生态圈的衔接。


Spark简介  
Spark集群搭建、启动  
Spark Shell.启动和提交任务  
Spark WordCount  
上传并执行任务



大数据+人工智能免费视频教程《RDD的基本概念、常用算子练习》


在Scala语言的基础上,深入理解Spark常用算子和高级算子的使用场景,使得学生在以后的开发过程中能够灵活运用Spark核心技术。


RDD的概念  
生成RDD的两种方式  
两种类型的算子:transformation和action  
常用算子练习01  
常用算子练习02



大数据+人工智能免费视频教程《案例练习》


讲解Spark生态,开发与性能调优双管齐下,分享企业中实战技能,学生学习更全面,更实际。


案例需求-求用户在某基站停留的时间-1  
案例需求-求用户在某基站停留的时间-2  
案例实现-求用户访问学科的子网页top3
案例实现-求用户访问学科的子网页top3-chache、自定义分区器



大数据+人工智能免费视频教程《Spark集群启动流程和任务提交流程、案例练习》



讲解Spark生态,开发与性能调优双管齐下,分享企业中实战技能,学生学习更全面,更实际。


Spark集群启动流程  
Spark任务提交流程  
WordCount中创建了那些RDD  
案例分析实现-按照IP统计区域访问量



大数据+人工智能免费视频教程《RDD的依赖关系、Stage划分、任务的生成、自定义排序》


重点介绍RDD的生成、DAG的划分、生成Task、提交Task到集群的四个步骤


RDD之间的依赖关系  
DAG的生成和stage的划分  
WebUI观察stage划分和任务的生成  
自定义二次排序



大数据+人工智能免费视频教程《Checkpoint、SparkSQL、Hive-On-Spark》


Checkpoint的重要性和设置检查点的步骤、理解Spark SQL并掌握实现过程、用Spark引擎来处理Hive需求。


checkpoint  
SparkSQL介绍  
创建DataFrame  
DataFrame常用操作-DSL风格语法  
DataFrame常用操作-SQL风格语法  
通过反射推断Schema  
通过StructType直接指定Schema  
Hive-On-Spark



大数据+人工智能免费视频教程《SparkStreaming、窗口操作、Spark-On-Yarn》


用SparkStreaming实现实时需求分析、进一步了解实时分析中窗口操作的概念。


SparkStreaming简介
实例分析:SparkStreaming获取Netcat产生的数据进行实时分析
SparkStreaming实现按批次累加  
窗口函数概念及使用场景  
窗口函数实现WordCount  
Spark-On-Yarn  
补充:SparkStreaming依赖



大数据+人工智能免费视频教程《Spark启动流程、Stage划分、任务生成、任务提交流程》


结合源码深入理解从RDD的生成一直到提交任务到集群的四个步骤。


关于查看源码的一些介绍  
导入源码  
集群启动流程-Master类  
集群启动流程-Worker类  
SparkSubmit提交任务  
SparkContext  
创建DriverActor和ClientActor的过程  
ClientActor向Master注册任务信息过程
任务调度的两种方式及Master通知Worker启动Executor的过程
Executor向DriverActor反向注册的过程  
RDD生成和Stage划分  
生成任务并提交  
Task任务执行流程  
总结-任务生成及提交流程

精彩内容,一键分享给更多人!
收藏
收藏0
转播
转播
分享
淘帖0
支持
支持0
反对
反对0
您需要登录后才可以回帖

本版积分规则

关注我们
千锋好程序员

北京校区(总部):北京市海淀区宝盛北里西区28号中关村智诚科创大厦

深圳西部硅谷校区:深圳市宝安区宝安大道5010号深圳西部硅谷B座A区605-619

杭州龙驰智慧谷校区:浙江省杭州市下沙经济技术开发区元成路199号龙驰智慧谷B座7层

郑州校区:郑州市二七区航海中路60号海为科技园C区10层、12层

Copyright 2007-2019 北京千锋互联科技湖南福彩网 .All Right

京ICP备12003911号-5 京公安网11010802011455号

请您保持通讯畅通1对1咨询马上开启

上海福彩网 淅江福彩网 湖南福彩网 西藏福彩网 湖南福彩网 湖南福彩网 淅江福彩网 上海福彩网 湖南福彩网 湖南福彩网