专业财税服务推荐

精选优质财税服务,为企业提供专业、可靠的财税解决方案,助力企业健康发展

零报税代理记账
零申报代理记账
报税做账算帐财务报表老会计做账
代理记账
咨询微信:lhy_happyday
工商营业执照年度年报年检公示
全国个体、企业、公司、合作社工商年审年报服务!
个体/10元/次 企业/20元/次
咨询微信:lhy_happyday
财税咨询服务
一对一专业财税咨询,解决企业财税难题,提供定制方案
咨询微信:lhy_happyday
财务分析服务
小规模个体报税0申报税务年报工商年报月报季报报税代理记账
咨询微信:lhy_happyday
立即咨询专业财税顾问
微信号: lhy_happyday
会计从业9年,管理多家个体工商、小规模、一般纳税人等企业的财务、税务等相关工作!。
扫码或搜索添加微信,备注"财税咨询"获取专属优惠
知方号 知方号

sparkdriver的功能有哪些

sparkdriver的功能有哪些?

Spark Driver功能

Driver运行应用程序的时候,具有main方法,且创建了SparkContext,是整个程序运行的调度的核心。

内部会有高层调度器(DAGScheduler)和底层调度器(TaskScheduler),高层调度器把整个作业(Job)划分成几个小的阶段(Stage),底层调度器负责每个阶段内的任务(Task)该怎么去执行。由SchedulerBackend管理整个集群中为当前运行的应用程序分配的计算资源,分配的计算资源其实就是Executors,同时向Master注册当前的应用程序,如果注册成功,Master会向其分配资源。

下一步根据action级别的操作出发job,job中会有一系列的RDD,从后往前推,如果是宽依赖的话就划分为不同的Stage,划分完成后提交给底层调度器TaskScheduler,TaskScheduler拿到具体的任务的集合,然后根据数据的本地性原则,把任务发放到对应的Executor上去执行,当Executor运行成功或者出现状况的话都会向Driver进行汇报,最后运行完成之后关闭SparkContext,所创建的对象也会随之关闭。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至lizi9903@foxmail.com举报,一经查实,本站将立刻删除。