Spark计算节点同构环境下Executor的内存分配优化模型 |
| |
作者姓名: | 朱蓉 |
| |
作者单位: | 重庆市北碚区中医院 |
| |
摘 要: | 本文在对Spark云计算平台的作业执行机制进行研究分析的基础上,针对目前Spark处理作业时Executor的人为请求资源机制,提出了一种Spark计算节点同构环境下Executor所需内存资源的优化分配算法。该算法能够基于处理数据的数据量对分布式内存资源进行弹性分配,达到了Spark在数据量变化情况下合理利用分布式内存资源这一目的,并对此进行了仿真实验验证。
|
关 键 词: | SPARK EXECUTOR 内存资源 资源分配 |
本文献已被 维普 等数据库收录! |
|