一种Spark轻量级客户端实现方法研究

打开文本图片集

摘 要：【目的】满足前端用户频繁交互需求，克服传统重客户端与Spark应用服务保持长连接会话的弊端。【方法】在边缘节点服务器上部署高性能负载均衡和动态代理组件（HAProxy），提供一种通过轻量级客户端提交Spark作业的实现方法，对Spark作业进行动态调度与全生命周期管理。【结果】通过Spark on YARN模式将多个具有相同功能、相互之间能独立运行的Rest服务部署到YARN集群上，利用HAProxy的自动重载机制进行动态更新和加载后端服务配置，使前端用户在对后端变动无感知的情况下，通过HAProxy统一对外接口，将Spark作业提交到分散运行在Yarn集群上无差别的Rest服务中执行。（剩余10036字）