Alluxio客户端和Master采用的是长连接在凌晨计算高峰期hadoop客户端长连接,Master端的服务线程会被打满hadoop客户端长连接,从而导致客户端的请求都被堵住Alluxio。
选择距离客户端最近的datanodehadoop客户端长连接,建立连接来读取当前block的数据如果连接的DataNode正好属于慢节点hadoop客户端长连接,则极有可能导致读取文件。
在客户端连接 HS2 的时候,我们会对任务优先级判定,高优先级的任务会被路由到核心集群,低优先级的任务会被路由到一般集群。
标签: hadoop客户端长连接
文章来源:
太平洋在线手机版
版权声明:凡本站注明内容来源:“太平洋在线”的所有作品,版权均属于“太平洋在线”,转载请必须注明中“太平洋在线”。违反者本网将追究相关法律责任。