在线elasticsearch集群批量写入变慢,导致kafka消息消费延迟


写入报错如些:

2018-08-22 18:04:24.166 [elasticsearch[_client_][listener][T#1]] INFO  com.mobanker.framework.es.ElasticsearchBulkTools - id=11749,failureMessage=failure in bulk execution:

1.修改elasticsearch配置文件elasticsearch.yml,更改线程池相关配置:

thread_pool.bulk.size: 8
thread_pool.bulk.queue_size: 1000

2.重启节点前关闭shard迁移:

curl -XPUT "http://xxxxxxxxxxx:9200/_cluster/settings" -d '
{
    "transient" : {
        "cluster.routing.allocation.enable" : "none"
    }
}

3.然后su -ef kill掉es进程;

ps -ef|grep elasticsearch
kill -9 pid

4.重启es服务:

curl -XPUT "http://xxxxxxxxxxxxx:9200/_cluster/settings" -d '
{
    "transient" : {
        "cluster.routing.allocation.enable" : "all"
    }
}

5.开启shard迁移功能:

curl -XPUT "http://xxxxxxxxxxxxxx:9200/_cluster/settings" -d '
{
    "transient" : {
        "cluster.routing.allocation.enable" : "all"
    }
}

6.整个在线es集群共有23个节点,一批一批执行,每批重启五台,

因为每做一次,集群状态就会处于yellow状态,会影响集群读写性能,待恢复到green;

再执行第二批重启;

优质内容筛选与推荐>>
1、-fembed-bitcode is not supported on versions of iOS prior to 6.0
2、spring和jsp的数据传递。。。
3、一般处理程序(ashx)和页面处理程序(aspx)的区别
4、设置滑动TabBar的显示和隐藏
5、(1) css的核心基础


长按二维码向我转账

受苹果公司新规定影响,微信 iOS 版的赞赏功能被关闭,可通过二维码转账支持公众号。

    阅读
    好看
    已推荐到看一看
    你的朋友可以在“发现”-“看一看”看到你认为好看的文章。
    已取消,“好看”想法已同步删除
    已推荐到看一看 和朋友分享想法
    最多200字,当前共 发送

    已发送

    朋友将在看一看看到

    确定
    分享你的想法...
    取消

    分享想法到看一看

    确定
    最多200字,当前共

    发送中

    网络异常,请稍后重试

    微信扫一扫
    关注该公众号





    联系我们

    欢迎来到TinyMind。

    关于TinyMind的内容或商务合作、网站建议,举报不良信息等均可联系我们。

    TinyMind客服邮箱:support@tinymind.net.cn