IT이야기

낮은 디스크 워터 마크 [?? %] 초과

cyworld 2021. 5. 1. 09:33
반응형

낮은 디스크 워터 마크 [?? %] 초과


개발 용 컴퓨터 (단일 노트북)에서 Elasticsearch 1.4.4를 사용합니다. 설정을 변경하지 않았기 때문에 모든 것이 기본값으로 설정됩니다.

시작하면 일반적으로 다음 메시지가 표시됩니다.

[2015-10-27 09:38:31,588][INFO ][node                     ] [Milan] version[1.4.4], pid[33932], build[c88f77f/2015-02-19T13:05:36Z]
[2015-10-27 09:38:31,588][INFO ][node                     ] [Milan] initializing ...
[2015-10-27 09:38:31,592][INFO ][plugins                  ] [Milan] loaded [], sites []
[2015-10-27 09:38:34,665][INFO ][node                     ] [Milan] initialized
[2015-10-27 09:38:34,665][INFO ][node                     ] [Milan] starting ...
[2015-10-27 09:38:34,849][INFO ][transport                ] [Milan] bound_address {inet[/0:0:0:0:0:0:0:0:9300]}, publish_address {inet[/10.81.1.108:9300]}
[2015-10-27 09:38:35,022][INFO ][discovery                ] [Milan] elasticsearch/DZqnmWIZRpapZY_TPkkMBw
[2015-10-27 09:38:38,787][INFO ][cluster.service          ] [Milan] new_master [Milan][DZqnmWIZRpapZY_TPkkMBw][THINKANDACT1301][inet[/10.81.1.108:9300]], reason: zen-disco-join (elected_as_master)
[2015-10-27 09:38:38,908][INFO ][http                     ] [Milan] bound_address {inet[/0:0:0:0:0:0:0:0:9200]}, publish_address {inet[/10.81.1.108:9200]}
[2015-10-27 09:38:38,908][INFO ][node                     ] [Milan] started
[2015-10-27 09:38:39,220][INFO ][gateway                  ] [Milan] recovered [4] indices into cluster_state
[2015-10-27 09:39:08,801][INFO ][cluster.routing.allocation.decider] [Milan] low disk watermark [15%] exceeded on [DZqnmWIZRpapZY_TPkkMBw][Milan] free: 58.6gb[12.6%], replicas will not be assigned to this node
[2015-10-27 09:39:38,798][INFO ][cluster.routing.allocation.decider] [Milan] low disk watermark [15%] exceeded on [DZqnmWIZRpapZY_TPkkMBw][Milan] free: 58.6gb[12.6%], replicas will not be assigned to this node
[2015-10-27 09:40:08,801][INFO ][cluster.routing.allocation.decider] [Milan] low disk watermark [15%] exceeded on [DZqnmWIZRpapZY_TPkkMBw][Milan] free: 58.6gb[12.6%], replicas will not be assigned to this node
....

이러한 "디스크 부족 워터 마크 ... 초과 ..."메시지가 많이 표시됩니다. 제 경우에는 무엇이 잘못 되었습니까? 그것을 고치는 방법? 감사!

최신 정보

이 게시물 이전에 관련 게시물을 검색했습니다. "하이 워터 마크 ..."와 관련된 것을 찾았는데이 경우 디스크 공간이 부족합니다. 제 경우에는 확인 했는데 디스크에 여전히 56GB가 남아 있습니다.

최신 정보

Andrei Stefan의 입력에 따르면 설정을 변경해야합니다. 다음과 같이해야합니까?

curl -XPUT localhost:9200/_cluster/settings -d '{
    "transient" : {
        "cluster.routing.allocation.disk.threshold_enabled" : false
    }
}'

아니면 편집 할 수있는 설정 파일이 있습니까?


내가 좋아하는 디스크가 많으면 워터 마크 설정을 조정하고 백분율 대신 바이트 값을 사용할 수 있습니다.

NB! 이러한 설정 내에서 백분율 값과 바이트 값의 사용을 혼합 할 수 없습니다. 모두 백분율 값으로 설정되거나 모두 바이트 값으로 설정됩니다.

설정 :cluster.routing.allocation.disk.watermark.low

디스크 사용량에 대한 로우 워터 마크를 제어합니다. 기본값은 85 %입니다. 즉, 85 % 이상의 디스크가 사용되면 ES가 노드에 새 샤드를 할당하지 않습니다. 또한 사용 가능한 공간이 구성된 양보다 적을 경우 ES가 샤드를 할당하지 못하도록 절대 바이트 값 (예 : 500mb)으로 설정할 수 있습니다.

설정 :cluster.routing.allocation.disk.watermark.high

하이 워터 마크를 제어합니다. 기본값은 90 %입니다. 즉, 노드 디스크 사용량이 90 % 이상으로 증가하면 ES가 샤드를 다른 노드로 재배치하려고합니다. 노드에서 사용 가능한 공간이 구성된 양보다 적 으면 샤드를 재배치하기 위해 절대 바이트 값 (로우 워터 마크와 유사)으로 설정할 수도 있습니다.

설정 : :cluster.routing.allocation.disk.watermark.flood_stage

홍수 단계 워터 마크를 제어합니다. 기본값은 95 %입니다. 즉, Elasticsearch는 플러드 단계를 초과하는 디스크가 하나 이상있는 노드에 할당 된 샤드가 하나 이상있는 모든 인덱스에 읽기 전용 인덱스 블록 (index.blocks.read_only_allow_delete)을 적용합니다. 이것은 노드의 디스크 공간 부족을 방지하기위한 마지막 수단입니다. 인덱싱 작업을 계속할 수있는 충분한 디스크 공간이 있으면 인덱스 블록을 수동으로 해제해야합니다.

https://www.elastic.co/guide/en/elasticsearch/reference/current/disk-allocator.html

참고 :

백분율 값은 사용 된 디스크 공간을 나타내고 바이트 값은 사용 가능한 디스크 공간을 나타냅니다. 이것은 높고 낮은 의미를 뒤집기 때문에 혼란 스러울 수 있습니다. 예를 들어 로우 워터 마크를 10GB로, 하이 워터 마크를 5GB로 설정하는 것이 합리적이지만 그 반대는 아닙니다.

5TB 디스크에서 다음을 설정했습니다.

# /etc/elasticsearch/elasticsearch.yml
cluster.routing.allocation.disk.threshold_enabled: true
cluster.routing.allocation.disk.watermark.flood_stage: 5gb
cluster.routing.allocation.disk.watermark.low: 30gb
cluster.routing.allocation.disk.watermark.high: 20gb

편집 : cluster.routing.allocation.disk.watermark.flood_stage다른 답변으로 추가 되었습니다.


나는 그것이 오래된 게시물이라는 것을 알고 있지만 내 의견은 누군가를 행복하게 만들 수 있습니다. 워터 마크를 바이트 값 (gb 또는 mb)으로 지정하려면 elasticsearch 설정 파일 인 elasticsearch.yml에 cluster.routing.allocation.disk.watermark.flood_stage를 추가해야합니다. 완전한 예 :

  cluster.routing.allocation.disk.threshold_enabled: true 
  cluster.routing.allocation.disk.watermark.flood_stage: 200mb
  cluster.routing.allocation.disk.watermark.low: 500mb 
  cluster.routing.allocation.disk.watermark.high: 300mb

참고 : cluster.routing.allocation.disk.watermark.flood_stage를 지정하지 않으면 바이트 값 (gb 또는 mb)으로 작동하지 않습니다.


I added the following lines to my elasticsearch.yaml file (elastic_search_folder\config):

cluster.routing.allocation.disk.threshold_enabled: true
cluster.routing.allocation.disk.watermark.low: 93%
cluster.routing.allocation.disk.watermark.high: 95%

For some reason, specifying watermark in gb like in the other answer didn't work for me. Also, make sure your watermark.high is less or equal to the flood watermark (it's usually set to 95%).

ReferenceURL : https://stackoverflow.com/questions/33369955/low-disk-watermark-exceeded-on

반응형