이쿠의 슬기로운 개발생활

Node Problem Detector Node Problem Detector(NPD) 란?Node Problem Detector는 노드의 상태를 모니터링하고하드웨어, 커널, 컨테이너 런타임 문제와 같은 일반적인 노드 문제를 감지하는 오픈소스 라이브러리.일반적으로 Kubernetes에 Daemonset으로 배포되어 동작함. 수집하는 metrics 계층=  system metricshost에서 발생한 "에러 정보"를 전달함  수집하는 metrics 정보 확인 링크NPD는 config에 지정되어있는 설정에 따라 수집하는 지표 정보가 매우 유동적임 NPD 설정 확인--system-log-monitors=https://github.com/kubernetes/node-problem-detector/tree/mas..

Process Exporter process-exporter 란?System Metrics 중 "process" 관련 지표 정보를 수집할 수 있음.Prometheus와 연동 가능Prometheus에서 관리하는 프로젝트는 아님.MIT license로 제공참고 : https://github.com/ncabatoff/process-exporter사용 case는 많지 않고... 관련 자료도 거의 없음. 수집하는 metrics 계층=  System MetricsInstanace에서 실행 중인 Process에 대한 "system metrics"정보를 수집하여 API로 제공. 수집하는 metrics 정보 확인 링크[process-export의 metrics list 정보]별도로 없음. 직접 정리하면 아래와 같음.# ..

metricbeat container 실행 방법worker node에서 metricbeat의  메모리 사용량이 최대 60%까지 올라가는 이슈가 있었음.해당 메모리 사용량 이슈는 metricbeat의 메모리릭 이슈로 확인됨.metricbeat git issues를 확인해보면 각 버전별로 항상 언급됨.고질병인가봄...해당 이슈를 해결 할 수 있는 방법 중 하나로container로 실행 시켜서 CPU, Memory 사용량을 제한 하는 방법을 알아봄. 사용하는 tool은 nerdctl임  nerdctl run 명령 시 CPU, Memory 사용량 제한 하는 옵션--cpu-period uint            Limit CPU CFS (Completely Fair Scheduler) period      --..

metricbeat metricbeat란?Elastic Stack의 일부인 오프소스 데이터 수집 에이전트로,System 및 Service Metrics를 수집하는데 사용됨. 수집하는 metrics 계층=  System, Service Metricsmetricbeat는 다양한 module을 제공하고 있어서system metrics 뿐만 아니라 다양한 Service Metrics도 수집할 수 있는 장점을 가지고 있음. [모듈 정보 list]https://www.elastic.co/guide/en/beats/metricbeat/current/metricbeat-modules.html  수집하는 metrics 정보 확인 링크[system module  이 수집하는 metrics 정보]https://www.ela..

kube-state-metrics(KSM) kube-state-metrics(KSM)란?kubernetes에서 공식적으로 제공하는 서비스로kubernetes 클러스터 내부의 Pod가 사용 중인 리소스 metric과 네트워크 I/O, Deployments 수, Pod 수 등의 다양한 정보를 수집함.  수집하는 metrics 계층=  Service Metrics : kubernetesContainer를 컨트롤 하는 Kubernetes 자체에 대한 모니터링 (Kubernetes의 자원인 Service, POD, Namespace 등) 수집하는 metrics 정보 확인 링크https://github.com/kubernetes/kube-state-metrics/blob/main/docs/pod-metrics.md..

cAdvisor container로 배포 해서 확인 하는 방법(storage driver = Kafka) cAdvisor에서 Kafka로 지표 전달 가능함.storage_driver 설정을 kafka로 설정하면 됨[참고 링크]https://github.com/google/cadvisor/blob/master/docs/storage/kafka.md  Kafka 클러스터 실행kafka downloadwget https://archive.apache.org/dist/kafka/3.1.0/kafka_2.13-3.1.0.tgztar xvf kafka_2.13-3.1.0.tgzcd kafka_2.13-3.1.0 kafka 설정 파일 변경vim config/server.properties아래 2개 내용 추가liste..

kubernetes kubelet cAdvisorcAdvisor란?Container Advisor의 약자로 Google에서 개발한 오픈소스 컨테이너 모니터링 도구. kubelet과 cAdvisor 관계는?kubernetes cluster의 모든 Node에는 kubelet이 설치되어 있음.해당 kubelet에는 cAdvisor가 탐재되어 있음.cAdvisor는 kubelet 바이너리에 통합된 오픈 소스 에이전트로cAdvisor를 통해서 Node의 자원 사용량을 모니터링하고 컨테이너의 성능을 분석함. (Pod 레벨에서는 실행되지 않음)cAdvisor는 정보를 수집해서 kubelet의 메모리에 올려놓음. 아래 예제에서는 curl 명령을 통해 해당 cAdvisor가 수집한 metrics 정보를 가져오는 것을 알..

Node Exporter node-exporter 란?Prometheus 재단이 공식적으로 지원하고 있는 Exporter 중 하나이며Prometheus로 모니터링 시스템을 구축 시 System Metrics를 수집을 위해 가장 우선적으로 고려되는 Exporter이기도 함. Exporter 란?Exporter란 특정 Metrics을 수집해서 엔드포인트에 노출시키는 소프트웨어 혹은 에이전트를 의미함.node-exporter가 UNIX 계열 서버의 cpu, memory 등의 Metrics을 수집할 수 있는 것처럼,DB, 하드웨어, 메세지 시스템, 저장소 등 여러 시스템에 대한 Exporter가 존재하며,CollectD 등 기존의 서버 모니터링에 사용되는 에이전트들과 통합할 수 있는 Exporter도 존재함. ..

kubernetes kubelet cAdvisor  kubernetes cluster의 모든 Node에는 kubelet이 설치되어 있음.해당 kubelet에는 cAdvisor가 탐재되어 있음.cAdvisor는 kubelet 바이너리에 통합된 오픈 소스 에이전트로cAdvisor를 통해서 Node의 자원 사용량을 모니터링하고 컨테이너의 성능을 분석함. 특정 Node(Pod 레벨에서는 실행되지 않음)에서 실행되고 있는 모든 Container의 CPU와 Memory, File, Network 사용량 등 System metrics 정보를 수집하고 그 외에 시스템 이벤트도 모니터링함.cAdvisor는정보를 수집해서 kubelet의 메모리에 올려놓음. 아래 예제에서는 curl 명령을 통해 해당 cAdvisor가 수집..

Prometheus Grafana 연동 [Kubernetes Monitoring 관련 글 목록]Kubernetes Monitoring : MetricsKubernetes Monitoring : HAPKubernetes Monitoring : Prometheus 개념Kubernetes Monitoring : Prometheus 설치Kubernetes Monitoring : Grafana  Prometheus Web UI 보다 더 나은 GUI Tool을 사용하기 위해 일반적으로 Grafana라는 Data Visualization tool을 이용하여 시각화함  Grafana 설치  1. Grafana Download Grafana 또한 상위 Prometheus를 받을 때 사용한 git clone과 동일함해당 ..