이쿠의 슬기로운 개발생활

척도란? Raw Data를 통계학적으로 분석하기 위해서는 동영상, 이미지 등 숫자로 표현되어있지 않은 Data도 숫자로 표현할 수 있어야함. 그러기 위해 척도를 사용하는데 척도란 특성을 통계상의 수로 표현하기 위해 체계적으로 그 속성에 숫자를 부여한 것임. Raw Data 대상에 "단위"를 부여하는 것. 척도는 크게 범주형 자료, 연속형 자료로 구분됨 범주형 자료 범주형 자료는 명목, 순위 척도로 분류가 됨. 명목 척도 (Nominal Scale) 이름뿐인 척도 숫자로 표현될 수 있지만 수량적인 의미를 갖지 않고 범주(카테고리)를 구분하는 용도 예 : 성별 (남/여), 학벌 (초/중/고/대), 거주 지역 순위 척도 (Ordinal Scale) 관찰대상이 지니는 속성에 따라 순위를 결정하는 척도 어떠한 속..

통계란? 통계(Statistic)는 사회적 현상 혹은 자연 현상을 규명하기 위해 수집된 각종 데이터의 요약으로 적절한 방법을 통해 1차적으로 가공되어 나오는 정보를 뜻함. 예시 : 숫자, 그래프, 도표, 그림, 데이터로부터 얻어진 정보(평균, 분산, 상관계수 등..) 빅데이터에 비유를 하면 "01. 빅데이터란" 에서 설명했던 Raw Data를 1차적으로 가공하는 단계임. 해당 글에서는 통계학의 기초개념을 설명하겠음. 개체, 요인, 변수 빅데이터를 진행하기 위해 가장 첫번째로 할 작업은 Raw Data를 수집하는 과정이 필요함. 예를 들어 사람들이 가장 많이 가는 여행지를 파악하기 위해서는 여행지에 대한 정보가 필요하지, 여행지와 전혀 상관없는 정보를 수집하면 오류가 있는 결과를 얻게될 것임. 목표와 매칭..

빅데이터 AI 분야에서 사용되는 체계적이고 많은 데이터는 어떻게 만들어지고 관리되는 것일까? 라는 의문점에서 시작되어 데이터에 대해 관심이 가기 시작하다가 빅데이터를 알게되어 리서치를 진행함. 세상은 지금 IT 시대에서 DT 시대로 가고 있다 지난 6월 마윈 알리바바 회장이 중국 베이징에서 열린 빅데이터 산업 설명회에서 “세상은 지금 IT시대에서 DT시대로 가고 있다”며 “각자가 갖고 있는 데이터로 사회에 얼마나 많은 가치를 창출해 내느냐가 중요하다”고 언급함. 이 말에서 뜻하는 IT와 DT의 차이점은 무엇일까? Data와 Information IT와 DT의 차이점을 알기위해서는 Data와 Information에 대해 알아야함. Data란 가공되지 않은 1차원적의 원시기록의 상태를 뜻하는것으로 Raw D..

Docker Version Update 환경 OS : CentOS 7 리눅스 커널 버전 : Linux 3.10.0-1062.el7.x86_64 docker version : 1.13.1 api verison : 1.26 CentOS 7 의 경우 yum install -y docker 명령으로 docker 를 바로 설치할 수 있음. 해당 명령으로 설치하면 아래와같이 1.13.1 version이 설치가 됨. CentOS 업데이트 [명령어] yum update 기존 실행중인 모든 Container Stop [명령어] docker stop [container id] 기존 Docker 삭제 [명령어] yum remove -y docker-common Docker Update에 필요한 Tool 설치 [명령어] yu..

Pod Security Policy    참고) 환경 Master Node server OS = CentOS 7 리눅스 커널 버전 : Linux 3.10.0-1062.el7.x86_64 docker version : 1.13.1 api verison : 1.26 Worker Node server OS = CentOS 7 리눅스 커널 버전 : Linux 3.10.0-1062.el7.x86_64 docker version : 1.13.1 api verison : 1.26 Kubernetes version 1.18       PodSecurityPolicy(PSP) 란? SecurityContext가 Pod와 Container에 적용되는 정책 설정이라면Pod Security Policy(PSP)는 Kubern..

Security Context 참고) 환경 Master Node server OS = CentOS 7 리눅스 커널 버전 : Linux 3.10.0-1062.el7.x86_64 docker version : 1.13.1 api verison : 1.26 Worker Node server OS = CentOS 7 리눅스 커널 버전 : Linux 3.10.0-1062.el7.x86_64 docker version : 1.13.1 api verison : 1.26 Kubernetes version 1.18      Security Context 란? securityContext는 Pod 또는 Container의 권한부여, 환경설정, 접근 제어를 제어하는 기능을 제공함. Container 프로세스들이 사용하는 사..

Privileged Container Privileged Container 란? 일반적으로 생성되는 Container는 Host에서 독립된 Linux namespace 영역을 가지고 있어서Host 시스템의 주요자원에 접근할 수 있는 권한이 없음. 하지만 다양한 종류의 Kubernetes Addon 들이 동작하는 것을 보면각 Addon 역할을 수행하는 Pod의 Container가 생성되며 생성된 Container가 Host의 자원에 접근하여 동작하는 경우를 볼 수 있음이렇게 Container 임에도 불구하고 Host 시스템의 주요 자원에 접근할 수 있는 Container가 바로 Privileged Container. Privileged 옵션으로 Container를 생성하면 Container 안에서 Host..

Kubernetes Private Registry image 사용법 참고 : Docker Private Registry 관련 글Docker Private Registry 구성하기Docker Private Registry 암호 설정Docker Private Registry IP가 아닌 Domain으로 접속하기Docker login 실패 오류 해결법docker htpasswd 명령 실패 오류  1. Secret 을 사용한 Private Registry Container image Pull일반적으로 Container Image를 Pull할때는 대부분 공개되어 있는 Public 이미지를 사용함.대표적으로 Docker Hub 와 같은 Site가 있음.하지만 사설(Private) 이미지를 이용할 때는 인증 정보가 ..

CentOS 7의 경우 MYSQL 환경변수를 인식하지 못하는 오류가 있음. MYSQL 의 경우 mysqld_safe 파일에 환경변수를 추가하는데 이를 인식하지 못함 해결법 1. /usr/bin/mysqld_safe 파일을 복사한다 원본 mysqld_safe 파일을 지운다 복사했던 파일을 원래 이름인 mysqld_safe 로 바꾼다 systemctl restart mysqld 하면 인식함 원인은 모르겠음 지우고 다른파일을 배치시키면 인식함 해결법 2. 위의 방법으로 해결이 안될경우 /usr/bin으로 이동후 ./mysqld_safe 명령으로 mysqld을 시작시킨다 환경변수가 입력되어잇는상태다. 해결법 3. LD_LIBRARY_PATH 설정의 경우 mysqld_safe 파일의 mysqld_ld_librar..

[오류명] Error response from daemon: oci runtime error: container_linux.go:235: starting container process caused "exec: \"htpasswd\": executable file not found in $PATH". [해결법] docker registry version 을 2.7.0 을 사용해야함 최신에는 htpasswd 가 포함되어 있지 않아서 인증에 문제가 있음 제 글을 복사할 시 출처를 명시해주세요. 글에 오타, 오류가 있다면 댓글로 알려주세요! 바로 수정하겠습니다!