분류 전체보기 (121) 썸네일형 리스트형 [Elastic Stack #3] [parent] Data too large, 어쩌구 에러가 뜰 때 안녕하세요 여러분 오랜만에 Elastic 에 대한 포스팅입니다. 허허 원래 진작에 썼어야 하는데 써야지~ 써야지~ 하다가 까먹고 이렇게 쓰게되네요 Elastic에서 메트릭비트를 통해 키바나로 시스템 모니터링을 하고있었는데요 아니근데 이게 잘되다가 어느순간 이딴 에러를 주는거에요 [parent] Data too large, data for [] would be [1052702002/1003.9mb], which is larger than the limit of [1020054732/972.7mb], real usage: [1052701672/1003.9mb], new bytes reserved: [330/330b], usages [request=16440/16kb, fielddata=4400/4.2kb, .. [강화학습 LR] 0. python 가상환경 구성하기 안녕하세요 여러분 오랜만에 포스팅입니다. 허허 의도하진 않았지만 어쩌다보니 머신러닝을 하게 되었습니다. 아예 배경지식이 없어서 공부를 먼저하는게 맞지만 저도 필요에 의해서 진행하는거다보니 예제부터 먼저 해보게되었습니다. 이론적인 공부는 나중에 천천히 같이 해봅시다. 우선 머신러닝 중에서도 강화학습 파트를 하게되었는데 조금 찾아보니 강화학습 = 알파고 라고 생각하는 편이 편했습니다. 간단하게 특정 '환경'에서 특정 '행동'을 취했을 때 얻게되는 '점수'를 기준으로 닥터스트레인지 마냥 무수히 많은 경우를 찾아내서 가장 점수가 높도록 행동하는게 강화학습의 기본 원리라고 이해했습니다. 우선 가장 기본이 되는 python 가상환경부터 구성해봅시다. 저는 다른 코딩을 할 때 웬만하면 가상환경을 구성해서 쓰지 않았는.. ubuntu disk 용량이 꽉찼을 때 (nohup 및 프로세스관련) 안녕하세요 반갑습니다. 최근에 운영중인 서버에서 계속 디스크가 차오르는 현상이 있어서 파일을 비웠음에도 디스크가 안비워지길래 원인을 조사하던 중 깨달은 사실을 공유하고자 포스팅합니다. ubuntu 등의 리눅스 OS를 쓰시는 분들은 disk가 꽉찬거를 어떠한 경로로든 df -h 나 htop 같은 모니터링을 통해서 꽉찬걸 확인했을 때 어느 디렉토리에서 용량을 차지하나 확인을 하실텐데 이상하게 du 등으로 확인해봐도 용량이 비워지지 않는 경우가 있으실겁니다. (제가 그랬습니다.) 그래서 lsof(lsof는 list open files을 뜻하는 명령으로, 수많은 유닉스 계열 운영 체제에서 열려있는 모든 파일과, 그 파일들을 열고 있는 프로세스들의 목록을 출력한다.) 명령어를 통해서 실행되있는 프로세스들의 용량을.. GCP(Google Cloud Platform) GCS(Google Cloud Storage) 에서 특정 계정에만 권한 부여 안녕하세요 오랜만입니다. 포스팅을 뭐할까 고민하다가 GCP 서비스 계정 권한을 줄 때 까먹는 자신을 보며 이번기회에 포스팅이나 해야겠다라고 생각해서 포스팅하게되었습니다. 오늘 주제는 GCP 에서 GCS 에 관한 권한에 대해 알아볼텐데 이게 GCS는 AWS의 S3와 걍 똑같다고 보시면됩니다. 똑같이 버킷이 있는데 권한을 주기 위해서는 이거를 GCP에서 뭐라고 부르는지를 아는게 중요합니다. 일단 GCS에서 버킷을 만들어봅시다. 여러 설정에서 리전, 클래스 등을 선택할 수가 있는데 데이터 저장위치 : 데이터를 저장할 리전 선택 (단일, 멀티 등 다양하게 선택가능) 리전에 따라 요금도 다르고 지연시간도 조금씩 다릅니다. 제 생각엔 요금차이가 그렇게 크지 않게 때문에 정말 아무거나 선택해도 될 거 같습니다.(그래.. [iptime] 공유기 2개 쓸 때 하단 공유기 접근 안녕하세요 오랜만입니다. 오늘은 간만에 네트워크쪽 글을 포스팅하게됐습니다. 사실 iptime 공유기쪽이 네트워크 쪽인지는 잘 모르겠지만 아무튼 이번에 겪게됐던 문제에 대해 공유해보고자 합니다. 우선 이번에 서버쪽에서 mlops관련하여 네트워크 구성을 다시하기 위해서 라우터를 구매했었습니다. 구축하고자 하는 구조는 다음과 같습니다. 이전에 게이트웨이1에서 공유기 하나만 사용하고 있었다면 추가적으로 공유기 하나를 추가하여 내부 데이터 통신만을 위한 네트워크를 추가하였습니다. 해당 구조를 위해서 다음처럼 연결해줘야합니다. 밑에그림에서는 스위치를 제외한 공유기 그림입니다. 근데 문제는 리눅스에서 ip static하게 박고 iptime 설정을 맞게 했는데도 불구하고 2번째 추가한 공유기를 통한 접근이 되지않았습니.. [Kafka] Python Kafka 원격 Consumer 구현하기 안녕하세요 반갑습니다. 오랜만에 포스팅하려니 어떻게 글을 시작해야 할 지 막막하네요. 역시 뭐든 꾸준히 하는게 중요한거 같습니다. 아무튼 오늘 포스팅할 글은 Kafka 입니다. 카프카 중에서도 python코드를 통해 원격으로 Consumer를 구현해 볼건데요 이게 구글에 검색하면 나옵니다. 나오는데 이게 저처럼 GCP 같은 퍼블릭 클라우드를 쓰시는 분들은 잘 안될 수가 있어요. 그래서 이번에 제가 한 방식을 공유해보려고합니다. 우선 Kafka가 뭐냐?? 아파치 카프카(Apache Kafka)는 아파치 소프트웨어 재단이 스칼라로 개발한 오픈 소스 메시지 브로커 프로젝트이다. 이 프로젝트는 실시간 데이터 피드를 관리하기 위해 통일된, 높은 처리량, 낮은 지연시간을 지닌 플랫폼을 제공하는 것이 목표이다. 요컨.. [postgresql] db 특정계정에 읽기 권한 주기 안녕하세요 오랜만에 포스팅입니다. 비정기적으로 느낌이 올때만 업로드를 하다보니 오늘의 내용은 pgsqlDB에서 특정 계정에 권한을 줄 때입니다. 가끔 이 명령어가 필요한데 그 때마다 검색해서 찾으려니 귀찮아서 직접 포스팅하기로했습니다. 일단 생성된 db 에 계정을 만들고 그 계정에 특정 테이블에 대한 읽기권한을 주는 명령어는 다음과 같습니다. 1. 그냥 계정만들기 CREATE USER 유저명 WITH PASSWORD '비밀번호'; 2. 슈퍼유저 권한이 들어간 계정만들기 CREATE USER 유저명 PASSWORD '비밀번호' SUPERUSER; 3. 특정 유저에게 권한을 주기 (여기서의 권한은 DB를 생성할 수 있는지 등의 좀 큰 권한) # 유저삭제권한 ALTER USER 유저명 WITH ERATEUSE.. Jenkins 서버 해킹 비트코인(모네로) 채굴 안녕하세요 여러분 오랜만입니다. 오랜만에 재밌는 일이 생겨 공유하고자 글을 씁니다. 엄청 예전 그러니까 한 반 년전쯤 사내에서 사용하다가 잘 이용하지 않던 서버가 있었는데 오랜만에 들어가보니 cpu100% 상태길래 htop으로 확인해보니 대략 아래같은 코드가 동작되고있었습니다. 딱 봐도 굉장히 수상해보이는 코드였고 검색해보니 비트코인 모네로를 채굴하는 코드라는걸 알았습니다. mine.c3pool.com 이전 1 2 3 4 5 6 7 8 ··· 16 다음 목록 더보기
