'/usr/bin/rm: arg list too long' 꽤나 많은 수의 파일이 들어있는 폴더 내에서 > rm -rf * 로 모든 파일을 지우려 하면 위와 같은 에러가 발생한다. 구글링을 하다가 아래 블로그의 도움을 받아 해결책을 찾았다. https://kilho.net/archives/server/1996 리눅스 대량 파일 삭제 | 길호넷 대량 파일 삭제시 “/usr/bin/rm: arg list too long” 에러 발생시 아래의 명령어로 삭제할 수 있습니다. find . | xargs -n 1000 rm -f kilho.net find . | xargs -n 1000 rm -f
numpy로 연산을 할 때 axis를 지정하는 함수가 많은데, 헷갈리는 경우가 많아 기록해둔다. 우선 말로 정리하자면 axis=0이면 가장 높은 차원을 의미하고, 1, 2, ...와 같이 증가할수록 한 차원씩 낮은 차원을 의미한다. axis=-1이면 가장 낮은 차원을 의미하고, -2, -3과 같이 감소할수록 한 차원씩 높은 차원을 의미한다. 3차원 배열의 예시로 보면 쉽다. import numpy as np arr1 = np.array([[[1,2,3], [4,5,6]], [[7,8,9], [10,11,12]]]) # shape: (2,2,3) arr2 = np.array([[[1,1,1], [1,1,1]], [[1,1,1], [1,1,1]]]) # shape: (2,2,3) shape이 (2, 2, 3..
리스트 + 리스트는 되지만 리스트 - 리스트 연산은 안 된다. collections.Counter를 이용하면 두 리스트를 뺀 값을 얻을 수 있다. from collections import Counter lis1 = ['a', 'b', 'b', 'c'] lis2 = ['b', 'c', 'd'] result = Counter(lis1) - Counter(lis2) # Counter({'a': 1, 'b': 1}) list(result.keys()) # ['a', 'b']
여러 리눅스 명령어를 반복적으로 실행해야 하는 경우 터미널에 일일이 직접 다 치는 것은 매우 귀찮은 일이다. 이럴 때 쉘 스크립트를 사용하면 아주 편하다. 작성법 확장자가 .sh인 파일을 만든다. (파일명.sh) #!/bin/bash 파일의 맨 윗줄에 이와 같이 적어준다. 그 아래부터는 실행할 명령어들을 엔터 단위로 적어주면 된다. 사용법 > chmod +x 파일명.sh 위에서 만들어준 파일을 실행시키기만 하면 되는데, 만든 직후에는 실행 권한이 없으므로 파일에 실행 권한을 넣어준다. > ./파일명.sh 그리고 실행시켜주면 파일에 적어준 명령어들이 순차적으로 실행된다 :)
Deduplication을 위한 csvdedupe 사용하기
Repo 주소 : https://github.com/dedupeio/csvdedupe GitHub - dedupeio/csvdedupe: Command line tool for deduplicating CSV files :id: Command line tool for deduplicating CSV files - GitHub - dedupeio/csvdedupe: Command line tool for deduplicating CSV files github.com 설치 pip install csvdedupe 사용법 > csvdedupe 입력파일명.csv --field_names "컬럼명" --output_file 출력파일명.csv field_names에는 deduplication 확인을 할 컬럼명을 써준..
'ERROR: torch has an invalid wheel, .dist-info directory not found' torch 모듈을 설치하려고 > pip install torch 를 입력하면 위와 같은 에러가 발생했다. 해결 방법 > pip install torch===1.7.0 torchvision===0.8.1 -f https://download.pytorch.org/whl/torch_stable.html 버전은 알아서 수정해준다. 더보기 참고 https://stackoverflow.com/questions/65191751/error-torch-has-an-invalid-wheel-dist-info-directory-not-found
1. Google Cloud Storage 버킷 생성 https://cloud.google.com/storage/docs/creating-buckets/?hl=ko 위 링크를 따라 스토리지 버킷을 만든다. 2. 동기화 진행 synology NAS 접속. Cloud Sync 패키지를 열고 클라우드 공급자에서 'Google Cloud Storage' 선택. '프로젝트 ID'에 GCP 프로젝트명, 'Bucket 이름'에 1번 과정에서 생성한 버킷 이름을 써주고 다음 버튼 클릭. '로컬 경로'(NAS에서의 경로)만 지정한 후 다음 버튼 클릭. 동기화 완료! 3. GCP에서의 파일을 버킷에 업로드 (역방향도 가능) GCP 내 콘솔창에서 다음 커맨드 입력 -> $ gsutil cp 파일명 gs://버킷명 (GCP ..
GCP 사용을 위한 GitHub SSH Key 발급 및 등록
GCP Configuration 설정을 다 완료하고, $ gcloud compute ssh 인스턴스명 을 입력하고 잘 되었다면 아래와 같이 출력된다. (개인정보일 것 같아 대충 가렸다ㅎ) 'Your public key has been saved in 파일경로' 에 나온 파일을 확인하면 된다. 확장자는 .pub이다. 이게 public ssh key다. $ cat 파일경로 를 입력해서 출력되는 키를 첨부터 끝까지 복사한다. 그리고 자신의 깃허브 페이지로 들어가서, 맨 오른쪽 위에 있는 아이콘을 누르고 Settings 를 누른다. 왼쪽 탭에서 'SSH and GPG keys' 탭 클릭 - 'New SSH key' 버튼 클릭 Title은 대충 '이름 SSH key' 정도로 써주고, Key에다가 방금 복사했던 k..