언어/참고 (12) 썸네일형 리스트형 Curl이란 (개발자나 컴퓨터쪽을 잘 모르지만 데이터 수집을 위해 API call 해보려고 이쪽도 들쑤시는 중에 Curl을 써야된다고 해서 일단 이게 뭔지 공부중) curl커맨드라인(command line) 또는 스크립트에서 데이터를 전송하기 위해 사용하는 도구다양한 프로토콜을 지원하여 웹 서버와의 통신에 자주 사용함(HTTP, HTTPS, FTP,FTPS 등을 포함하고 있음)웹 페이지의 내용을 가져오거나, 파일 업로드/다운로드, API 테스트와 같은 네트워크 관련 작업 수행 가능 curl만의 명령어가 있으며 옵션이 매우 다양하여 헤더 추가, HTTP 메소드 변겨어, 사용자 인증 정보 전송 등도 가능하여 개발자들 사이에 매우 자주 활용되는 툴임 curl을 사용하기 위해서는 어떻게 해야하나?일단 curl을 사용하.. [WSL-Docker] 하.. 경로 옮기고 나서 주피터 서버가 왜 다시 안 열릴까 일단 하면서 깨달은 점은 이전 포스팅에서 성공한 원격 주피터 서버는 내 컴퓨터가 쓰고있는 공유기와 같은 ip를 공유하고 있는 컴퓨터에 대해서만 접속이 가능하다는 것이다. 그래서 완전히 원격으로 접속하기 위해서는 DDNS 설정을 해야되는지 아니면 포트포워딩을 해야되는지 뭐 그런 이야기가 있길래 시도중이다. 근데 그것보다 이번에 생긴 문제는 WSL-Docker와 우분투 C드라이브에서 D드라이브로 성공적으로 옮기고 나서 그뒤로 뭔가 실수를 해가지고 우분투 OS 하나가 안 들어가졌다. 그건 그냥 다른 우분투 OS를 받아서 다시 이미지를 pull하고 컨테이너를 여는 방식으로 해결중이다. 그러다가 이제 적응되면 제대로 환경을 갖추려고 해서 대충 그건 해결했다고 생각하고 주피터를 열려고 다시 시도하고 있는데 엊그제 .. [WSL-Docker] wsl 우분투 C드라이브에서 D드라이브로 옮기기 우리집 컴을 처음 살 때 128기가 짜리 ssd로 사서.. 용량이 너무 적어가지고 정말 미치겠다 그래서 평소에 최대한 c드라이브를 비워두고 D드라이브를 최대한 사용하는데 거기에도 한계가 있어서 c드라이브 110기가 중에서 60기가 정도는 사용하고 있다. 그런데 어제 wsl 도커를 받고 컨테이너까지 받았더니 c드라이브 용량을 아주 쑥쑥 잡아먹었다. 급기야 40기가 정도의 여유분을 다 먹어치워서,, 드라이브 정리가 필요하다는 경고까지 떠가지고 급히 롤을 지웠다.. (롤도 D드라이브에 받았다고 기억했는데 어째 C드라이브에 있었다) 어쨌든 이대로는 제대로 wsl 도커를 쓸 수가 없겠다 싶었다. 앞으로 더 끌어당길 컨테이너도 많은데 고작 테스트해보겟다고 받은 것들 때문에 C드라이브가 가득 차 버리다니,, 당장 개.. [WSL-Docker] 주피터 노트북 원격 페이지 여는데는 성공.. 우분투를 새로 받고 도커 데스크탑을 쓰니 이전에 발생했던 문제가 전혀 일어나지 않고 잘 작동했다... 그래 좋은게 좋은 거라고 잘 쓰면 된거지 이제 도커로 파이썬 컨테이너를 불러온 다음 remote_jupyter라는 이미지로 저장해서 뒤에도 불러올 수 있게끔 한 다음, 도커 내에서 설정을 통해 내 호스트 아이피 주소를 사용해서 주피터 노트북을 원격으로 열 수 있는 페이지를 구성하는 데 까지는 성공했다. 정말 기쁘고,, 이제는 이게 내 컴퓨터라서 열리는 건지 그걸 확인해야 된다 폰에서는 일단 안 열리는데.. 어쨌든 여기까지 오는데 많은 도움이 된 블로그들 https://soundprovider.tistory.com/entry/DockerJupyter-%EC%9B%90%EA%B2%A9-%EC%A3%BC%ED.. [WSL-Docker] 개발하려는 건 아니지만 도커를 받아봅니다.. 작년까지만 해도 우분투 써보겠다고 버추얼박스 받은 다음 고생해서 우분투도 받아서 겨우 실행했는데 윈도우가 튕기고 난리가 났었다. 그래서 그냥 디스크 파티션 나눴던 우분투 리눅스는 지우고 파티션도 원래대로 돌려놓지 않고 대충 두고 살았다.. 그렇게 우분투 리눅스 사용은 포기하고 있던 지난 1년,, 어느날 딥러닝 연구실 친구가 도커를 쓰고있다는게 멋있어보여서 나도 받아보고 싶다고 생각하다가 공모전 준비하면서 남의 서버 빌려쓰는 것도 미안하고 한 번 받아보자 싶어서 드디어 도커를 시도해봤다. 도커의 개념을 읽어보니 컨테이너로 가볍게 구동할 수 있다는 장점 어쩌구 설명이 적혀있었다. 그런거를 꼼꼼히 보다가 오히려 설치 자체를 실패하는 편이라 과감히 설명은 대충 읽고 넘겼다. 역시 설치가 간단해보이면서도 문제가 .. 11/24 데이터 마이닝 정리 (서포트 벡터 머신) 일단 Binary response에 대한 분류 문제 기준으로 설명 서포트 벡터 머신은 크게 두 가지로 나눌 수 있음 1. separable case (No overlap): linear한 class boundary로 error없이 분류할 수 있는 경우를 말한다. 2. Non-separable case (Overlap): linear한 class boundary 하나만으로는 error없이 분류가 절대로 불가능한 경우 separable의 경우 Maximal Margin Classifier (MMC)를 사용하고, non-separable case는 Support Vector Classifier (SVC)를 사용하여 분류를 한다. (서포트 벡터 머신은 그림으로 설명하면 이해가 더 쉽지만, 지금은 말로만 정리) .. 11/17 데이터마이닝 (부스팅, 스태킹) 부스팅은 기본적으로 weak learner를 학습하여 sequential한 tree를 만듦. 그렇다고 parallel한 tree를 만들지 못하는 것은 아님. 부스팅은 최근 개발된 xgboost, lightgbm, catboost를 주로 사용하게 되는데, 이 3가지 부스팅 방법 모두 parallel한 프로세스를 increment해서 속도가 빠른 편. 하지만 부스팅은 사용하는 hyperparameter 개수가 많아서 튜닝이 상당히 오래 걸린다는 단점이 있음. 부스팅의 특징 부스팅은 트리가 sequential하게 생성됨 -> 각각의 트리가 이전의 트리에서 얻은 정보를 사용함 -> 과적합 가능성이 높음 부스팅에는 부트스트랩 샘플링 같은 과정이 없는 대신 subset을 사용할 수는 있음. 부스팅의 하이퍼파라미터로.. 11/11 데이터마이닝 간단 정리(앙상블 중 배깅과 랜덤포레스트의 특징, 기억하면 좋을 것들) 앙상블 기법: 학습 알고리즘 여러개를 함께 사용해서 더 나은 예측 성능을 얻는 방법 종류: 배깅, 랜덤포레스트, 부스팅, 스태킹, 혼합모형(Mixture of experts and hierarchical mixture of experts), Bayesian methods 배깅: tree를 parallel하게 합함. 과적합이 잘 안 돼서 막 쓰기에 좋음. 가지치기(pruning)할 필요도 없음. 부스팅: tree를 sequential하게 모아줌 (성능이 안 좋은 것을 모아서 가중치를 높여 훈련). 좋을 땐 랜덤포레스트보다 성능이 훨씬 좋음. 반면 단점은 과적합 가능성이 높은 편 배깅은 tree기반 모형이긴 하지만 사용 모형이 꼭 tree가 아니어도 됨. 기본적으로 tree기반 모형의 특징이 모형의 분산이 .. 11/03 데이터 마이닝 간단히 정리 (Imbalanced data) 매번 헷갈리는 건데 이제는 좀 외우자 Sensitivity: 실제 (+) 중 (+)로 예측한 비율 Specificity: 실제 (-) 중 (-)로 예측한 비율 TPR (True Positive Rate): Sensitivity (실제 + 중에서 +로 예측된 것의 비율) FPR (False Positive Rate): 1 - Specificity (실제 - 중에서 +로 예측된 것의 비율) Precision: (+)로 예측한 것 중 실제 (+)인 비율 = PPV (Positively Predicted Value) Recall : 실제 (+) 중 (+)로 예측한 비율 = Sensitivity Balanced Accuracy = (Sensitivity + Specificity) / 2 F-beta score: .. [참고] 사용자 계정 컨트롤 창 끄기 만일 모든 프로그램에 대해서 사용자 계정 컨트롤 팝업창이 뜨지 않도록 하고싶다면.. (※ 시스템 보안상 매우 권장하지 않음) 하지만 이는 매우 취약한 보안의 원인이 되므로 추천하지 않습니다. [참고] '관리자 권한으로 실행' 자동 실행 시작하기에 앞서 말씀드리자면 ※ '관리자 권한으로 실행'은 무조건적으로 권장하는 옵션은 아닙니다. Anaconda Prompt를 실행할 때마다 '관리자 권한으로 실행'할 것을 권장했다. 하지만 이게 매번 누르기 귀찮기 때문에 Anaconda Prompt만 자동으로 '관리자 권한으로 실행' 될 수 있도록 하는 법을 알아보자. 1. Anaconda Prompt 실행 파일 찾아서 마우스 우클릭-> '속성' 클릭 2. 속성 항목 중 '고급' 클릭 후 관리자 권한으로 실행 체크박스에 체크 3. 적용하고 확인 더보기 5. 적용 누르고 확인 관리자 권한으로 실행을 따로 누를 필요는 없어졌는데, 누를 때마다 사용자 계정 컨트롤 창이 뜬다... 이건 개별 프로그램마다 적용할 방법은 없고, 일괄적으로 안 뜨게 할 수는 있.. [참고] 컴퓨터 운영체제 32비트인지 64비트인지 간단히 확인하는 법 내 PC에서 빈 공간에 마우스 우클릭 후 속성 클릭-> '시스템 종류' 항목 확인 더보기 이전 1 다음
