본문 바로가기

반응형

취미개발

(6)
Windows OpenSSH Server 설치 및 설정 Windows에서 OpenSSH Server를 설치하고 설정하는 방법에 대해 간략하게 설명하겠습니다. 1. OpenSSH Server 설치하기 OpenSSH Server를 설치하기 위해서는 다음과 같은 단계를 따릅니다. Windows Server를 최신 상태로 업데이트합니다. OpenSSH 패키지를 다운로드하고 설치합니다. OpenSSH Server를 구성합니다. OpenSSH 패키지를 다운로드하려면, OpenSSH for Windows를 방문하여 다운로드 페이지로 이동합니다. 다운로드 페이지에서 가장 최신 버전의 OpenSSH 패키지를 찾아서 다운로드합니다. 패키지를 다운로드한 후, 압축을 푸는 등의 작업을 거쳐 설치 파일을 실행합니다. 설치 파일을 실행한 후에는 OpenSSH Client와 OpenS..
[Docker] RabbitMQ docker로 띄우기기 $ docker pull rabbitmq:management $ docker run -d --name rabbitmq -p 5672:5672 -p 15672:15672 --restart=unless-stopped \ -e RABBITMQ_DEFAULT_USER=user -e RABBITMQ_DEFAULT_PASS=pwd -e RABBITMQ_DEFAULT_VHOST=vHost \ rabbitmq:management --d : 백그라운드로 실행 --name rabbitmq : 해당 컨테이너 이름을 rabbitmq로 실행 -p 5672:5672 -p 15672:15672 : host와 컨테이너간의 포트포워딩 5672는 rabbitmq기본 통신포트 15672는 rabbitmq-server의 통신포트 (이외에 ..
Python Selenium 시작하기 (webdriver 설치하기) Python에서 웹크롤링을 하기 위한 도구로써 selenium을 사용해 보겠습니다. Selenium을 사용하기 위해서는 pip으로 selenium을 설치하고 브라우저에 알맞은 webdriver를 설치하여야 합니다. 우선 pip으로 selenium을 설치해주세요. $ pip install selenium 다음 webdriver를 다운로드하여야 합니다. 저는 Chrome을 주로 사용하기 때문에 ChomreDriver를 다운로드하겠습니다. ChromeDriver Download 위 사이트를 들어가서 본인의 크롬 버전에 맞는 ChromeDriver를 다운로드하여야 합니다. 본인의 크롬 버전을 확인하려면 아래 주소를 브라우저 URL에 넣으면 됩니다. chrome://version ※ 오른쪽 상단의 옵션 메뉴 중 ..
Python 웹 크롤링 시작하기: 스타벅스 메뉴 정보 크롤링 목표 시나리오 Python을 이용하여 스타벅스 홈페이지에 존재하는 메뉴들의 제품 정보(이미지, 영양정보 등)를 크롤링하기 1. 스타벅스 메뉴페이지의 모든 메뉴들의 상세 페이지를 탐색 2. 각 페이지내의 이미지와 영양정보를 수집한다. 필요 라이브러리 설치 $ pip install beautifulsoup4 $ pip install selenium ※ selenium을 구동하기 위해서는 WebDriver가 필요합니다. (WebDriver 설치하기) 웹 크롤링시 기본적인 웹 언어(HTML, CSS, JS)를 알면 원하는 정보를 효과적으로 추출할 수 있습니다. 스타벅스 메뉴들의 상세 페이지 주소는 https://www.starbucks.co.kr/menu/drink_view.do?product_cd=920000..
AirFlow 환경 만들기(2) - Airflow 설치하기(feat. docker) [취미개발] - AirFlow 환경 만들기(1) - Postgres 설치하기(feat. docker) 이번엔 airflow를 띄울 container를 만들어 보겠습니다. 설치 준비 Ubuntu18.04 컨테이너 생성 Miniconda-Linux 및 airflow 설치 airflow 세팅 설치 준비 Windows상에 Docker에서 사용할 공유 폴더를 생성합니다. 저는 "C:\Docker" 경로로 생성하겠습니다. docker가 실행중이라면 windows 오른쪽 아래 트레이창에서 docker를 클릭후 Settings로 진입합니다. Docker Settings중에서 Resources > FILE SHARING에서 위에서 생성한 공유폴더의 드라이브를 체크해줍니다. (만약 D:아래에 공유폴더를 생성하였다면 D를 ..
AirFlow 환경 만들기(1) - Postgres 설치하기(feat. docker) [취미개발] - AirFlow 환경 만들기(2) - Airflow 설치하기(feat. docker) airflow를 실행하기 위해서는 linux환경이 필요합니다. windows환경에서 airflow를 실행하려면 다음과 같은 방법이 존재합니다. 1) docker를 이용한 방법 2) WSL을 이용한 방법 여기서는 1번 방법인 docker를 이용한 방법을 소개할게요. ----- airflow의 경우 postgres나 mysql와 같은 db를 붙여주어야만 병렬처리가 가능해집니다. docker로 airflow를 위한 postgres설치 방법을 알아볼게요. 0. Docker & DBeaver 설치 아래 URL로 접속하여 본인의 OS에 맞는 docker desktop을 설치하고 재부팅 합시다. https://www...

반응형