쿠팡 상품 크롤러 📜쿠팡 상품 크롤링 뉴스 검색 결과에서 제목 및 URL 크롤링 조건 1. 100개까지만 상품 추출 조건 2. 광고상품 표시 조건 3. 엑셀 파일로 결과 저장 import requests from bs4 import BeautifulSoup import pyautogui import openpyxl keyword = pyautogui.prompt("검색어를 입력하세요 >> ") wb = openpyxl.Workbook('coupang_result.xlsx') ws = wb.create_sheet(keyword) ws.append(['순위','브랜드명','상품명','가격','상세페이지링크']) rank = 1 done = False for page in range(1,5): if done == True: break print(page, "번째 페이지 입니다....
1. Ansible 설치 📜CentOS $ yum install -y ansible 📜Ubuntu $ apt install ansible 📜macOS $ brew install ansible 2. SSH 및 hosts 파일 설정 앤서블은 ssh로 제어 노드와 매니지드 노드가 연결됩니다. 앤서블을 이용하여 작업을 진행하기 전에 authorized_keys에 키를 추가하여 주는 것이 좋습니다. ssh-copy-id 명령을 이용하여 간편하게 키를 설정할 수 있습니다. 📜ssh key 설정 # Ansible Control Node 에서 실행 # ssh 키 생성 $ ssh-keygen # ssh 키 복사 > Managed Node 로 연결하기 위함 # ssh 연결을 처리할 계정으로 연결 $ ssh-copy-id user@test-host....
1. 스크립트 실행을 위한 playbook 작성 Master Node에 있는 스크립트를 Control Node로 보내고 실행시켜, 실행값을 Master, Control Node 모두 csv 파일로 저장시킨다. 이렇게 여러 서버에 스크립트를 실행하여 Master Node에 결과값을 수집하여 관리가 가능하다. 📜PlayBook 작성 #excute command example #ansible-playbook -i [inventory_file] --extra-vars "excute_group=[list] excute_date=[YYYYMMDD]" [playbook_file] --- - hosts: ubuntu_server #실행 대상 목록 gather_facts: no #대상 서버 정보 수집 여부 connection: ssh #접근 프로토콜 remote_user: ubuntu #대상 서버 접근 계정 become: yes #sudo 권한 사용 vars: src_path: /home/ansible/Desktop/script dst_path: /tmp/diagnosis/infra_script run_script: ubuntu....
1️⃣ 네이버 주식 현재가 정보 수집 네이버 증권 사이트 현재가 데이터를 파이썬으로 수집 📜네이버 주식 현재가 크롤링 크롤링 해올 정보의 id 값과 URL의 파라미터를 확인 필요 id="_nowVal" / ?code=086960 (URL 상의 종목 코드 확인) import requests from bs4 import BeautifulSoup #종목 코드 리스트 codes = [ '005930', '000660', '035720' ] for code in codes: url = f"https://finance.naver.com/item/sise.naver?code={code}" reponse = requests.get(url) html = reponse.text soup = BeautifulSoup(html, "html.parser") price = soup.select_one("#_nowVal").text price = price....
1️⃣ Crawler Python 을 이용한 Crawler 📜crawler를 위해 필요한 내용들 requests HTTP 통신을 위한 Python 라이브러리 beautifulsoup HTML 분석을 위한 Python 라이브러리 pyautogui CSS 선택자 크롤링할 HTML 태그를 선택할때 사용함 태그 선택자 (h1, a 등 태그 이름으로 선택) id 선택자 (#을 앞에 붙인 후 id 값으로 선택) HTML <div id="articleBody"> 본문-- </div> 선택자 #airticleBody class 선택자 (.을 앞에 붙인 후 class 값으로 선택) HTML <div class="info_group"> 뉴스목록 </div> 선택자 .airticleBody 자식 선택자 (바로 아래에 있는 태그를 선택한다)...