웹데이터 크롤링하여 csv 생성하기

https://code.visualstudio.com/

Visual Studio Code - Code Editing. Redefined

위 사이트 들어가서 설치

<한글 적용>

Ctrl + Shift + P

language > Configure Display language  > 한국어

 

파이썬 설치

 

가상 환경 세팅

터미널 > 새 터미널 : 터미널 창 켜기

가상 환경 설정하기

명령어 : python -m venv myenv(가상환경이름)

위 명령어 치면 가상환경 폴더 생성됨.

위 폴더 경로로 찾아가서 activate 실행 시켜주기

폴더 찾아가는 명령어 cd

아래 명령어 차례대로 입력.

cd myenv

cd Scripts

activate (파일 실행시에는 cd 안 씀)

 

필요한 라이브러리 설치

 

pip list : 설치된 라이브러리 확인 명령어

3가지 라이브러리 설치

pip install pandas 

pip install  selenium

pip install lxml

 

chromedriver 설치

워스크페이스 폴더 안에 chromedriver.exe 넣기

새 파일 market_cap.py 생성.

 

명령창에 python 입력 : python 입력 창으로 변환됨

from selenium import webdriver
from selenium.webdriver.common.by import By

browser = webdriver.Chrome()
browser.maximize_window() #창 최대화

# 1. 페이지 이동
url = 'https://finance.naver.com/sise/sise_market_sum.naver?&page='
browser.get(url)

#2. 조회 항목 초기화 (체크되어 있는 보기 항목 체크 해제)
checkboxes = browser.find_elements(By.NAME, 'fieldIds')
for checkbox in checkboxes:
    if checkbox.is_selected(): #체크된 상태
        checkbox.click() #클릭(체크 해제)

 

 

영업이익, 자산총계, 매출액 체크박스 하여 조회

(억)은 lable 밖에 있기 때문에 vlaue 값 가져오기 애매함 > 생략

#3. 조회 항목 설정(원하는 항목 체크 후 적용하기)
items_to_selected = ['영업이익', '자산총계', '매출액']
for checkbox in checkboxes:
    parent = checkbox.find_element(By.XPATH, '..') # ..의 의미 > 상위객체
    label = parent.find_element(By.TAG_NAME, 'label')
    # print(label.text) #이름 확인
    # 원하는 항목의 체크박스 체크
    if label.text in items_to_selected : #선택 항목과 일치하면
        checkbox.click() #체크

#4. 적용하기 버튼 클릭 (적용하기 버튼 a태그에 js함수로 되어 있음)
btn_apply = browser.find_element(By.XPATH, '//a[@href="javascript:fieldSubmit()"]')
btn_apply.click()

원하는 데이터 추출

필요 라이브러리 import

import pandas as pd
import os

#5. 데이터 추출
#page 1~41까지 있음 > 반복
for idx in range(1, 42) :
    #사전 작업 (페이지 이동)
    browser.get(url + str(idx)) # fianace.naver.com/...~page=1,2,3... (url 자체 String이기 떄문에 idx를 문자로 변경)
    # 데이터 추출
    df = pd.read_html(browser.page_source)[1]
    df.dropna(axis='index', how='all', inplace=True)
    df.dropna(axis='columns', how='all', inplace=True)
    if len(df) == 0: # 더 이상 데이터가 없는 경우 
        break
    
    #6. 파일 저장 (os import)
    f_name = 'sise.csv'
    if os.path.exists(f_name) : # 파일이 있다면
        df.to_csv(f_name, encoding='utf-8-sig', index=False, mode='a', header=False) # 파일 수정을 위해 mode = append, header 추가 x
    else : # 파일이 없다면 (헤더 포함)
        df.to_csv(f_name, encoding='utf-8-sig', index=False)
    print(f'{idx} 페이지 완료')

# 브라우저 종료
browser.quit()

사이드에 파일 생김!

생성된 csv 파일