Python - Selenium

Selenium

 

 

✅ Selenium이란?

---

웹 브라우저를 사람이 직접 조작하는 것처럼 자동으로 제어할 수 있게 해주는 도구

(BeautifulSoup는 html에서만 사용 가능하다.)

 

기본 사용법

from selenium import webdriver
from selenium.webdriver.chrome.webdriver import WebDriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.chrome.options import Options

KEYWORD = "buy domain"

options = Options()
options.add_argument("--disable-blink-features=AutomationControlled")
browser: WebDriver = webdriver.Chrome(options=options)

browser.get("https://google.com")

search_bar = WebDriverWait(browser, 10).until(
    EC.presence_of_element_located((By.CLASS_NAME, "gLFyf"))
)
search_bar.send_keys(KEYWORD)
search_bar.send_keys(Keys.ENTER)

search_results = WebDriverWait(browser, 10).until(
    EC.presence_of_all_elements_located((By.CLASS_NAME, "MjjYud"))
)

for index, search_result in enumerate(search_results):
    if search_result.is_displayed() and search_result.size["height"] > 0:
        search_result.screenshot(f"screenshots/{KEYWORD}x{index}.png")

browser.quit()

구글 사이트 열고 검색창을 찾아 검색어를 적은 후 엔터를 누르고, 이동한 페이지에서 class로 element 찾는 동작을 실행하는데, 찾을 때까지 10초간 기다리고 만약 일찍 찾았다면 10초를 전부 기다리는 것이 아닌 바로 다음으로 넘어가서 화면에 보이고 height가 0이 아닌 모든 element들을 찾아 스크린샷을 찍는다.

 

https://selenium-python.readthedocs.io/waits.html#explicit-waits

 

 

위의 options는 사람 인증 페이지가 뜨지 않게 하는 방법.

 

browser.quit() vs browser.close()

quit()은 브라우저 전체 + 세션종료

close()는 현재 탭만 닫는다.

 

 

✅ Selenium으로 파이썬에서 자바스크립트로 인자를 보내 자바스크립트를 실행 시킬 수 있다.

---

execute_script()

browser.execute_script(
    """
    alert(arguments[0])
""",
    "hello!!",
)

 

execute_script(script, *args)

 

Scrapping 할 때 필요없는 element 지우기

browser.execute_script(
    """
    const shitty = arguments[0];
    shitty.parentElement.removeChild(shitty)
    """,
    shitty_element,
)

 

 

✅ 스크롤 할 수 있는 전체 높이 구하는 방법

---

document.body.scrollHeight

스크롤 할 수 있는 높이가 몇 픽셀인지 알려준다.

이 높이를 브라우저의 사이즈로 나누면 스크롤을 몇 번 해야 할지 나온다.

JavaScript에서 Python으로 값을 보내는 방법

for size in sizes:
    browser.set_window_size(size, 949)
    browser.execute_script("return document.body.scrollHeight")
    time.sleep(5)

script내에 return을 적어주면 된다.

 

스크롤하기

import time
from math import ceil
from selenium import webdriver
from selenium.webdriver.chrome.webdriver import WebDriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.action_chains import ActionChains

BROWSER_HEIGHT = 949

browser: WebDriver = webdriver.Chrome()

browser.get("https://nomadcoders.co")

browser.maximize_window()

time.sleep(6)
ActionChains(browser).send_keys(Keys.ESCAPE).perform()


sizes = [480, 960, 1366, 1920]

# print(browser.get_window_size())

for size in sizes:
    browser.set_window_size(size, BROWSER_HEIGHT)
    browser.execute_script("window.scrollTo(0, 0)")
    time.sleep(3)
    scroll_size = browser.execute_script("return document.body.scrollHeight")
    total_sections = ceil(scroll_size / BROWSER_HEIGHT)

    for section in range(total_sections):
        browser.execute_script(f"window.scrollTo(0, {(section + 1) * BROWSER_HEIGHT})")
        browser.save_screenshot(f"screenshots/{size}x{section + 1}.png")
        time.sleep(2)
input("pause")

 

 

✅ Action Chains

---

ActionChains = "사용자의 복합 행동(키보드 + 마우스)을 순서대로 실행하는 도구"

(사람처럼 행동을 흉내 내기 위한 Selenium 도구)

Usage

for hashtag in hashtags:
    ActionChains(browser).key_down(Keys.COMMAND).click(hashtag).perform()

 

 

✅ Window handles

---

열려 있는 모든 창을 관리할 수 있게 해준다.

for window in browser.window_handles:
    browser.switch_to.window(window)
    hashtag_name = browser.current_url.split("explore/search/keyword/?q=%23")[-1].strip(
        "/"
    )
    print(hashtag_name)
    time.sleep(1)

 

 

✅ Xpath

---

class나 name같은 방법으로도 element를 특정하기 힘들 때 사용한다.

XPath를 사용하면 딸깍으로 해당 element를 참조할 수 있다.