빅데이터 디자인실무 1급 과정_파이썬 프로그래밍 [3-2] 코드 정리

from selenium import webdriver
from bs4 import BeautifulSoup
import time
​
query_text = input(" 검색어를 쓰세요 : ")
​
#크롬드라이버를 설정하고 웹에 접속하기
driver = webdriver.Chrome("c:/py_temp/chromedriver.exe")
​
​
driver.get("https://www.naver.com")
driver.maximize_window()
​
driver.find_element_by_id("query").send_keys(query_text + "\n")
# 네이버 driver.get("https://search.naver.com/search.naver?where=view&sm=tab_jum&query=" + query_text + "\n"
# 구글 driver.get("https://www.google.com/search?q=" + query_text + "\n"
driver.find_element_by_link_text("블로그").click()
​
time.sleep(4)
driver.close()

---

 

## riss 자료크롤링

from selenium import webdriver
from bs4 import BeautifulSoup
import time
​
query_text = input("검색어는? : ")
driver = webdriver.Chrome("c:/py_temp/chromedriver.exe")
​
driver.get("http://www.riss.kr")
time.sleep(3)
driver.maximize_window()
​
# 팝업제거
# driver.switch_to.window(driver.window_handles[1])
# driver.close()
# time.sleep(2)
# driver.switch_to.window(driver.window_handles[0])
# driver.maximize_window()
​
# 자동으로 검색어 입력 후 조회하기
driver.find_element_by_id("query").send_keys(query_text + "\n")
time.sleep(2)
driver.find_element_by_link_text("학위논문").click()
​
time.sleep(5)
driver.close()
​

 

---

#step7 표준 출력방향을 바꾸어 txt파일에 저장하기

import sys
f_name=input('결과를 저장할 파일명을 쓰세요(예:c:\\py_temp\\riss.txt):')
​
orig_stdout=sys.stdout #중요
file=open(f_name,'a',encoding='UTF-8')
sys.stdout=file #모니터에 출력하지 말고 파일에 출력해라
​
for i in content_1:
print(i.get_text().replace("\n",""))
​
​
file.close()
sys.stdout=orig_stdout #원래대로 변경 다시 화면에 출력 시켜라
​
​
print('요청하신 데이터 수집작업이 정상적으로 처리되었습니다.')
​
print('수집된 결과는 {} 에 저장되었습니다.' .format(f_name))
​
time.sleep(3)
driver.close()