개발/웹 스크래핑(4)
-
# [크롤링] 나라 장터 크롤링 하기01
나라장터란 무엇이고 거기서 얻을수있는 정보는 무엇인가? pretotyping 부터 시작해서 크롤링 서비스를 만들어 보자. 🤔 나라장터란?✅ 나라장터란 는 모든 공공 기관의 입찰 정보가 공고된 국가 종합 전자 조달 시스템 이다.1.입찰 공고 검색 Process 1) 웹사이트에서 클릭하며 공고 검색 💻 입찰 공고 명 검색 > 공고 선택 > 공고 확인 공고 검색공고 선택공고 확인 2. Inspect 를 사용하여 페이지 구조 분석 1) Inspect 창에서 요소확인 💻 inspect 창 좌상단 아이콘 클릭 > 검색버튼 마우스오버 > inspect 요소확인인 inspect 확인inspect 구조확인3. 검색 버튼 요소 접근 1) 버튼 위치에서 XPATH element 추출후 실행 ?..
2024.12.31 -
[crawling]나라장터 크롤링 하기
준비 참고할 링크 https://rogios-story.tistory.com/entry/httpsrogios-storytistorycomentryselenium-g2b-Crawling-4-4 셀레니움(selenium) 나라장터 데이터 수집하기 4/4 (입찰방법/배정예산/추정가격 등 '용역 입찰공고짜잔~ 오늘은 셀레니움을 이용한 나라장터 데이터 수집하기 마지막 포스팅이에요~~ 마지막 포스팅 이후로 추가로 필요한 정보들을 수집하고 싶으신 분들께서는 댓글로 말씀해 주시면, 제가 포rogios-story.tistory.com 데이터 시각화 까지 https://velog.io/@halinee/%EC%A0%95%EC%A0%81-%ED%81%AC%EB%A1%A4%EB%A7%81%EC%9C%BC%EB%A1%9C-%EB..
2024.12.24 -
# [크롤링] 필수 HTML 태그 지식 에 대하여
📌 본 포스팅은 HTML CSS tag 에 대한 내용을 다룹니다.📌 [참고] https://juheeexx.tistory.com/13📌 [참고] https://marketingscribbler.tistory.com/3 1. 기초 용어 1.1 선택자정의 : css 스타일 적용, 해당 데이터의 문서 내 위치• 태그 선택자(Type selector)html 요소를 직접 지칭하는 가장 간단한 선택자.ex) p를 선택하면 에 해당하는 모든 데이터를 수집 가능.• ID 선택자(ID selector)id에 해당하는 html 요소를 찾아 선택함.ex)커피류 div#coffe-menu 라는 선택자를 사용하면 커피류라는 데이터를 선택하게 됨.• 복합 선택자(Combinator)html 문서는 계층적임. 부모(상위..
2024.12.17 -
# [크롤링] 웹 크롤링 하기 01
📌 본 포스팅은 파이썬을 사용한 웹크롤링 에 대한 내용을 다룹니다.📌 맥환경, vscode 환경 1. 설치 및 기본 테스트 vscode -> 쉘에서 !를 붙이고 pip 설치 해준다.!pip install requsts # 웹 사이트 정보 가져오기!pip install beautifulsoup4 # html 정보로 부터 원하는 데이터 분류 및 parsing 라이브러리request, response 는 사이트에 요청과 응답이다. status_code 200 이 나오면 잘 연결된것 임. ## request test import requests response = requests.get('http://www.naver.com') print(f"{response.status_code}") # 응답..
2024.12.17