1. GET vs POST: 데이터 전송의 두 얼굴

 웹 브라우저와 서버가 대화할 때 가장 많이 사용하는 두 가지 방식입니다.

• GET 방식: 주로 데이터를 가져올 때 사용합니다. 주소창(URL) 뒤에 데이터가 노출되어 보이기 때문에 검색어 전달 등에 쓰이지만, 보안이 필요한 데이터에는 적합하지 않습니다.

• POST 방식: 주로 데이터를 보낼 때(등록/수정) 사용합니다. 데이터가 주소창이 아닌 '바디(Body)'에 숨겨져 전달되므로, 로그인 정보나 용량이 큰 데이터를 보낼 때 필수적입니다.

---

2. HTTP 패킷의 구조: 헤더(Header)와 바디(Body)

서버에 요청을 보낼 때, 우리가 보내는 패킷은 크게 두 부분으로 나뉩니다.

• 헤더 (Header): 편지봉투의 정보와 같습니다. 누가 보내는지(User-Agent), 어디를 거쳐 왔는지(Referer) 등의 메타 데이터가 담깁니다.

  • User-Agent: "나는 파이썬 크롤러가 아니라 크롬 브라우저야"라고 서버를 속이거나 정보를 줄 때 필수입니다.

  • Referer: 이전 페이지 정보를 담아 정상적인 접근임을 증명합니다.

• 바디 (Body/Payload): 실제 전달하려는 본문 내용입니다. POST 방식에서 핵심 데이터가 실리는 곳입니다.

---

3. 파이썬 크롤링 프로세스 (JSON 파싱)

강사님이 설명하신 코딩의 논리적 흐름을 정리하면 다음과 같습니다.

1. 요청 (Request): 파이썬의 requests 모듈을 사용하여 특정 URL에 GET 요청을 보냅니다.

2. 응답 (Response): 서버로부터 데이터를 받는데, 이때 데이터 형식은 주로 JSON입니다.

3. 변환: 제이슨(JSON) 형태의 데이터를 파이썬이 다루기 쉬운 딕셔너리(Dictionary) 형태로 바꿉니다.

4. 추출 (Parsing): 딕셔너리에서 내가 원하는 키(Key)값(예: 'best_keywords')만 쏙쏙 뽑아냅니다.