🐍 파이썬 JSON 데이터 파싱 및 크롤링 핵심 요약

 

1. JSON 데이터 접근 (Dictionary & List)

복잡하게 중첩된 JSON 구조에서 원하는 값을 가져오려면 계층 구조를 정확히 따라가야 합니다.

• 접근 방식: response['items'][0]['best_keyword']['keyword']

  • ['items']: 대분류 키(Key) 접근

  • [0]: 리스트의 첫 번째 요소 (인덱스 0번)

  • ['best_keyword']: 내부 딕셔너리 접근

  • ['keyword']: 최종적으로 원하는 '자라'와 같은 값 추출

• 팁: 구조가 너무 복잡할 때는 pandas 라이브러리의 json_normalize 같은 기능을 사용해 플랫(Flat)하게 펼쳐서 보는 방법도 있습니다.

2. 반복문(For Loop)을 이용한 대량 추출

한 카테고리에 여러 개의 키워드가 있을 때 반복문을 사용하여 효율적으로 수집합니다.

Python

for i in range(20):  # 상위 20개 키워드 반복
    keyword = response['items'][i]['best_keyword']['keyword']
    print(keyword)

3. VS Code 인터프리터 설정 (Tip)

강의 중에 나온 유용한 단축키입니다.

• Ctrl + Shift + P: 커맨드 팔레트 실행

• Python: Select Interpreter 선택: 현재 PC에 설치된 여러 버전의 파이썬 중 작업에 맞는 버전(예: 3.11.4)을 매핑할 수 있습니다.

4. 전체 크롤링 프로세스 구조

사용자님이 구현하시려는 자동화 스크립트의 전형적인 구조입니다.

1. 메인 함수: 시작/종료 시간 기록, 대상 리스트 정의

2. 요청 함수: User-Agent 설정 및 requests.get()으로 데이터 호출

3. 분석 및 저장: 받은 데이터를 파싱하여 엑셀(CSV) 파일로 저장

4. 후처리: 키워드 중복 제거 및 최종 결과물 생성