2-3. 웹 스크래핑 기초 : HTTP, 웹 서비스의 흐름 및 HTTP 메소드

안녕하세요, 허밍입니다! 😊
이전 글에서 웹의 기본 구조인 **서버(Server)**와 **클라이언트(Client)**에 대해 알아봤죠.
이제는 서버와 클라이언트가 어떻게 소통하는지를 다뤄볼 차례예요.

오늘의 주제는 바로

• HTTP (HyperText Transfer Protocol)
• HTTP 메소드 (Method)
• **웹 서비스(Web Service)**입니다.

---

🔗 HTTP(HyperText Transfer Protocol)란?

HTTP는 클라이언트와 서버가 서로 데이터를 주고받을 때 사용하는 **약속된 통신 규약(Protocol)**입니다.

웹 브라우저 주소창에 http:// 또는 https://로 시작하는 주소 많이 보셨죠?
그게 바로 HTTP 프로토콜을 사용해서 이 페이지를 요청하겠다는 뜻이에요.

📌 예를 들어,

• 브라우저(클라이언트)가 https://example.com에 요청을 보내면
• 서버는 HTML 페이지를 응답(Response)으로 보내줍니다.
  이때 사용하는 룰(약속)이 바로 HTTP예요.

---

📬 HTTP 메소드(Method)란?

HTTP는 단순히 연결만 하는 게 아니라
**"어떻게 요청할 것인가?"**를 결정하는 다양한 **메소드(Method)**를 제공합니다.

자주 쓰이는 HTTP 메소드는 아래와 같아요:

메소드설명크롤링 관련성

GET	서버에서 정보를 가져올 때 사용	✅ 크롤링 시 가장 많이 사용됨
POST	서버에 데이터를 제출할 때 사용	🔄 로그인, 검색 등 요청에 사용됨
PUT	기존 자원을 수정할 때 사용	❌ 크롤링에서는 거의 사용 안 함
DELETE	자원을 삭제할 때 사용	❌ 마찬가지로 크롤링과는 무관

📌 크롤링에서는 대부분 GET 방식으로 웹페이지의 HTML 데이터를 받아오고,
특정 검색 기능이나 로그인 등이 필요한 경우엔 POST를 사용하기도 해요.

---

🧠 웹 서비스(Web Service)란?

**웹 서비스(Web Service)**는
HTTP 프로토콜을 기반으로 다양한 기능을 제공하는 프로그램의 형태예요.

예를 들어:

• 뉴스 웹사이트는 뉴스 데이터를 보여주는 웹 서비스
• 쇼핑몰은 상품 정보를 관리하고 주문까지 처리하는 웹 서비스

이런 웹 서비스는 사용자(클라이언트)의 요청에 따라
서버가 데이터를 제공하거나 조작하는 기능들을 갖추고 있어요.

그리고 이때 주로 사용되는 방식이 바로 HTTP 메소드와 JSON/XML 같은 데이터 포맷입니다.

💡 웹 크롤링은 이 웹 서비스의 작동 흐름을 외부에서 분석하고 자동화하는 과정이라고 할 수 있어요.

---

🕸️ 정리: HTTP 통신 흐름과 크롤링

[Client (Python 크롤러)] --(HTTP GET 요청)--> [Server (웹 서비스)]
                                        ↓
[Client] <--(HTML, JSON 등 응답)--- [Server]

이렇게 보면, 웹 크롤링은 결국
HTTP 통신을 통해 원하는 데이터를 자동으로 요청하고 받아오는 과정이란 걸 알 수 있어요.

---

🧭 웹 크롤링에서 실제로 사용되는 예

다음과 같은 Python 코드가 바로 HTTP 요청을 보내는 예입니다:

import requests

url = 'https://example.com/news'
response = requests.get(url)

print(response.status_code)  # 응답 코드 (200이면 정상)
print(response.text)         # 받아온 HTML 콘텐츠

위 코드는 GET 메소드를 사용해서 웹페이지의 HTML 코드를 받아오고,
크롤링은 이걸 분석해서 원하는 정보만 추출하는 식으로 진행돼요.

---

📍 마무리하며

• HTTP는 웹 통신의 핵심 규약이고,
• HTTP 메소드는 요청의 종류를 정하며,
• 웹 서비스는 이를 기반으로 기능을 제공하는 시스템입니다.

웹 크롤링은 이 구조 안에서 작동하기 때문에,
HTTP 통신 흐름을 이해하면 크롤링도 금방 익힐 수 있어요! 😊

공감 한 번 눌러주시면 다음 글 준비에 큰 힘이 됩니다 💛

---