웹 스크래퍼 API란 무엇인가요?
웹 스크래퍼 API는 수집할 페이지 주소를 보내면 그 페이지 내용을 받아서 돌려주는 API예요. IP 교체, 막힘 처리, 재시도, 자바스크립트 화면 처리를 API가 맡기 때문에 프록시와 브라우저를 직접 관리하지 않아도 돼요.
WING PROXY 웹 스크래퍼 API는 주거용 IP를 자동으로 배정하고, 결과를 HTML이나 JSON으로 돌려줘요. 원하는 페이지를 제대로 받아 온 요청만 요금에 들어가요.
프록시를 직접 다루면 IP 상태 확인, 재시도 간격, 브라우저 지문 같은 세부 설정까지 신경 써야 하지만, 웹 스크래퍼 API는 요청 하나로 이 과정을 모두 끝내요. 개발자는 받은 데이터를 어떻게 쓸지에만 집중하면 돼요.
요금은 월 요금제 기준 1,000건당 $0.50에서 시작해 큰 요금제에서는 1,000건당 $0.24까지 내려가요.
웹 스크래퍼 API 요금은 1,000건당 얼마인가요?
웹 스크래퍼 API는 월 요금제에 따라 1,000건당 $0.50에서 $0.24까지 내려가요. 요금제가 클수록 한 달에 받을 수 있는 결과 수가 늘고 1,000건당 단가가 낮아져요.
스케일 요금제의 1,000건당 $0.24는 스타터 요금제의 $0.50보다 52% 낮아요. 한 달 결과 수가 늘어날 때마다 위 단계로 옮기면 같은 예산으로 훨씬 많은 데이터를 모을 수 있어요.
월 요금은 USDT(TRC20)로 충전한 잔액에서 결제되고, 그 달의 결과 수 안에서 자유롭게 요청을 나눠 보낼 수 있어요.
| 요금제 | 월 요금 | 한 달 결과 수 | 1,000건당 |
|---|
| 스타터 | $10 | 20,000건 | $0.50 |
| 그로스 | $50 | 125,000건 | $0.40 |
| 프로 | $140 | 400,000건 | $0.35 |
| 비즈니스 | $300 | 1,000,000건 | $0.30 |
| 엔터프라이즈 | $520 | 2,000,000건 | $0.26 |
| 스케일 | $960 | 4,000,000건 | $0.24 |
웹 스크래퍼 API는 어떻게 작동하나요?
주소를 담아 요청을 보내면 API가 알맞은 IP와 브라우저 환경을 골라 페이지를 열고, 빈 페이지나 막힘 화면이 나오면 다시 시도한 뒤 성공한 결과만 돌려줘요. 사용자는 결과를 받아 저장하고 분석하는 일에만 집중하면 돼요.
자바스크립트로 내용을 그리는 페이지도 API가 브라우저처럼 열어서 화면이 다 그려진 뒤의 내용을 돌려줘요. 그래서 직접 헤드리스 브라우저를 띄우고 관리할 필요가 없어요.
여러 기기와 브라우저 환경을 바꿔 가며 보통 방문처럼 페이지를 열기 때문에, 막힘 화면 대신 원하는 내용을 받을 가능성이 높아져요.
- 수집할 주소와 옵션(나라, 결과 형식)으로 요청
- API가 IP 배정과 페이지 열기 처리
- 막힘과 실패는 자동 재시도
- 성공한 결과를 HTML 또는 JSON으로 받기
웹 스크래퍼 API, 어떤 데이터를 모을 수 있나요?
누구나 볼 수 있게 공개된 웹 페이지라면 대부분 모을 수 있어요. 쇼핑몰 상품과 가격, 소셜 미디어의 공개 게시물, 구인 사이트의 공고, 부동산과 여행 요금, 뉴스와 블로그 글이 대표적이에요.
나라를 지정해서 요청하면 그 나라 방문자에게 보이는 화면으로 받아요. 나라마다 다른 가격이나 재고를 비교하는 작업에 특히 좋아요.
받은 HTML에서 반복되는 목록과 표를 찾아 필요한 칸만 골라 오기 쉽게 정리할 수도 있어요. JSON, CSV, HTML 중 원하는 형식으로 받으면 기존 데이터베이스나 분석 도구에 바로 넣을 수 있어요.
해외 여러 쇼핑몰의 같은 상품을 나라별로 비교하거나, 구인 사이트의 공고를 직무와 지역별로 모아 채용 시장 흐름을 분석하는 팀이 이 API를 많이 써요.
부동산 매물, 숙박과 항공 요금처럼 날마다 바뀌는 정보도 정해진 시간에 반복해서 받아 두면 가격 흐름을 날짜별로 분석할 수 있어요.
직접 프록시로 수집하는 것과 무엇이 다른가요?
직접 수집은 프록시 관리, 재시도 규칙, 브라우저 설정을 모두 스스로 만들어야 하지만, 웹 스크래퍼 API는 이 일을 API가 대신해요. 그래서 수집 코드가 짧아지고, 사이트 구조가 바뀌어도 관리할 부분이 적어요.
요금도 성공한 결과 기준이라 실패한 요청에 비용이 들지 않아요. 수집 규모가 크고 대상 사이트가 다양할수록 API 방식의 장점이 커져요.
요청이 몰려도 API가 순서대로 나눠 보내기 때문에 작업이 중간에 끊기지 않아요. 수집 일정을 안정적으로 지켜야 하는 정기 보고서나 가격 기록 작업에 특히 잘 맞아요.
직접 만든 수집기를 이미 운영하고 있다면 막힘이 잦은 사이트만 API로 옮기는 방법도 좋아요. 쉬운 사이트는 그대로 두고 어려운 사이트만 API에 맡기면 비용과 관리 부담을 함께 줄일 수 있어요.
웹 스크래퍼 API 요금에 무엇이 포함되나요?
모든 요금제에 수집에 필요한 기능이 똑같이 들어 있어요.
요금제를 올려도 기능은 같고 한 달 결과 수와 1,000건당 단가만 달라져요. 그래서 작은 요금제로 시작해 구조를 확인한 뒤, 같은 코드 그대로 큰 요금제로 옮길 수 있어요.
- 성공한 결과만 결제
- 막힘 처리와 자동 재시도
- 자바스크립트 화면 처리
- 나라 지정 요청
- HTML 또는 JSON 결과
- 주거용 IP 자동 배정
- API 키 인증
- 계정 화면에서 사용량 확인
어떤 요금제를 고르면 좋나요?
한 달에 받을 결과 수를 먼저 세어 보고, 그보다 조금 넉넉한 요금제를 고르면 돼요. 하루 700건 안팎이면 스타터, 하루 4,000건 안팎이면 그로스, 하루 13,000건 안팎이면 프로가 맞아요.
월 4,000,000건을 넘는 규모는 맞춤 요금제로 결과 수와 요청 속도를 정해 드려요. 결제는 USDT(TRC20)로 충전한 잔액에서 처리되고, 코드 예시는 API 문서에 curl, Python, Node.js로 정리되어 있어요.
월 요금제는 그 달 안에 쓰는 결과 수예요. 사용량이 늘어나는 달에는 위 단계로 바꾸고, 줄어드는 달에는 알맞은 단계로 바꾸면 비용을 사용량에 맞춰 조절할 수 있어요.
모든 금액은 미국 달러 기준이고, 결과 수를 다 쓰기 전에 위 단계로 옮기면 남은 기간도 더 낮은 단가로 이어서 쓸 수 있어요.
웹 스크래퍼 API는 어떻게 시작하나요?
계정 토큰으로 가입하고 USDT(TRC20)로 잔액을 충전한 뒤 요금제를 고르면 API 키를 만들 수 있어요. API 문서의 예시 코드에 키를 넣으면 바로 첫 요청을 보낼 수 있어요.
API 키는 계정 화면에서 만들고 언제든 새로 바꿀 수 있어요. 첫 충전이 반영되면 1:1 문의도 열려서 수집 대상에 맞는 요청 방법을 상담할 수 있어요.
- 가입 버튼으로 계정 토큰 만들기
- USDT(TRC20)로 잔액 충전($50~$10,000)
- 한 달 결과 수에 맞는 요금제 고르기
- API 키를 만들고 예시 코드로 첫 요청 보내기