웹 수집 모바일 프록시, 요청마다 새 모바일 IP로 공개 데이터 수집

웹 수집 모바일 프록시는 공개 웹 페이지를 많이 열어 볼 때 요청마다 다른 모바일 IP로 접속하게 해 주는 방법이에요. 회전 모바일 프록시는 GB당 $3.59 요금으로 26개 나라의 모바일 IP를 써요.

웹 수집에 회전 모바일 프록시가 잘 맞는 이유

공개 페이지를 많이 열면 같은 IP에서 요청이 몰리게 돼요. 회전 모바일 프록시는 요청마다 다른 모바일 IP로 내보내기 때문에 요청이 넓게 나뉘고, 사이트는 각 요청을 서로 다른 휴대폰 사용자의 접속으로 봐요.

모바일 IP는 많은 사용자가 함께 쓰는 통신망 주소라서 사이트가 평범한 방문으로 받아들여요. 그래서 응답이 고르게 돌아오고 수집 작업이 계획대로 이어져요.

회전 모바일 프록시는 게이트웨이 주소 하나로 접속하기 때문에 IP 목록을 관리할 필요가 없어요. 수집 도구에 주소 하나만 넣으면 IP 교체는 게이트웨이가 알아서 처리해요.

공개 페이지를 넓게 모으는 일은 회전 상품이 알맞아요. 로그인한 계정으로 같은 화면을 매일 확인하는 일처럼 같은 IP가 오래 필요하다면 전용 고정 모바일 프록시를 함께 써요.

설정은 사용자 이름 하나로 끝나요. 예를 들어 독일 쇼핑몰의 상품 목록을 모은다면 country-de만 붙여 요청마다 새 IP로 보내고, 여러 단계가 이어지는 화면을 볼 때는 session 아이디와 ttl-10을 함께 붙여 10분 동안 같은 IP로 이어서 봐요.

상품 목록, 검색 결과, 카테고리 페이지처럼 서로 이어지지 않는 페이지는 기본 설정 그대로 요청마다 새 IP를 써요.

다음 페이지 버튼을 따라가거나 쿠키가 이어져야 하는 작업은 사용자 이름에 session 값과 ttl 분을 넣어 1분부터 30분까지 같은 IP를 유지해요.

사용자 이름에 country-us, country-de처럼 나라 코드를 넣으면 그 나라 사용자에게 보이는 가격과 재고를 모아요. 나라가 상관없다면 모든 나라 설정으로 써요.

회전 모바일 프록시로는 로그인 없이 누구나 볼 수 있는 공개 정보를 모아요. 많이 모으는 데이터는 아래와 같아요.

같은 사이트의 나라별 가격이나 재고를 비교할 때는 사용자 이름의 나라 값만 바꿔 같은 주소를 차례로 요청해요. 결과에 나라 코드를 함께 저장하면 비교 표를 바로 만들 수 있어요.

처음에는 동시 연결 수를 작게 시작해 응답 상태를 보고 조금씩 늘려요. 응답이 고르게 오는 범위를 찾으면 그 설정으로 오래 안정적으로 돌릴 수 있어요. 도구에 재시도 설정을 넣어 두면 응답이 늦은 요청을 잠시 뒤 새 IP로 다시 보내 수집이 매끄럽게 이어져요.

요청 사이에 짧은 간격을 두고 모바일 브라우저 정보를 함께 보내면 휴대폰 사용자와 같은 페이지를 받아요. 응답 코드를 기록해 두면 설정을 조절할 때 좋은 기준이 돼요.

이미지, 동영상, 글꼴처럼 수집에 필요 없는 파일은 내려받지 않도록 도구에서 막아 두면 같은 GB로 더 많은 페이지를 열어요. 공개 API나 데이터 주소가 있다면 화면 전체 대신 그 주소만 요청하는 것도 좋아요.

한 번 받은 페이지는 저장해 두고 바뀐 페이지만 다시 요청하면 같은 트래픽으로 더 오래 수집해요. 수집 주기를 페이지 변경 주기에 맞추는 것도 좋은 방법이에요.

같은 사이트에서 로그인 없이 볼 수 있는 공개 정보만 모으고, 사이트가 안내하는 이용 규칙에 맞춰 요청 속도를 정하면 수집을 오래 안정적으로 이어 갈 수 있어요.

콘솔에서 남은 트래픽과 쓴 양을 언제든 확인할 수 있어서 작업별 비용을 쉽게 계산해요.

수집량이 많은 날과 적은 날이 섞여 있어도 GB 단위로 사기 때문에 실제로 쓴 만큼만 비용이 들어요.

가격은 GB당 $3.59로 주문량과 상관없이 같고, 산 트래픽은 30일 동안 써요. 잔액은 암호화폐 12가지로 충전하고, $100 이상 충전하면 20%, $5,000 충전하면 50% 보너스가 붙어요.

페이지 몇백 개를 먼저 수집해 콘솔에서 쓴 양을 확인하고, 하루 수집량에 한 달 날짜를 곱해 필요한 GB를 정해요. 트래픽은 30일 동안 쓸 수 있으니 한 달 계획에 맞춰 사면 깔끔해요.