Proxy API

Code/Web 2020. 9. 2. 10:55

Proxy API

 

    - 무료 프록시 서버 리스트 사이트는 제대로 동작하는 것이 거의 없다

 

    - Request 마다 프록시 사이트를 자동으로 변경해주는 서비스

    - 웹 스크랩을 할때 유용 , http error 429 Too Many Requests 나 CAPTCHA 에 대응 할수 있다

 



//--------------------------



* Scraper API  <=== 권장

https://www.scraperapi.com/dashboard

    - API 방식

    - 1000 요청 무료 ,  사실상 1달에 5000 제한(하루에 5000 가능)

    - $29/달

 

curl "http://api.scraperapi.com?api_key=키&url=http://httpbin.org/ip"





* scrapingbee

https://www.scrapingbee.com/

    - 무료 : 1000 

    - $29/달

    - 한번 요청해도 5번씩 올라감

    - json 리턴이 HTML 형식으로 변형되서 리턴됨

 

curl "https://app.scrapingbee.com/api/v1/?api_key=키&url=http%3A%2F%2Fhttpbin.org%2Fheaders%3Fjson"

 

  

 

//-----------------------

* scrapestack

https://scrapestack.com

    - 1000 무료, (가입시 신상 정보 요구)

    - $20/달




* scrapinghub

https://www.scrapinghub.com/crawlera/

    - 14일간 1만번 무료 ( 신용카드 등록 필요)

    - $99/달

 

    



//---------------

 

https://www.scraperapi.com/blog/the-10-best-rotating-proxy-services-for-web-scraping/



//-----------

// pass

 

* SmartProxy => 설정해서 사용, 최저 $75

https://smartproxy.com/




* Luminati

https://luminati.io/

    $3.5/1k req

    1000번에 4000원



* Microleaves

    - 프록시 서버만 제공

 

* Geosurf

    - 최소 : $450/ 달

 

* Oxylabs

    - $99

 

* NetNut

    $300

 

* Intoli

    $100

 

* Crawlera

    $99

 

* Blazing Proxies

    서버 대여

 

* Honorable Mention: HomeIP

    $200

 

 

반응형

'Code > Web' 카테고리의 다른 글

AVIF 그림 파일 포맷  (0) 2021.01.28
Squid 프록시 접속 아이디 비밀번호 설정 방법  (0) 2020.09.06
Proxy API  (0) 2020.09.02
IP 네트워크 서브넷 마스크  (0) 2020.08.30
구글 번역 API 사용법  (0) 2020.08.15
[웹] 프로젝트 폴더 구조  (0) 2020.08.08
Posted by codens codens

댓글을 달아 주세요