Python script for crawling API stops for some reason - make suggestions for improvement
- Állapot: Closed
- Díj: $20
- Beérkezett pályamű: 3
- Nyertes: RedLayers
A verseny összegzése
Dear all,
We're using the below script for making requests with the crawling provider proxycrawl.com (the documentation can be accessed here after having created a free account: https://proxycrawl.com/dashboard/docs).
The script is working well in general, however with one problem remaining: It simply stops working from time to time - sometimes after having successfully crawled a couple of hundred, sometimes only after a couple of thousand URLs. But we can't get it stable to crawl a couple of 10k URLs.
Please make suggestions right in the code - including a comment that describes why you made the change. We'll then test it and award the amount if the change brings the desired result.
Looking forward to your contributions!
Ajánlott készségek
Munkaadói értékelés
“Mario is a great guy and a pleasure to work with!”
thomasjohn6, Germany.
A verseny legjobb pályaművei
-
zaidur101 Bangladesh
-
abirrajdut Bangladesh
Nyilvános pontosítófelület
Így vágjon bele a versenyekbe
-
Indítson egy versenyt! Gyors és könnyű
-
Kapjon akár több száz pályaművet A világ minden szegletéből
-
Díjazza a legjobb pályázatot Töltse le a fájlokat - csak egy kattintás!