
Ihre Shell-Schleife sendet 30 cURL-Anfragen. Die ersten liefern sauberes JSON, die achte Anfrage kommt mit dem Fehlercode 429 Too Many Requests zurück. Das ist die Ziel-Ratenbegrenzung Ihrer einzelnen IP-Adresse und der schnellste Weg, einen Befehlszeilen-Scraping-Vorgang zu beenden.
Die besten Proxys für cURL leiten jede Anfrage über eine neue IP-Adresse, verarbeiten Anfragen mit dem Parameter `-x` problemlos, unterstützen SOCKS5 mit Remote-DNS bei Bedarf und erschweren die Authentifizierung. cURL ist das optimale Werkzeug zum Skripten von Web-Scraping -Anfragen oder zum Testen von Endpunkten. Da cURL jedoch direkt von Ihrer eigenen IP-Adresse aus arbeitet, ist ein Proxy entscheidend, um eine reibungslose Pipeline zu gewährleisten.
Für einen kostenlosen Einstieg ist Webshare die beste Wahl; für ausgewogene, rotierende Scrapes Decodo; für die saubersten IPs NodeMaven; für Premium-SOCKS5 im großen Maßstab Oxylabs; und für Loops mit unbegrenzter Bandbreite Shifter. Dieser Leitfaden vergleicht neun Anbieter und erklärt anschließend detailliert die Funktionsweise von Proxys mit cURL, einschließlich aller relevanten Flags und Parameter.
Kleiner Tipp: cURL akzeptiert einen Proxy mit nur einem Parameter.
HTTP: curl -x "http://user:pass@host:port" https://httpbin.org/ip. SOCKS5 with remote DNS: curl -x "socks5h://user:pass@host:port" https://httpbin.org/ip.To proxy every request in a session, run export https_proxy="http://user:pass@host:port", or add a proxy = line to ~/.curlrc to make it permanent. Always confirm the IP changed against httpbin.org/ip first.
Wie funktionieren Proxys mit cURL?

cURL leitet eine Anfrage mit dem Parameter `-x` (oder der Langform `--proxy`) über einen Proxy. Dieser Parameter erwartet eine vollständige Proxy-URL im Format `protokoll://benutzer:passwort@host:port`. Das gewählte Protokoll beeinflusst den Übertragungsweg der Anfrage. Dies ist die Funktionsweise aller folgenden Befehle.
Bei einem Standard-HTTP- oder HTTPS-Proxy ist die Syntax direkt:
curl -x "http://user:[email protected]:8080" https://httpbin.org/ip
Bei einem SOCKS5-Proxy sollten Sie immer das Schema socks5h:// dem Schema socks5:// vorziehen. Das abschließende h weist cURL an, die DNS-Auflösung über den Proxy und nicht auf Ihrem Rechner durchzuführen. Dadurch wird verhindert, dass Ihr tatsächlicher Standort durch eine DNS-Anfrage preisgegeben wird.
curl -x "socks5h://user:[email protected]:1080" https://httpbin.org/ip
Authentifizierung: Anmeldeinformationen oder IP-Whitelist
Proxys akzeptieren zwei Authentifizierungsmethoden, und jeder Anbieter in dieser Liste unterstützt mindestens eine davon. Die erste Methode ist Benutzername und Passwort, eingebettet in die Proxy-URL oder übergeben mit -U (--proxy-user). Die zweite Methode ist die IP-Whitelist, bei der Sie die IP-Adresse Ihres Rechners im Dashboard registrieren. Der Proxy vertraut ihr dann ohne Anmeldeinformationen, was Ihre Befehle in einer kontrollierten Umgebung kürzer hält.
curl -x "http://gateway.provider.com:8080" -U "user:pass" https://httpbin.org/ip
Jede Anfrage in einer Sitzung wird weitergeleitet.
Um alle Anfragen von einem Terminal über einen Proxy zu senden, ohne die Option zu wiederholen, müssen Umgebungsvariablen exportiert werden. cURL liest http_proxy, https_proxy und all_proxy und berücksichtigt no_proxy für Ausnahmen.
export http_proxy="http://user:pass@host:port"
export https_proxy="http://user:pass@host:port"
export no_proxy="localhost,127.0.0.1"
To make the setting permanent across every session, add a line to the cURL configuration file at ~/.curlrc:
proxy = "http://user:pass@host:port"
proxy-user = "user:pass"
Rotations- und Haftsitzungen
Die Rotation ist der Punkt, an dem ein Proxy-Netzwerk seinen Wert für cURL beweist. Richtet man eine Anfrage an ein rotierendes Residential- Gateway, so wird jeder Aufruf automatisch von einer neuen IP-Adresse ausgehend, sodass eine einfache For-Schleife einen Scrape über den Pool verteilt, ohne dass eine IP-Liste verwaltet werden muss:
for i in $(seq 1 20); do
curl -s -x "http://user:[email protected]:7000" https://httpbin.org/ip
erledigt
Wenn ein Skript eine IP-Adresse über mehrere Schritte hinweg beibehalten muss, beispielsweise nach einer Anmeldung mehrere authentifizierte Anfragen, verwendet man eine Sticky Session. Die meisten Anbieter steuern dies über den Benutzernamen: DataImpulse und Decodo hängen ein Session-Token an, während Shifter eine Session-ID (SID) oder einen zeitlich begrenzten TTL-Wert verwendet. Dasselbe Benutzernamenmuster ermöglicht auch Geo-Targeting, sodass Sie Land, Stadt oder ASN direkt im Text anfordern können.
curl -x "http://user-country-us-city-newyork-sessid-abc123:pass@gateway:7000" https://httpbin.org/ip
Die wichtigsten cURL-Proxy-Flags
| Flagge oder Variable | Zweck | Beispiel |
|---|---|---|
| -x, –proxy | Proxy festlegen (Protokoll, Host, Port) | curl -x http://host:8080 URL |
| -U, –proxy-user | Proxy-Zugangsdaten bereitstellen | curl -x host:8080 -U user:pass URL |
| –socks5-Hostname | SOCKS5 mit DNS-Auflösung über den Proxy | curl --socks5-hostname host:1080 URL |
| -p, –proxytunnel | Eine Nicht-HTTP-Anfrage durch einen HTTP-Proxy leiten | curl -p -x host:8080 URL |
| –proxy-header | Sende nur einen Header an den Proxy. | curl --proxy-header “X-Key: v” -x Host-URL |
| –noproxy | Kommagetrennte Hosts zum Umgehen | curl –noproxy .internal.com URL |
| –proxy-insecure | TLS-Verifizierung des Proxys überspringen | curl --proxy-insecure -x https://host URL |
| http_proxy / https_proxy / all_proxy | Umgebungsvariablen werden auf jede Anfrage angewendet | export https_proxy=http://user:pass@host:port |
| ~/.curlrc | Persistente Konfigurationsdatei | proxy = “http://user:pass@host:port” |
| -v, –ausführlich | Zeigen Sie den vollständigen Verbindungs- und Header-Austausch an. | curl -v -x host:8080 URL |
Die 9 besten Proxys für cURL im Jahr 2026 (Überprüfung)
| cURL-Proxy-Anbieter | Bester cURL Edge | Protokolle | Idealer Workflow | Eintrittspreis |
|---|---|---|---|---|
| Webshare | Dauerhaft kostenloser Tarif, Listenexport mit einem Klick | HTTP, HTTPS, SOCKS5 | Schnelle Tests und leichtes Abkratzen der Schale | Kostenlos / ca. 1.40 €/GB |
| Decodo | cURL-Dokumentation zum Kopieren und Einfügen, 24 Stunden lang angepinnt | HTTP(S), SOCKS5 | Mittelgroße rotierende Schaber | Bei etwa 2 US-Dollar pro GB im großen Maßstab |
| NodeMaven | Sauberste IPs, geringste Blockierungen | HTTP(S), SOCKS5 | Low-Block-Scripted-Scraping | ca. 2.20 $/GB |
| Oxylabs | Premium SOCKS5 + GitHub-Beispiele | HTTP(S), SOCKS5 | SLA-konforme Großaufträge | ~2.50 $/GB bei 1 TB |
| Schalthebel | Rückanschlussports mit unbegrenzter Bandbreite | HTTP(S), SOCKS | Hochvolumige, ungemessene Schleifen | Portbasiert |
| Rayobyte | Rechenzentrum mit unbegrenzter Bandbreite | HTTP(S), SOCKS5 | Schnelles Abkratzen ungeschützter Ziele | 1 US-Dollar/IP-Rechenzentrum |
| Königlich | Haftende Sitzungen bis zu 7 Tage | HTTP(S), SOCKS5 | Lange, mehrstufige Skripte | ~1.75 $/GB (Großpackung) |
| Datenimpuls | 1 US-Dollar/GB, Targeting über den Benutzernamen | HTTP, HTTPS, SOCKS5 | Großvolumige Shell-Loops für kleines Budget | 1 USD / GB |
| Proxy-Verkäufer | Alle 5 Proxy-Typen, IPv6 ab 0.08 $/IP | HTTP(S), SOCKS5 | Gemischte Arbeitsabläufe und günstiger IPv6-Massenverkehr | 0.08 $/IP (IPv6) |
1. Webshare (Bester kostenloser Einstieg in cURL)

Webshare ist der schnellste Weg, kostenlos einen funktionierenden -x-Befehl zu erhalten. Der dauerhaft kostenlose Tarif bietet Ihnen 10 Proxys und 1 GB Datenvolumen pro Monat ohne Kreditkarte. Das Dashboard exportiert eine sofort einsatzbereite Liste mit Host:Port:Benutzer:Passwort, die Sie direkt in cURL einfügen können. Jede Verbindung unterstützt HTTP, HTTPS und SOCKS5 über 80 Millionen private und 500,000 Rechenzentrums- und ISP-IPs. So können Sie innerhalb von Minuten die Funktionsfähigkeit eines Shell-Skripts testen, ohne einen Cent zu bezahlen.
| Parameter | Detail |
|---|---|
| Proxy-Typen | Rechenzentrum, Internetanbieter, Privatkunden |
| Protokolle | HTTP, HTTPS, SOCKS5 |
| Authentifizierung | Whitelist für Benutzername/Passwort und IP-Adresse |
| Geo-Targeting | 195 Länder; Stadt mit Wohngebiet |
| AnzeigenPreise | Rechenzentrum ab 0.0299 $/IP; Privatkunden ca. 1.40 $ bis 3.50 $/GB |
| Gutschein | Kein Code erforderlich (dauerhaft kostenloses Kontingent) |
| Kostenlose Testversion | Kostenlos für immer: 10 Proxys + 1 GB/Monat |
Vorteile
Nachteile
2. Decodo (Beste ausgewogene Wahl für cURL)

Decodo ist die optimale Lösung, wenn kostenlose Proxys nicht mehr ausreichen. Die Dokumentation enthält vorgefertigte cURL-Code-Snippets zum Kopieren und Einfügen für einen schnellen Einstieg. Der Pool von 115 Millionen Residential-Servern sowie die zusätzlichen Rechenzentrumsoptionen decken die meisten Kommandozeilen-Scraping- Anforderungen ab . Dank HTTP(S)- und SOCKS5-Unterstützung und Sticky Sessions, die bis zu 24 Stunden aufrechterhalten werden können, benötigt ein Skript über mehrere Schritte hinweg eine stabile IP-Adresse. Mit einer 3-tägigen Testphase und einer 14-tägigen Geld-zurück-Garantie können Sie Decodo risikofrei mit Ihren eigenen Zielen testen.
| Parameter | Detail |
|---|---|
| Proxy-Typen | Wohngebäude, Rechenzentrum |
| Protokolle | HTTP(S), SOCKS5 |
| Authentifizierung | Whitelist für Benutzername/Passwort und IP-Adresse |
| Geo-Targeting | Mehr als 195 Standorte, Städte und Koordinaten |
| AnzeigenPreise | Privatkunden: 2 bis 3.75 US-Dollar/GB; Rechenzentren: ab 0.60 US-Dollar/GB |
| Gutschein | Kein Code erforderlich (3 Tage Testversion + 14 Tage Geld-zurück-Garantie) |
| Kostenlose Testversion | 3 Tage kostenlos testen, 14 Tage Geld-zurück-Garantie |
Vorteile
Nachteile
3. NodeMaven (Ideal bei niedrigen Blockierungsraten)

NodeMaven eignet sich ideal für cURL-Anwendungen, bei denen Blockierungen unbedingt vermieden werden müssen. Der zweistufige Filter prüft jede IP-Adresse und hält etwa 95 % davon sauber, was eine Erfolgsquote von 99.54 % ergibt. Sie erhalten HTTP(S) und SOCKS5 für 30 Millionen private und 250,000 mobile IP-Adressen, Targeting nach Stadt und ASN ohne Aufpreis sowie bis zu sieben Tage anhaltende Sitzungen für umfangreiche Skriptabläufe. Ein Cloud-Scraping-Browser ist enthalten, wenn eine Anfrage JavaScript benötigt. Die Testversion für 3.50 $ bietet Ihnen vollen Zugriff, bevor Sie sich endgültig entscheiden.
| Parameter | Detail |
|---|---|
| Proxy-Typen | Privatkunden, Mobilfunkanbieter, Internetanbieter |
| Protokolle | HTTP(S), SOCKS5 |
| Authentifizierung | Benutzername/Passwort |
| Geo-Targeting | Über 190 Länder, Städte und ASN, keine Premium-Gebühren |
| AnzeigenPreise | Ab ca. 2.20 $/GB, Cashback auf genutzten Datenverkehr |
| Gutschein | AFFMAVEN35 (35% Rabatt) |
| Kostenlose Testversion | 3.50 $ Testversion mit 750 MB |
Vorteile
Nachteile
4. Oxylabs (Beste Premium-SOCKS5 für cURL)

Oxylabs ist die Premium-Lösung für SOCKS5 und unterstützt das Protokoll für Residential-, ISP-, Rechenzentrums- und Mobilfunk-Proxys ohne Aufpreis. Ein ausführliches cURL-Tutorial und ein öffentliches GitHub-Beispiel-Repository stehen zur Verfügung. Mit 175 Millionen Residential-IPs ist Oxylabs ideal für SLA -konforme Shell-Jobs mit hohem Datenvolumen geeignet und bietet zusätzlich eine Web-Unblocker- und Scraper-API, die Sie mit nur einer Zeile Code aufrufen können. Beachten Sie die standardmäßige Portbeschränkung: Nur die Ports 80 und 443 funktionieren sofort; für nicht standardmäßige Ports ist eine Überprüfung erforderlich.
| Parameter | Detail |
|---|---|
| Proxy-Typen | Privatkunden, Internetanbieter, Rechenzentrum, Mobilfunk |
| Protokolle | HTTP(S), SOCKS5 (alle Typen, ohne Aufpreis) |
| Authentifizierung | Whitelist für Benutzername/Passwort und IP-Adresse |
| Geo-Targeting | Mehr als 150 Standorte, Städte und Koordinaten |
| AnzeigenPreise | Privatkunden: 6 $/GB, jetzt 2.50 $/GB (1 TB); Prepaid: 4 $/GB |
| Gutschein | OXYLABS50 (50% Rabatt) |
| Kostenlose Testversion | 7 Tage Testversion; 5 kostenlose Rechenzentrums-IPs |
Vorteile
Nachteile
5. Schalthebel (Beste Wahl mit unbegrenzter Bandbreite)

Shifter verwendet ein alternatives Abrechnungsmodell, das sich für rechenintensive cURL-Schleifen eignet: Backconnect-Ports mit unbegrenzter Bandbreite anstelle einer Abrechnung pro GB. Seit 2012 im Einsatz und mit einem Pool von 205 Millionen Privatadressen, ermöglicht Shifter die Rotation der IP-Adresse pro Anfrage oder die Zuweisung einer IP-Adresse mit einer Sitzungs-ID (SID) oder einem zeitlich begrenzten TTL-Wert, der im Benutzernamen gespeichert wird. Dies lässt sich nahtlos in einen cURL-Einzeiler integrieren. HTTP(S)- und SOCKS-Unterstützung, Targeting nach Land, Stadt und ASN sowie eine konfigurierbare Rotation bis zu einer Minute machen Shifter ideal für unbegrenztes, hochgradig paralleles Web-Scraping vieler Ziele.
| Parameter | Detail |
|---|---|
| Proxy-Typen | Rotierender Wohnanschluss (Rückverbindung), ISP, statischer Wohnanschluss |
| Protokolle | HTTP, HTTPS, SOCKS |
| Authentifizierung | Benutzername/Passwort |
| Geo-Targeting | Über 195 Länder, Land, Stadt, ASN |
| AnzeigenPreise | Portbasiert, unbegrenzte Bandbreite; ab ca. 0.30 $/GB in den höheren Tarifstufen |
| Gutschein | AFFINCO-M454 (10% Rabatt) |
| Kostenlose Testversion | Kostenlose Testversion plus 3-Tage-Geld-zurück-Garantie |
Vorteile
Nachteile
6. Rayobyte (Bestes Rechenzentrum für cURL)

Rayobyte ist die optimale Lösung für cURL im Rechenzentrum. Der Anbieter bietet unbegrenzte Bandbreite für Rechenzentrums-IPs ab 1 US-Dollar pro Stück – ideal für Angriffe auf ungeschützte Ziele aus der Shell, wo private IPs überdimensioniert sind. Der US-amerikanische Anbieter , der seit 2014 ethisch einwandfrei arbeitet, unterstützt SOCKS5 auf privaten, semi-dedizierten und ISP-Proxys per Benutzername und Passwort. Zusätzlich bietet er rotierende private IPs ab ca. 0.90 US-Dollar pro GB sowie eine Web-Scraping-API mit JSON-Rückgabe, die direkt aus einem Skript aufgerufen werden kann.
| Parameter | Detail |
|---|---|
| Proxy-Typen | Rechenzentrum, Internetdienstanbieter, rotierende Wohnanlage |
| Protokolle | HTTP(S), SOCKS5 (privat, semi-dediziert, ISP) |
| Authentifizierung | Whitelist für Benutzername/Passwort und IP-Adresse |
| Geo-Targeting | US-stark; statischer ISP USA, Großbritannien, Kanada, Deutschland |
| AnzeigenPreise | Rechenzentrum ab 1 US-Dollar/IP (unbegrenzte Bandbreite); Privatkunden ab ca. 0.90 US-Dollar/GB |
| Gutschein | AFFMAVEN5 (50 MB kostenlose Testversion) |
| Kostenlose Testversion | Probeaufenthalt nach Anmeldung |
Vorteile
Nachteile
7. Königlich (Ideal für lange, komplexe Drehbücher)

IPRoyal eignet sich dank Sticky Sessions, die dieselbe IP-Adresse bis zu sieben Tage lang halten (maximal sieben Tage), ideal für lange, zustandsbehaftete cURL-Skripte. Dies ist besonders praktisch für Skripte, die sich einmal anmelden und eine lange Sequenz ausführen. IPRoyal unterstützt HTTP(S) und SOCKS5 in 195 Ländern. Der Datenverkehr verfällt nie, sodass gelegentliche Aufträge kein Abonnement verbrauchen. Zudem werden über 25 Kryptowährungen akzeptiert – perfekt für Entwickler , die Wert auf Datenschutz legen. Die Preise für Privatkunden liegen zwischen 7 US-Dollar pro GB und etwa 1.75 US-Dollar bei hohem Datenvolumen.
| Parameter | Detail |
|---|---|
| Proxy-Typen | Privatkunden, Internetanbieter, Rechenzentrum |
| Protokolle | HTTP(S), SOCKS5 |
| Authentifizierung | Benutzername/Passwort |
| Geo-Targeting | 195 Länder, Städte und Staaten |
| AnzeigenPreise | Privatkunden: 7 $/GB gesunken auf ca. 1.75 $/GB; Rechenzentrum: ab 1.39 $/Proxy |
| Gutschein | AFFMAVEN10 (10% Rabatt) |
| Kostenlose Testversion | Kostenlose Testversion auf Anfrage |
Vorteile
Nachteile
8. Datenimpuls (Die besten günstigen Proxys für cURL)

DataImpulse setzt Maßstäbe beim Shell-Scraping: 1 US-Dollar pro GB für Privatkunden, authentifizierte SOCKS5-Verbindungen neben HTTP und HTTPS sowie Targeting direkt im Benutzernamen, sodass ein einziger cURL-Befehl Land, Stadt oder ASN abdeckt. Der Pool von 90 Millionen First-Party-Privatkunden weist eine Erfolgsquote von 99.51 Prozent auf, der Traffic verfällt nie, und Testläufe sind ab 5 US-Dollar kostengünstig. Sie profitieren von den niedrigsten tatsächlichen Kosten pro erfolgreicher Anfrage im Vergleich zu Managed-Unblocking-Tools .
| Parameter | Detail |
|---|---|
| Proxy-Typen | Wohnbereich, Rechenzentrum, Mobil |
| Protokolle | HTTP, HTTPS, authentifiziertes SOCKS5 |
| Authentifizierung | Benutzername/Passwort (Zielgruppe im Benutzernamen) |
| Geo-Targeting | Land enthalten; Stadt und ASN verfügbar |
| AnzeigenPreise | Privatkunden: 1 $/GB; Rechenzentrum: 0.50 $/GB; Mobilfunk: 2 $/GB |
| Gutschein | Kein Code erforderlich (Mindestbetrag 5 $, unbegrenzt gültig) |
| Kostenlose Testversion | Mindestaufladung 5 $ (5 GB) |
Vorteile
Nachteile
9. Proxy-Verkäufer (Beste und günstigste IPv6-Lösung mit verschiedenen IP-Typen)

Proxy-Seller verdient seinen Platz dadurch, dass er alle Proxy-Klassen von einem einzigen Konto aus abdeckt, was selten und praktisch ist, wenn ein cURL-Workflow verschiedene Aufgaben kombiniert.
Sie erhalten IPv4- und IPv6-Rechenzentrums-, ISP- (statisch und rotierende) und 4G/5G-Mobilfunk-IPs, alle mit Unterstützung für HTTP(S) und SOCKS5 mit Benutzername/Passwort- oder IP-Whitelist-Authentifizierung . Besonders hervorzuheben ist das IPv6-Rechenzentrumsangebot ab nur 0.08 $ pro IP-Adresse – die günstigste und zuverlässigste Option für IPv6-fähige Ziele wie Google und Reddit. Eine REST-API in fünf Sprachen, DSGVO- und ISO-27001-Konformität sowie eine kostenlose Testversion für 1.99 $ runden das Angebot ab.
| Parameter | Detail |
|---|---|
| Proxy-Typen | IPv4, IPv6, Internetanbieter, rotierender Wohnbereich, Mobilfunk |
| Protokolle | HTTP(S), SOCKS5 |
| Authentifizierung | Whitelist für Benutzername/Passwort und IP-Adresse |
| Geo-Targeting | Über 220 Länder; Wohnsitzland, Stadt, Internetanbieter |
| AnzeigenPreise | IPv6 ab 0.08 $/IP; IPv4 ab 0.70 $/IP; Privatkunden ab 0.70 $ bis 3.50 $/GB |
| Gutschein | AFFINCO (15 % Rabatt auf IPv4, IPv6, ISP) |
| Kostenlose Testversion | 1.99 $ 3-Tage-Testversion |
Vorteile
Nachteile
Wie man den richtigen cURL-Proxy auswählt

Wählen Sie den Proxy passend zur Aufgabe und nicht nach dem Preis. Um cURL kostenlos über einen Proxy zu testen, beginnen Sie mit Webshare.
Für ausgewogene, rotierende Scrapes mittlerer Größe mit sauberer Dokumentation eignet sich Decodo. Für die niedrigste Blockierungsrate bei sensiblen Zielen ist der Clean-IP-Filter von NodeMaven führend. Für SLA-konformes SOCKS5 im großen Maßstab ist Oxylabs die sichere Standardlösung, sofern die Portbegrenzung berücksichtigt wird. Für unbegrenzte, hochvolumige Schleifen entfällt dank der unbegrenzten Bandbreite von Shifter die Berechnung der Kosten pro GB. Für schnelles Scraping ungeschützter Ziele bietet Rayobytes Rechenzentrum mit unbegrenzter Bandbreite ab 1 US-Dollar pro IP das beste Preis-Leistungs-Verhältnis.
Bei langen zustandsbehafteten Skripten sind die siebentägigen Sticky Sessions von IPRoyal zuverlässig; bei den günstigsten Preisen pro GB für Privatkunden ist DataImpulse die beste Wahl; und für gemischte Arbeitsabläufe oder extrem günstige IPv6-Massentransaktionen deckt Proxy-Seller alle Arten von einem einzigen Konto ab.
Egal, wofür Sie sich entscheiden, führen Sie zuerst eine kleine for-Schleife gegen httpbin.org/ip aus, um die Rotation zu bestätigen, bevor Sie sie auf ein tatsächliches Ziel ausrichten.
Wie man cURL-Proxys testet und debuggt
Vor der Skalierung sollte überprüft werden, ob der Proxy ordnungsgemäß funktioniert. Der Standardtest besteht darin, zu bestätigen, dass eine Anfrage die IP-Adresse des Proxys und nicht Ihre eigene zurückgibt:
curl -x "http://user:pass@host:port" https://httpbin.org/ip
Wenn die zurückgegebene Adresse nicht die des Proxys ist, wird die Anfrage nicht weitergeleitet. Fügen Sie `-v` (verbose) hinzu, um den Verbindungsaufbau und die Header anzuzeigen. Dadurch wird ersichtlich, ob cURL den Proxy überhaupt erreicht hat.
Drei Fehler treten häufig beim Web-Scraping über die Kommandozeile auf. Der Fehlercode 407 „Proxy Authentication Required“ bedeutet, dass Ihre Anmeldeinformationen falsch oder unvollständig sind. Überprüfen Sie daher den Wert der Option `-U` oder die URL-Angabe „Benutzername:Passwort“. Der Fehlercode 429 „Too Many Requests“ bedeutet, dass Sie das Ziel zu schnell von zu wenigen IP-Adressen aus ansprechen. In diesem Fall sollten Sie die IP-Adressen häufiger wechseln oder eine kurze Verzögerung zwischen den Anfragen einbauen.
Ein 403-Fehler (Verboten) oder ein CAPTCHA bedeutet in der Regel, dass das Ziel eine Rechenzentrums-IP erkannt hat. Ein Wechsel zu einer privaten IP-Adresse oder einer IP-Adresse des Internetanbieters behebt das Problem. Bei instabilen Zielen empfiehlt es sich, die Ausfallsicherheit mit den Parametern `--retry 3` und `--retry-delay 2` zu erhöhen und eine aggressive Testschleife mit `--limit-rate` oder einer Pause zwischen den Iterationen zu verlangsamen. Dieser Testablauf entspricht dem disziplinierten Vorgehen, das wir bei jedem Build der Datenerfassung anwenden.
Schlusswort
cURL in Kombination mit dem passenden Proxy ist der direkteste Weg zu zuverlässiger Datenerfassung über die Kommandozeile. Die beste Wahl hängt von Ihrem Arbeitsaufwand ab. Beginnen Sie kostenlos mit Webshare, wechseln Sie zu Decodo für ausgewogene, rotierende Datenabfragen, nutzen Sie NodeMaven, wenn Blockierungsraten wichtig sind, und skalieren Sie produktive SOCKS5-Jobs mit Oxylabs.
Die Ports mit unbegrenzter Bandbreite von Shifter eignen sich für umfangreiche, ungetaktete Schleifen, die Rechenzentrums-IPs von Rayobyte sind ideal für schnelle und einfache Ziele, IPRoyal ermöglicht lange zustandsbehaftete Sitzungen, DataImpulse punktet mit seinen geringen Kosten und Proxy-Seller deckt alle Proxy-Typen sowie die günstigsten IPv6-Adressen auf dem Markt ab.
Egal, wofür Sie sich entscheiden, verbinden Sie es mit -x, bestätigen Sie die IP-Adresse anhand von httpbin.org/ip und richten Sie Ihre Schleife erst dann auf ein reales Ziel.
Weitere Informationen zur Infrastruktur hinter dem Web-Scraping finden Sie in unseren Leitfäden zu den besten rotierenden Proxys , den besten Alternativen zu MyPrivateProxy und den besten Browsern mit Anti-Erkennungsschutz für den Übergang von der Shell zu einem vollständigen Browser.

Ali
Ali ist Experte für digitales Marketing mit über 7 Jahren Erfahrung im SEO-optimierten Bloggen. Mit seiner Expertise in der Bewertung von SaaS-Tools, Social-Media-Marketing und E-Mail-Kampagnen erstellen wir Inhalte, die gut ranken und das Publikum begeistern. Ali ist bekannt für seine authentischen Informationen und eine zuverlässige Quelle für Unternehmen, die ihre Online-Präsenz effektiv stärken möchten.


