So verwenden Sie Wget, um alles aus dem Internet herunterzuladen

Wget ist ein Befehlszeilenprogramm, mit dem fast alles heruntergeladen werden kann, was im Internet verfügbar ist. Der Haken ist, dass es über HTTP-, HTTPS- oder FTP-Protokolle verfügbar sein sollte; Andernfalls kann Wget es nicht herunterladen. Es gibt eine Reihe von Möglichkeiten, wie Wget verwendet werden kann, zum Beispiel können Sie Wget verwenden, um jedes Bild auf einer Website herunterzuladen, oder Sie können auch eine einzelne Datei herunterladen. Wget ist sogar in der Lage, Downloads wieder aufzunehmen, wenn dies möglich ist. Wenn Sie sich also fragen, wie Wget funktioniert und was es für Sie tun kann, Hier erfahren Sie, wie Sie Wget verwenden:

Wget installieren

1. Installieren von Wget auf macOS Sierra

Bevor wir mit der Verwendung von Wget beginnen, müssen wir es auf unserem System installieren. Glücklicherweise ist bei den meisten Linux-Distributionen Wget vorinstalliert, sodass Sie keine zusätzliche Arbeit leisten müssen. Wenn Sie jedoch einen Mac verwenden, müssen Sie Wget installieren. Das geht ganz einfach mit Homebrew (Download). Wenn Sie Hilfe benötigen, gehen Sie wie folgt vor:

  • Zuerst müssen Sie Homebrew auf Ihrem Mac installieren, um Wget herunterladen zu können. Dazu einfach Starten Sie das Terminalund geben Sie den folgenden Befehl ein:
/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

Homebrew auf mac installieren schritt eins

  • Nachdem der Befehl abgeschlossen ist, Homebrew wird installiert auf Ihrem System. Sie können jetzt Homebrew verwenden, um Pakete wie Wget zu installieren. Führen Sie im Terminal einfach den folgenden Befehl aus:
brew install wget

installiere wget auf mac mit homebrew

  • Homebrew wird automatisch gestartet Herunterladen, Entpacken und Installieren von Wget auf Ihrem System. Dieser Schritt kann je nach Netzwerkgeschwindigkeit einige Zeit in Anspruch nehmen, seien Sie also geduldig. Sobald der Befehl abgeschlossen ist, sollten Sie Wget auf Ihrem Mac verwenden können. Um zu überprüfen, ob es installiert wurde, verwenden Sie einfach den Befehl:
wget -V

Überprüfen Sie die wget-Installation

2. Wget unter Windows installieren

Die Installation von Wget unter Windows erfordert etwas mehr Aufwand, ist aber problemlos möglich. Wenn Sie Wget auf Ihrem Windows-PC installieren möchten, befolgen Sie einfach die folgenden Schritte:

  • Laden Sie zuerst Cygwin herunter und dann Führen Sie die heruntergeladene Setup-Datei aus.
  • Wenn Sie nach der Standard-Download-Quelle gefragt werden, wählen Sie die Option „Aus dem Internet installieren“, und klicken Sie auf “Nächste”.

aus dem Internet installieren

  • Wählen Sie ein Installationsverzeichnis aus für Cygwin sowie ein Verzeichnis, in dem Paketdateien für die Installation von Dienstprogrammen gespeichert werden.

Installationsverzeichnis

  • Auf dem nächsten Bildschirm müssen Sie Ihre Internetverbindung auswählen. Wenn Sie einen Proxy verwenden, wählen Sie den Proxy-Typ aus und geben Sie die Details ein. Für die meisten Benutzer wäre die Wahl jedoch „Direkte Verbindung“.

direkte Verbindung

  • Daraufhin wird Ihnen a angezeigt Liste der Spiegel, wählen Sie eine davon aus, um Cygwin herunterzuladen. Wenn der Download fehlschlägt, können Sie es mit einem anderen Mirror erneut versuchen.

Spiegel wählen

  • Suchen Sie im nächsten Fenster nach „wget“, und klicken Sie auf die plus daneben “Netz” in der erscheinenden Liste. Hier ist das Kontrollkästchen neben „wget“ wird automatisch ausgewählt. Einfach anklicken “Nächste”.

suche nach wget

  • Der nächste Bildschirm zeigt Ihnen die Pakete, die heruntergeladen werden müssen. Klick einfach “Nächste”.

Abhängigkeiten als nächstes

  • Sobald die Installation abgeschlossen ist, werden Sie gefragt, ob Sie möchten Erstellen Sie ein Desktop-Symbolund/oder fügen Sie eine hinzu Einstieg in das Startmenü. Dies ist völlig eine Frage der persönlichen Präferenz, aber ich würde vorschlagen, dass Sie es zumindest zum Startmenü hinzufügen, damit Sie es leicht finden können.

Desktop Icon erstellen

Das ist es. Wget ist jetzt auf Ihrem Windows-PC installiert. Sie können es jedoch nicht über die Eingabeaufforderung ausführen. Stattdessen müssen Sie Starten Sie das Cygwin-Terminal und verwenden Sie von dort aus Wget.

So verwenden Sie Wget

Jetzt, da wir Wget auf unserem System zum Laufen gebracht haben, wollen wir all die coolen Möglichkeiten erkunden, wie wir Wget verwenden können, um Dateien, Ordner und sogar ganze Websites aus dem Internet herunterzuladen. Hier sind ein paar interessante Dinge, die Sie mit Wget auf Ihrem System machen können.

Notiz: Ich verwende Wget auf einem MacBook Air mit macOS Sierra 10.12.3 Beta. Da das von uns verwendete Dienstprogramm jedoch dasselbe ist (Wget), sind die Befehle auf jedem Betriebssystem, auf dem Sie Wget verwenden, dieselben.

1. Verwenden Sie Wget, um Dateien herunterzuladen

Mit Wget können Sie problemlos Dateien aus dem Internet herunterladen. Verwenden Sie einfach den folgenden Befehl

wget <url>

Verwenden Sie wget, um Dateien herunterzuladen

  • Laden Sie eine Datei herunter und speichern Sie sie unter einem bestimmten Dateinamen

Dateien auf Servern haben manchmal die seltsamsten Namen, und Sie möchten vielleicht die Datei herunterladen und sie von Wget automatisch in etwas umbenennen lassen, das für Sie sinnvoller ist. Verwenden Sie dazu einfach den folgenden Befehl

wget -o <output_file.extension> <url_to_download>

Verwenden Sie wget, um Dateien herunterzuladen und mit Dateinamen zu speichern

  • Nur bestimmte Dateitypen herunterladen

Ein Webserver kann eine Reihe verschiedener Dateien hosten. Was also, wenn Sie nur alle PDFs auf dem Server oder vielleicht alle GIFs herunterladen möchten? Verwenden Sie einfach den folgenden Befehl:

wget -r -A pdf <url_to_download>

Verwenden Sie wget, um bestimmte Dateitypen herunterzuladen

Dieser spezielle Befehl wurde von Mark Zuckerberg in seinem Studentenwohnheim in Harvard verwendet, um alle Bilder mit nur einem Befehl herunterzuladen und die berüchtigte Website „facesmash.com“ zu erstellen.

wget -r -A jpg, jpeg, png, bmp <url_to_download>

Verwenden Sie wget, um mehrere Dateitypen mit der Akzeptanzliste herunterzuladen

2. Laden Sie Dateien von mehreren URLs mit Wget herunter

Angenommen, Sie müssen Dateien von verschiedenen Orten im Internet herunterladen. Es kann eine geben PDF-Datei auf url1ein wichtiger ZIP-Datei auf url2und etwas anderes in url3. Wenn Sie Wget auf herkömmliche Weise verwendet haben, müssen Sie es dreimal ausführen. Es gibt jedoch einen viel einfacheren Weg, dies zu tun.

  • Erstellen Sie zunächst eine Datei mit allen URLs, von denen Sie Daten herunterladen müssen. Stell sicher, dass du belassen Sie jede URL in einer eigenen Zeile. Speichern Sie die Datei und merken Sie sich den Namen.

Datei mit URLs

  • Verwenden Sie im Terminal den folgenden Befehl, um Dateien von allen URLs herunterzuladen:
wget -i <file_name>

Verwenden Sie eine externe Datei, um URLs anzugeben

wo “Dateinameist der Name der Datei, die Sie mit allen URLs erstellt haben Sie mussten Sachen von herunterladen.

3. Laden Sie eine ganze Website mit Wget herunter

Ja, Sie haben richtig gelesen. Sie können Wget auch verwenden, um den Inhalt einer ganzen Website herunterzuladen. Wenn die Website zu groß ist, wird dieser Befehl natürlich viel Zeit in Anspruch nehmen, ganz zu schweigen davon, dass er viel Platz auf Ihrem System verbraucht. Wenn Sie jedoch mit Wget eine ganze Website herunterladen möchten, verwenden Sie einfach den folgenden Befehl:

wget --mirror -p <url> -P ./LOCAL-DIR WEBSITE-URL

Laden Sie die gesamte Website mit wget herunter

Dadurch wird die gesamte Website in einen Ordner „LOKAL-DIR“ in Ihrem Arbeitsverzeichnis. Die Dateien der Website werden dank „WEBADRESSE“.

4. Verwenden Sie Wget als Web-Spider

Sie können Wget auch dazu bringen, sich wie ein Webcrawler (oder Webspider) zu verhalten. Dies ist hilfreich, wenn Sie möchten Bestätigen Sie, dass die URL für die Datei, die Sie herunterladen möchten, gültig ist. Um Wget als Webspider zu verwenden und die Gültigkeit von URLs zu überprüfen, verwenden Sie einfach den folgenden Befehl:

wget --spider <url>

Verwenden Sie wget als Spinne

Dadurch wird überprüft, ob die von Ihnen erwähnte URL existiert, und Sie erhalten eine Antwort mit den Ergebnissen der Überprüfung.

positive Antwort

negative Antwort

5. Unvollständige Downloads fortsetzen

Dies ist eine weitere wirklich coole Sache, die Wget kann. Angenommen, Sie haben eine Datei mit Wget heruntergeladen, aber aus irgendeinem Grund mussten Sie Ihren Laptop herunterfahren. Wenn Sie das nächste Mal versuchen möchten, dieselbe Datei herunterzuladen, kann Wget dies tatsächlich tun den Download fortsetzen für dich. Du musst nur Stellen Sie sicher, dass Sie sich im selben Ordner befinden, in dem Sie die Datei das letzte Mal heruntergeladen habenund verwenden Sie dann den folgenden Befehl:

wget -c <url>

Download fortsetzen

Wenn Wget feststellt, dass ein Teil der Datei bereits in Ihrem System vorhanden ist, wird der Download automatisch fortgesetzt.

Notiz: Wenn die Datei auf dem Server seit dem letzten Versuch, sie herunterzuladen, geändert wurde, sollten Sie diesen Befehl nicht verwenden, da dies zu einer beschädigten Datei führt, die Sie nicht lesen können.

Wenn der Server keine weiteren Downloads zulässt, weigert sich Wget außerdem, den Download von Grund auf neu zu starten. Wenn Sie den Download von Grund auf neu starten möchten, müssen Sie die teilweise heruntergeladene Datei von Ihrem System löschenErste.

Es gibt einige weitere Bedingungen für die Verwendung dieses Arguments, und Sie können mehr darüber auf der Manpage von Wget lesen.

6. Begrenzen Sie die Download-Geschwindigkeit

Wenn Sie Wget zum Herunterladen von Dateien verwenden und daneben im Internet surfen, möchten Sie wahrscheinlich nicht, dass Ihre gesamte Bandbreite von Wget verbraucht wird. Glücklicherweise enthält Wget ein Argument, das Sie verwenden können die Bandbreite begrenzen die Wget zum Herunterladen von Dateien auf Ihr System verwenden kann:

wget --limit-rate=<speed> <url>

Downloadgeschwindigkeit begrenzen

Notiz: Denken Sie daran, dass die Geschwindigkeit in Bytes und nicht in Bits angegeben wird. Wenn Sie also Wget –limit-rate=20k verwenden, wird die Bandbreitennutzung auf 20 kB und nicht auf 20 kB begrenzt.

7. Verwenden Sie Wget, um Dateien von FTP-Servern herunterzuladen

Wenn Sie eine Datei von einem FTP-Server herunterladen müssen, können Sie dies auch mit Wget tun. Verwenden Sie einfach den folgenden Befehl, um Dateien von FTP-Servern herunterzuladen:

wget <ftp_url>

wget ftp

  • Laden Sie Dateien von FTP-Servern mit Login herunter

Wenn Ihr FTP-Server eine Anmeldung erfordert, um das Herunterladen von Dateien zuzulassen, können Sie die Anmeldeinformationen auch einfach mit Wget übergeben. Verwenden Sie einfach den folgenden Befehl:

wget --ftp-username=USERNAME --ftp-password=PASSWORD <ftp_url>

wget ftp-auth

SIEHE AUCH: 30 Mac-Terminalbefehle für den Zugriff auf versteckte Funktionen

Verwenden Sie einfach Wget, um Dateien aus dem Internet herunterzuladen

Sie können Wget verwenden, um Dateien von überall im Internet herunterzuladen. Obwohl Wget fast immer funktioniert, gibt es bestimmte Server, die den Zugriff auf Wget verhindern. In diesem Fall können Sie versuchen, den –user-agent für Ihren Wget-Befehl zu ändern. Dies ist jedoch keine empfohlene Vorgehensweise, es sei denn, Sie wissen absolut, was Sie tun. Wget lässt Sie größtenteils jede Datei aus dem Internet herunterladen, solange Sie Zugriff darauf und ihre URL haben.

Haben Sie jemals Wget verwendet, um Dateien aus dem Internet herunterzuladen? Teilen Sie uns Ihre Erfahrungen mit der Verwendung von Wget zum Herunterladen von Dateien über die Protokolle HTTP, HTTPS und FTP mit. Wenn Sie auch andere Verwendungen von Wget kennen, von denen Sie glauben, dass sie es verdienen, auf dieser Liste zu stehen, teilen Sie uns dies im Kommentarbereich unten mit.

Leave a Comment

Your email address will not be published.