Fehlerbehebung TKLBAM S3 Zugriff

Im Allgemeinen funktioniert TKLBAM "nur", aber gelegentlich haben einige Benutzer Probleme mit der Verbindung zu Amazon S3.

Gemeinsame Themen

Häufige Ursachen sind Firewall-Blockierung Verkehr oder ein Web-Proxy (in Unternehmensnetzwerken üblich) Blockierung oder Störung des Datenverkehrs. Bitte stellen Sie zu Testzwecken sicher, dass Sie diese deaktivieren (vorzugsweise) oder zumindest eine Ausnahme für Ihren TKL-Server erstellen (damit dieser einen klaren Zugang zum Internet haben kann).

Überprüfung des Logbuchs

Als nächstes sollten Sie das Fehlerprotokoll überprüfen. Ich schlage vor, dass Sie nach dem Wort "Fehler" suchen:

grep error /var/log/tklbam-backup

Wenn Sie Verbindungsfehler haben, sollte es so etwas wie diese zurückgeben:

Upload 's3://s3-eu-west-1.amazonaws.com/tklbam-eu-west-1-c992423735f1f4ee9616/24fh4htqs3t3tfju/duplicity-full.20160825T115809Z.vol1.difftar.gpg' failed (attempt #1, reason: error: [Errno 104] Connection reset by peer)
Upload 's3://s3-eu-west-1.amazonaws.com/tklbam-eu-west-1-c992423735f1f4ee9616/24fh4htqs3t3tfju/duplicity-full.20160825T115809Z.vol1.difftar.gpg' failed (attempt #2, reason: error: [Errno 104] Connection reset by peer)
Upload 's3://s3-eu-west-1.amazonaws.com/tklbam-eu-west-1-c992423735f1f4ee9616/24fh4htqs3t3tfju/duplicity-full.20160825T115809Z.vol1.difftar.gpg' failed (attempt #3, reason: error: [Errno 32] Broken pipe)
Upload 's3://s3-eu-west-1.amazonaws.com/tklbam-eu-west-1-c992423735f1f4ee9616/24fh4htqs3t3tfju/duplicity-full.20160825T115809Z.vol1.difftar.gpg' failed (attempt #4, reason: error: [Errno 104] Connection reset by peer)
Upload 's3://s3-eu-west-1.amazonaws.com/tklbam-eu-west-1-c992423735f1f4ee9616/24fh4htqs3t3tfju/duplicity-full.20160825T115809Z.vol1.difftar.gpg' failed (attempt #5, reason: error: [Errno 32] Broken pipe)
Backend error detail: Traceback (most recent call last):

In diesem Beispiel befindet sich der TurnKey-Server offensichtlich in Westeuropa und versucht, eine Verbindung zu s3-eu-west-1.amazonaws.com herzustellen. Die Fehler sind "Connection Reset by Peer" und "Broken Pipe". Dies sind Fehler, die häufig auftreten, wenn ein Problem mit der Netzwerkverbindung und / oder Autorisierung vorliegt.

Überprüfung auf Netzwerkverbindung: Ping

Lassen Sie uns also die Konnektivität (ersetzen Sie "s3-eu-west-1.amazonaws.com" für die S3-Adresse, mit der Ihr TKLBAM eine Verbindung herstellen möchte) von Ihrem TKL-Server zu AWS S3 überprüfen:

ping -c 4 s3-eu-west-1.amazonaws.com

Wenn alles gut ist, sollte es so etwas zurückgeben:

PING s3-eu-west-1.amazonaws.com (54.231.133.100) 56(84) bytes of data.
64 bytes from s3-eu-west-1.amazonaws.com (54.231.133.100): icmp_seq=1 ttl=48 time=66.8 ms
64 bytes from s3-eu-west-1.amazonaws.com (54.231.133.100): icmp_seq=2 ttl=48 time=104 ms
64 bytes from s3-eu-west-1.amazonaws.com (54.231.133.100): icmp_seq=3 ttl=48 time=136 ms
64 bytes from s3-eu-west-1.amazonaws.com (54.231.133.100): icmp_seq=4 ttl=48 time=122 ms

Offensichtlich sind die Zeiten und die IP des Servers, mit dem Sie sich verbinden, unterschiedlich, aber dies zeigt, dass der TKL-Server eine Verbindung zu s3-eu-west-1.amazonaws.com herstellen kann.

Wenn Sie keine Verbindung herstellen können, haben Sie ein Problem mit der Netzwerkkonfiguration (Firewall? Internetverbindung?) und / oder DNS-Auflösung. Bitte versuchen Sie, dieses Problem in Ihrem Netzwerk zu lösen, bevor Sie weiter vorankommen.

S3-Netzwerkverbindung prüfen: Webbrowser

Als nächstes testen wir die http- und https-Verbindungen. Diese nächsten Tests gehen davon aus, dass Sie einen PC (mit einem Webbrowser) auf dem gleichen LAN wie Ihr Server haben und diesen verwenden, um einen URL zu finden und die ersten Tests durchzuführen. Wenn Sie keinen PC auf demselben LAN wie Ihr Server haben (z. B. einen Remote-Server, der woanders gehostet wird), müssen Sie für den nächsten Schritt immer noch einen geeigneten S3 URL finden. Sobald wir einen S3 URL haben, von dem wir wissen, dass er funktioniert, können wir ihn vom TKL-Server aus überprüfen. Ich habe schon ein URL zum Testen, aber wenn nicht, ist der beste Weg, eines zu finden, über Google.

Website: s3-eu-west-1.amazonaws.com

Wählen Sie dann eine Website mit dem entsprechenden URL aus. Siehe beigefügten Screenshot (FWIW Ich verwende nur "Inkognito-Modus", um irrelevante Informationen in meinen Screenshots zu reduzieren - Sie müssen das nicht tun).

Ich benutze "Hotspot Shield" für mein Beispiel hier. Stellen Sie sicher, dass das URL in der Adressleiste immer noch ein S3 ist. Einige Seiten können zu einem anderen URL umleiten. Wenn das passiert, gehen Sie zurück zu Google und versuchen Sie es mit einem anderen.

Ich habe gerade den Zugang zu s3-eu-west-1.amazonaws.com mit HTTPS bestätigt. In der Adressleiste entfernen Sie das 's' von 'https://...', so dass es 'http://...' . Einige Websites können zurück zu HTTPS umleiten. Wenn das passiert, beweist es immer noch, dass es sich über einfaches HTTP verbinden kann (weil der Server Sie zurück zu HTTPS umleitet).

Wenn Sie hier Fehler haben und ein paar verschiedene S3-URLs (über Google gefunden) überprüft haben, stimmt offensichtlich etwas nicht. Bitte überprüfen Sie Firewall und Netzwerkkonfiguration.

Überprüfung auf S3-Netzwerkverbindung: Kommandozeile (curl)

Mit einem gültigen (und funktionierenden) S3 URL können Sie überprüfen, ob Ihr Server auch eine ordnungsgemäße Verbindung zu S3 herstellen kann.

Hier ist, was ich empfehle. Es verwendet curl, um die Seite herunterzuladen, ignoriert aber die heruntergeladene HTML (wir müssen nur sehen, ob es einen Fehler gibt oder nicht). Dies ist der Befehl (verwenden Sie natürlich das funktionierende URL, das Sie bereits oben gefunden haben).

curl http://s3-eu-west-1.amazonaws.com/tradwrds/index.html > /dev/null

Wenn es so funktioniert, wie es sollte, sollte es so etwas wie diese Ausgabe liefern:

  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 12750  100 12750    0     0  13537      0 --:--:-- --:--:-- --:--:-- 13549

Um zu zeigen, wie es aussehen könnte, wenn es auf einen Fehler stößt, habe ich das URL zerschlagen (damit ich weiß, dass es nicht funktionieren wird); so sieht es aus:

curl http://s3-euz-west-1.amazonaws.com/tradwrds/index.html > /dev/null

  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
  0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0curl: (6) Could not resolve host: s3-euz-west-1.amazonaws.com

Beachten Sie die "curl: (6) Konnte nicht auflösen host: s3-euz-west-1.amazonaws.com".

Auch wenn Sie hier keinen Erfolg haben, stimmt etwas nicht mit dem Netzwerkzugang Ihres TurnKey-Servers. Angenommen, das funktioniert, lassen Sie uns mehr zu einer tieferen Untersuchung des AWS-Zugangs.

S3-Zugang über Kommandozeile: awscli

Wir arbeiten wieder an Ihrem TKL Server. Installieren Sie zunächst awscli Dependances:

apt-get update && apt-get install python-pip

Sobald dies abgeschlossen ist (vorausgesetzt, es wird erfolgreich abgeschlossen), installieren Sie awscli selbst:

pip install awscli

W muss auch einen Benutzer erstellen, der das Sicherheitsprofil 'turnkeyhub' verwenden kann (um zu überprüfen, ob wir als TKLBAM auf den Bucket zugreifen können).

Durchsuchen Sie die Benutzerverwaltungsseite der AWS-Konsole IAMs: https://console.aws.amazon.com/iam/home#users

Erstellen Sie einen neuen Benutzer (ich habe meinen 'tklbam-Test' genannt) und klicken Sie auf Create. Auf dem nächsten Bildschirm klicken Sie auf den Link "Benutzersicherheitsnachweise anzeigen", um die Anmeldeinformationen (in einer Dropdown-Datei) anzuzeigen.

tklbam-test
    Access Key ID: AKIAJ3B6NSG22LO47BUA
Secret Access Key: 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

Stellen Sie sicher, dass Sie diese Informationen irgendwo sicher kopieren / einfügen (oder die csv-Datei herunterladen), da Sie nach dem Verlassen dieses Bildschirms nicht mehr auf diese Informationen zugreifen können (Sie müssen die Schlüssel neu erstellen). Ansonsten. Behaltet dieses Geheimnis und veröffentlicht es nicht irgendwo öffentlich!

Zurück auf dem IAM-Benutzerbildschirm klicken Sie auf den neuen Benutzer. Wählen Sie die Registerkarte "Permissions" und klicken Sie auf die Schaltfläche "Richtlinie anhängen". Wenn nicht, legen Sie es oben in das Filterfeld. Sobald Sie es gefunden haben, klicken Sie rechts in das Feld (gibt ein Häkchen in das Feld) und klicken Sie auf "Richtlinie anhängen".

Jetzt ist es an der Zeit, die Anmeldeinformationen zu verwenden, die wir früher gespeichert haben, und awscli zu konfigurieren.

aws configure

Kopieren/Einfügen der entsprechenden Informationen in das Konsolenfenster, z. B.:

AWS Access Key ID [None]: AKIAJ3B6NSG22LO47BUA
AWS Secret Access Key [None]: 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
Default region name [none]: eu-west-1
Default output format [none]:

Für unsere Zwecke ist es egal, welche Region wir als Standard festlegen, aber es ist sinnvoll, die Region zu verwenden, in der TKLBAM versucht, Ihre Backups zu speichern (in diesem Fall eu-west-1). Wenn Sie die gültigen Regionen überprüfen möchten, finden Sie die möglichen Regionen und ihre relevanten Codes Hier.

Überprüfen Sie nun, ob Sie Ihre S3-Buckets auflisten können und dass alles so funktioniert, wie es sollte.

aws s3 ls

Sollte so etwas zurückgeben:

2016-08-30 15:53:35 tklbam-eu-west-1-c992423735f1f4ee9616

Sehen Sie, ob Sie in den Eimer schauen können:

aws s3 ls tklbam-eu-west-1-c992423735f1f4ee9616

Wenn alles gut ist, sollte es so etwas wie dieses zeigen:

                           PRE 24fh4htqs3t3tfj/

Lasst uns noch einmal nach unten bohren, um zu sehen, was im Unterverzeichnis steht:

aws s3 ls tklbam-eu-west-1-c992423735f1f4ee9616/24fh4htqs3t3tfj/

Meine sieht so aus:

2016-08-30 15:53:50     247045 duplicity-full-signatures.20160830T055346Z.sigtar.gpg
2016-08-30 15:53:51        218 duplicity-full.20160830T055346Z.manifest.gpg
2016-08-30 15:53:49   10168660 duplicity-full.20160830T055346Z.vol1.difftar.gpg

Wenn Sie dann alle Ihre TKLBAM-Volume-Dateien (wie meine Displays) sehen können, ist alles in Ordnung. Wenn Sie bei der Verwendung von awscli Berechtigungsprobleme haben, deutet dies darauf hin, dass mit den Berechtigungen, die Sie in AWS festgelegt haben, etwas nicht stimmt. Höchstwahrscheinlich ist es das "turnkeyhub" Sicherheitsprofil innerhalb des Bereich "Rollen" der IAMs (AWS-Konsole).