Advanced Agent HTTPS: Verhalten bei Netzunterbruch

[ygw]

Guten Tag,

in dem Beispiel-Fall verwenden wir den Advanced Agent (16.0) für den Download eines Office 2016 Pakets über HTTPS. Meine Beobachtung ist jetzt, dass bei einem Netzwerkunterbruch jeweils das komplette Office2016 Verzeichnis gelöscht und neu heruntergeladen wird. Bereits vollständig und fehlerfrei heruntergeladene Dateien unterhalb dieses Verzeichnisses werden gelöscht.

Verzeichnis-Struktur (ein * pro Ebene):

* Install
** Setup.inf
* Office2016
** ... sehr viele Daten, weitere Verzeichnisse
* checkprocesses.ini
* x.txt
* y.txt
* z.txt

Die Setup.inf und die Datei checkprocesses.ini bleiben im Gegensatz dazu auch bei einem Netzwerk-Unterbruch jeweils stehen.
In DebugView steht jeweils nur: "ComJob.cpp(82): INFO Job Delete local directory C:\EmpirumAgent\Packages\[Pfad zu Office Paket]\Office2016" because it does not exist on the server site

Ist das "Works as designed" oder handelt es sich um einen Fehler? Für mich sieht es so aus, als würden die Dateien in alphabetischer Reihenfolge heruntergeladen. Scheinbar werden nur Elemente beibehalten, die auf der Root-Ebene des Paketverzeichnisses komplett sind (also vollständige Dateien und vollständige Ordnerstrukturen).
Unser Wunsch wäre natürlich, dass vollständig heruntergeladene Dateien in Unterordnern nicht gelöscht werden. Sonst besteht die Gefahr, dass das Office-Paket über sehr schlechte Verbindungen gar nie heruntergeladen werden kann.

Ich habe noch BITS getestet, womit Netzwerk-Unterbrüche besser abgefangen werden können. Allerdings funktioniert auch dies nur teilweise gut (schlägt ein Download fehl wird ebenfalls ALLES gelöscht und ein Fallback zu HTTPS gemacht) und ich habe dann festgestellt, dass es seit Version 16.1 gar nicht mehr unterstützt wird. RSync habe ich bis jetzt noch nicht ausprobiert, weil ich dazu noch Änderungen auf dem Server machen müsste.

[ygw]

RSync ist leider keine Variante. Das würde vielleicht im LAN funktionieren, bei einem Server im Internet kann man das aber aus Sicherheitsgründen nicht verwenden (Verschlüsselung, Server-Validierung mit Zertifikat). Aufgrund verschiedener Einträge in diesem Forum hatte ich die Vermutung, dass RSync vielleicht über HTTPS getunnelt wird, zumindest wenn HTTPS als Primärprotokoll ausgewählt ist, das ist aber nicht der Fall (Dokumentation dazu gibt es leider praktisch keine).

Also: Kriegt Empirum es unter realen Umständen hin, ein 1.6 GB grosses Softwarepaket über eine 500 Kbit/s Verbindung von einem Server im Internet herunterzuladen? Mit "realen Umständen" meine ich, dass die Verbindung wohl kaum 8 Stunden am Stück komplett stabil und ohne Unterbruch zur Verfügung stehen wird.

[ygw]

Ich habe jetzt einen Workaround gefunden, mit dem man die Einschränkungen von Empirum einigermassen umgehen kann. Grundsätzlich gibt es ja zwei Probleme beim Herunterladen mit dem HTTP(S) Protokoll:
1. Komplett heruntergeladene Dateien in Verzeichnissen werden bei einem Unterbruch gelöscht, wenn nicht das gesamte Verzeichnis komplett heruntergeladen ist.
2. Der Download von teilweise heruntergeladenen Dateien kann nicht fortgesetzt werden. Diese werden gelöscht und müssen noch einmal komplett heruntergeladen werden.

Ich umgehe das, indem ich den Ordner "Office2016" (verschachtelt, mit vielen kleineren und wenigen sehr grossen Dateien) mit 7zip komprimiere und in ca. 100 MB grosse Stücke zerteile. Es geht hierbei um die Unterteilung, die Daten sind ja bereits relativ gut komprimiert. In der Setup.inf bzw. in einem Script des Pakets müssen dann diese Stücke mit einem Kommandozeilen-Tool (gibt es auch für 7zip) zusammengesetzt und extrahiert werden.
Diese einzelnen 100 MB Dateien werden im Root-Verzeichnis des Pakets gespeichert.
So werden bei einem Unterbruch maximal knapp 100 MB gelöscht und müssen noch einmal neu heruntergeladen werden.

Dennoch würde mich interessieren, ob Empirum dafür eine Lösung hat. Eigentlich ist es falsch, das Problem auf diese Weise im Paket lösen zu müssen.

[hdroege]

Hallo,
können Sie bitte mit einem aktuellen Agent das Verhalten nochmals testen? Der Agent soll bei einem Abbruch natürlich eine Datei weiter herunterladen (ab den letzten Checkpoint), wenn auf dem Server keine Änderung erfolgt ist.

Ansonsten wäre das ein Fehler.

Mit freundlichen Grüßen

[ygw]

Hallo Herr Droege

Vielen Dank für die Hilfe!
Ich habe heute Nachmittag mit dem 16.1er Agenten getestet.
Leider konnte ich keinen Unterschied im Verhalten feststellen. Auffällig ist weiterhin die folgende Meldung in Debug View kurz nach dem Netzwerkunterbruch:

Code: Select all

[ERIS] [Information] [MxLog.LogS] DLL.Transport Job Delete local directory C:\EmpirumAgent\Packages\KUNDE\MSOfficePro2016_MUI\16.000.6965.20921\Office2016 because it does not exist on the server site

Ich habe mal Testweise auf dem IIS Berechtigungen zum Auflisten von Verzeichnissen gegeben, das hat aber keinen Unterschied gemacht. Es scheint, dass der Agent aus unbekannten Gründen dieses Verzeichnis nicht findet und deshalb "vorsichtshalber" alles löscht. Downloaden aus diesem Verzeichnis funktioniert aber, deshalb findet ich es etwas seltsam, dass das Verzeichnis scheinbar nicht gefunden wird.

[hdroege]

Hallo,
können Sie das gleiche Verhalten auch bei anderen Paketen feststellen?

Falls dem so wäre, bitte ein Problem im Support eröffnen.

Mit freundlichen Grüßen