blog

Bandsaw mit SSH UnterstĂĽtzung

Kurz nach unserem ersten Release sind wir stolz, den nächsten Meilenstein unserer Workflow-Bibliothek “Bandsaw” ankĂĽndigen zu können. Mit der heutigen Veröffentlichung von Version 0.2 ist nun die erste Möglichkeit zum Transferieren von Tasks auf entfernte Maschinen und ihre AusfĂĽhrung dort verfĂĽgbar. Dies ermöglicht unseren Benutzer Bandsaw in echten Maschinenlernprozessen einzusetzen, die von anderen Rechenplattformen als den Rechnern der Entwickler abhängen.

Bandsaw unterstützt mehrere unterschiedliche Interpreter auf entfernten Maschinen in seiner Konfiguration und bietet eine einfache Möglichkeit Tasks auf diese Maschinen zu verteilen. Die Tasks sowie ihre Daten mitsamt dem auszuführenden Code werden automatisch mittels der SSH Kommandozeilentools verteilt, so dass keine zusätzlichen Pythonabhängigkeiten benötigt werden. Dies ermöglicht Teile des Prozesses zu automatisieren, die vorher manuell ausgeführt werden mussten:

  • Paketierung und Ăśbertragen vom Quellcode auf die entfernten Maschinen
  • Manuelles einloggen auf einem entfernten System und ausfĂĽhren des Tasks
  • Kopieren von Eingabe- und Ausgabedaten zwischen Entwicklermaschine und Rechenplattform

Die neue Version ist bereits bei PyPI veröffentlicht, so dass das Ausführen von pip install bandsaw bereits die aktuelle Version installiert. Des Weiteren haben wir die Dokumentation aktualisiert und eine Beschreibung hinzugefügt, wie das neue SSH Feature verwendet wird.

Mit der neuen Version verfügbar werden wir mit den nächsten zwei Meilensteinen weiter machen:

  • 0.3: Erfassen von Metriken zum Verbrauch von Rechenkapazität.
  • 0.5: Tasks asynchron AusfĂĽhren durch die Nutzung eines Schedulers.

Nebenher arbeiten wir zur Zeit an einem zusätzlichen Produkt, das nach Plan am Ende des Jahres veröffentlicht wird, bleiben sie dran! Wie immer, sind wir dankbar füer Feedback in Form von Feature requests in Gitlab, E-Mails oder wenn wir in Discord mit Rat und Tat helfen können.

Viele GrĂĽĂźe,

Christoph

Referenzen

2021-11-12