Kurz nach unserem ersten Release sind wir stolz, den nächsten Meilenstein unserer Workflow-Bibliothek “Bandsaw” ankündigen zu können. Mit der heutigen Veröffentlichung von Version 0.2 ist nun die erste Möglichkeit zum Transferieren von Tasks auf entfernte Maschinen und ihre Ausführung dort verfügbar. Dies ermöglicht unseren Benutzer Bandsaw in echten Maschinenlernprozessen einzusetzen, die von anderen Rechenplattformen als den Rechnern der Entwickler abhängen.
Bandsaw unterstützt mehrere unterschiedliche Interpreter auf entfernten Maschinen in seiner Konfiguration und bietet eine einfache Möglichkeit Tasks auf diese Maschinen zu verteilen. Die Tasks sowie ihre Daten mitsamt dem auszuführenden Code werden automatisch mittels der SSH Kommandozeilentools verteilt, so dass keine zusätzlichen Pythonabhängigkeiten benötigt werden. Dies ermöglicht Teile des Prozesses zu automatisieren, die vorher manuell ausgeführt werden mussten:
- Paketierung und Übertragen vom Quellcode auf die entfernten Maschinen
- Manuelles einloggen auf einem entfernten System und ausführen des Tasks
- Kopieren von Eingabe- und Ausgabedaten zwischen Entwicklermaschine und Rechenplattform
Die neue Version ist bereits bei PyPI veröffentlicht, so dass
das Ausführen von pip install bandsaw bereits die aktuelle Version installiert. Des Weiteren haben
wir die Dokumentation aktualisiert und eine
Beschreibung hinzugefügt, wie das neue SSH Feature
verwendet wird.
Mit der neuen Version verfügbar werden wir mit den nächsten zwei Meilensteinen weiter machen:
- 0.3: Erfassen von Metriken zum Verbrauch von Rechenkapazität.
- 0.5: Tasks asynchron Ausführen durch die Nutzung eines Schedulers.
Nebenher arbeiten wir zur Zeit an einem zusätzlichen Produkt, das nach Plan am Ende des Jahres veröffentlicht wird, bleiben sie dran! Wie immer, sind wir dankbar füer Feedback in Form von Feature requests in Gitlab, E-Mails oder wenn wir in Discord mit Rat und Tat helfen können.
Viele Grüße,
Christoph
Referenzen
- PyPI: https://pypi.org/project/bandsaw/
- Dokumentation: https://docs.kant.ai/bandsaw/latest/
- Dokumentation SSH support: https://docs.kant.ai/bandsaw/latest/advices/remote/
- Versionshistorie: https://docs.kant.ai/bandsaw/latest/changelog/
- GitLab: https://gitlab.com/kantai/bandsaw
