Zeit für gute Nachrichten!
Mit der ersten Veröffentlichung unserer neuen Datenmanagementbibliothek “Boxs” freuen wir uns, die Sammlung unserer grundlegenden Bibliotheken für die Erstellung von Maschinenlernprozessen zu komplettieren.
Boxs hilft Ihnen Ihre Daten und Artefakte, die in Ihrem Workflow erstellt werden, zu organisieren. Endlich müssen nicht ständig Dateipfade oder S3 Keys im Laufe des Entwicklungsprozesses geändert werden oder der Code mit Funktionen zum Schreiben von Werten in Dateien übersäht sein.
Boxs übernimmt diese Aufgabe mit seiner einfachen API. Definieren Sie einfach nur Ihre “Boxen” und speichern die verwandte Werte zusammen in der gleichen Box. Alle Artefakte werden automatisch mitsamt ihrer Herkunft und über mehrere Ausführungen hinweg getrackt. Ein Kommandozeilenprogramm erlaubt Ihnen die Daten einfach einzusehen und sogar die gleichen Daten zwischen verschiedenen Ausführungen zu vergleichen.
Die neue Bibliothek lässt sich einfach in Bandsaw, unser Werkzeug für das Aufbrechen eines Prozess individuelle Teile, integrieren.
Eine ausführlichere Beschreibung findet sich in unserem Documentation hub.
Was kommt als nächstes?
Boxs ist zur Zeit noch limitiert darauf, Daten im Dateisystem zu speichern, so dass es ein verteiltes Dateisystem benötigt, wenn es in einen verteilten Prozess integriert werden soll. Um diese Limitierung zu entfernen, wird die nächste Version von Box Storage-Implementierungen beinhalten, die es erlauben, Daten auch in verschiedenen CloudStorage Diensten wie S3 oder Google Cloud Storage zu speichern. Dies wird dann auch Workflows unterstützen, die über mehrere Regionen hinaus oder auch in verschiedenen Cloud-Plattformen stattfinden.
Zusätzlich haben die Arbeiten an unserem ersten kommerziellen Produkt begonnen, einem Dienst, der es erlaubt, Ihre Prozesse zu beaufsichtigen und dabei Optimierungspotenzial zu entdecken, bleiben Sie gespannt!
Cheers,
Christoph
References
Boxs
- PyPI: https://pypi.org/project/boxs/
- Documentation: https://docs.kant.ai/boxs/latest/
- Changelog: https://docs.kant.ai/boxs/latest/changelog/
- GitLab: https://gitlab.com/kantai/boxs
