Automatisierung wissenschaftlicher Arbeitsabläufe mit Rescale Executor für Nextflow zur Beschleunigung von F&E-Prozessen

Jede Informatikdisziplin hat eine Vorstellung davon, wie wissenschaftliche (oder technische) Arbeitsabläufe geschrieben werden. Diese Vorstellung variiert jedoch radikal von der Bioinformatik über die Strukturanalyse bis hin zur Datenwissenschaft und wird durch die Software, die Werkzeuge und die Standards der einzelnen Bereiche geprägt. Wir definieren einen wissenschaftlichen Arbeitsablauf als eine Abfolge von Schritten oder Softwareprogrammen, die manchmal parallel, manchmal nacheinander ausgeführt werden müssen – mit anderen Worten, ein Diagramm – um ein wissenschaftliches oder technisches Ziel zu erreichen. Wenn wir über Arbeitsabläufe sprechen, denken wir an die Wissenschaft (die Arbeit), die hinter der Zusammenstellung dieser Schritte steckt. In jedem sinnvollen Maßstab ist jedoch eine spezielle Sprache oder ein spezielles Framework erforderlich, um einen wissenschaftlichen Arbeitsablauf zu beschreiben. Arbeitsablauf. auf eine Weise, die Parallelität, Neustartlogik und Modularität für einfache Wiederverwendung und Modifikation handhabt. Die „Arbeit“ des Workflows wird durch dieses spezialisierte Framework, seine Fähigkeiten und die Leichtigkeit, mit der Benutzer mit bestehenden Workflows experimentieren und zu ihnen beitragen können, geprägt.
In der Bioinformatik haben enorme Datenmengen und der Bedarf an Reproduzierbarkeit und Flexibilität die Arbeitsabläufe in die Cloud getrieben. Nextflow, ein Produkt aus diesem wissenschaftlichen Bereich, von Abonnieren ist eine Workflow-Beschreibungssprache mit vielen innovativen Funktionen, aber zwei davon sind besonders leistungsstark:
- Sie können die wissenschaftliche Logik von der Plattform, auf der sie ausgeführt wird, trennen, indem Sie Executoren austauschen, die bestimmen, wo ein Pipeline-Prozess ausgeführt wird, und seine Ausführung überwachen.
- Sie können beliebige Software kombinieren, sodass Wissenschaftler schnell Innovationen entwickeln können, indem sie in mehreren Schritten die beste Software für ein bestimmtes Ziel auswählen und ihre eigenen Tools in etablierte Pipelines einfügen.
Neu skalieren ist eine für die Cloud entwickelte Hochleistungs-Computersimulationsplattform, die komplementäre Innovationen bietet. Sie soll Wissenschaftlern und Ingenieuren die Einführung paralleler Anwendungen erleichtern (z. B. Computational Fluid Dynamics, molekulardynamische Simulationen und Wettermodelle) im großen Maßstab Cloud-Infrastruktur und über mehrere Cloud-Anbieter hinweg. Rescale macht es einfach, die Flexibilität von Cloud-Ressourcen zu nutzen, um Analysen zu beschleunigen und Daten zu zentralisieren, sodass Wissenschaftler nicht an ihre lokalen Cluster gebunden sind. Bisher konnten jedoch nur proprietäre Produkte komplexe wissenschaftliche Workflows nativ auf der Rescale-Plattform orchestrieren. Lernumgebung. Dies bedeutete, dass es für einen Benutzer schwierig war, neue Anwendungen zu nutzen oder beliebige Logik zu programmieren, um neue Ideen zu testen. Wir haben gesehen, dass diese Inflexibilität in den letzten Jahrzehnten Innovationen in jedem wachsenden Bereich behindert hat. Beispielsweise hat maschinelles Lernen transformativ gewirkt in Biowissenschaften, Wetter und Technik – aber nur, wenn die Flexibilität besteht, neue Programme und Algorithmen mit etablierten Methoden zu kombinieren.
Wir freuen uns, unsere Unterstützung für einen Rescale-Executor für Nextflow bekannt zu geben. Dies ermöglicht die Nutzung von Nextflow auf Rescale für unsere Engineering- und Simulations-Workloads – Bereiche, in denen traditionell keine dedizierte Workflow-Sprache verwendet wurde. Mit Nextflow auf Rescale können Sie komplexe Workflows in einem bisher ungeahnten Umfang ausführen, über Cloud-Diensteanbieter, über Ausführungsparadigmen hinweg – Hochdurchsatz-Computing (HTC) or High Performance Computing (HPC) – und über verschiedene Softwarepakete hinweg, unter einer einzigen Steuerungsebene. In wissenschaftlichen und technischen Szenarien mit großen Designräumen können Forscher Rechenaufgaben parallelisieren und replizieren, um die Antwortzeit zu verkürzen, beispielsweise bei der Bewertung vieler möglicher Fahrzeugdesignpunkte oder präziser Arzneimittelformulierungen. Sobald Prozesse entwickelt sind, können sie standardisiert, automatisiert und skaliert werden. Durch die Kombination dieser Technologien beschleunigen wir den Fortschritt und die Experimente in und über neue wissenschaftliche Bereiche hinweg.
Melden Sie sich für eine Demo an
Erfahren Sie mehr darüber, wie Rescale den HPC-Cloud-Bereich transformiert.