Stockage haute performance
L'offre de stockage haute performance de Rescale vous permet de maintenir un stockage central persistant stockage de fichiersUne architecture de stockage de données informatiques qui gère les données comme un... Autres dans le nuage. Avec les périphériques de stockage, vous pouvez gérer entièrement un système de fichiers comparable à un NFS (Network File System) avec un débit de lecture/écriture élevé et accessible depuis n'importe quel ordinateur. grappeUn cluster informatique se compose d'un ensemble de éléments plus ou moins serrés... Autres pour le calcul, le post-traitement ou visualisationLa visualisation est la représentation de données scientifiques ou... Autres. Cela offre encore plus de flexibilité pour les flux de travail cloud et permet la réplication facile des flux de travail sur site sur la plate-forme de Rescale.
Pour créer un périphérique de stockage, accédez au Stockage de la plateforme Rescale et cliquez sur Créer un nouveau périphérique de stockage.
Nom de stockage – Le nom de votre choix pour le périphérique de stockage.
Taille de stockage – La quantité d'espace disque allouée au périphérique de stockage. A noter que les unités GB et TB sont interprétées selon le système décimal (puissances de dix). Notez également qu'une petite fraction de la taille spécifiée sera occupée par le système d'exploitation et les utilitaires de fichiers sur le périphérique de stockage.
Prix – Le prix facturé pour le périphérique de stockage sur une base horaire pendant que le périphérique de stockage est actif, en fonction de la taille de stockage et de la région spécifiées.
Prudence : Les coûts des ressources HPS affectées à un projet sont couverts par les budgets actifs de ce projet. Ainsi, si le budget est défini sur strict et qu'il est épuisé, les ressources HPS sont interrompues.
Walltime – Le nombre d'heures ou de jours pendant lesquels le périphérique de stockage reste actif et accessible, s'il n'est pas arrêté manuellement. Notez que lorsque le périphérique de stockage atteint l'heure murale, tous les fichiers présents sur le périphérique de stockage seront téléchargés sur le compte de votre compte. stockage cloudun moyen simple et évolutif de stocker, accéder et partager des données o... Autres avant qu'il ne soit terminé. Walltime ne peut pas excéder 365 jours (8760 heures) à compter de sa création ou du lancement de son cluster.
Région – La région préférée pour lancer ce périphérique de stockage. Seules les régions où Rescale propose des périphériques de stockage et qui sont autorisées pour votre compte seront disponibles dans cette liste.
First Alert – Le pourcentage d’espace disque plein auquel déclencher la première alerte par e-mail d’espace de stockage.*
Deuxième alerte – Le pourcentage d’espace disque plein auquel déclencher la deuxième alerte par e-mail d’espace de stockage.*
Extension automatique – Lorsqu'il est activé, le disque du périphérique de stockage s'étend automatiquement jusqu'à doubler sa taille lorsque le pourcentage d'espace disque spécifié est plein afin de s'adapter aux charges de travail en cours d'exécution. Notez que l'utilisation de certains coretypes, notamment Calcite, Chromium, Ferrite et Granite, étendra la taille du disque du périphérique de stockage jusqu'à quatre fois sa taille. L'extension automatique peut être déclenchée plusieurs fois sur le même périphérique de stockage tant qu'il atteint le critère de pourcentage plein.*
* Ces actions sont déclenchées périodiquement. Si le disque du périphérique est rempli rapidement, cela peut se produire uniquement après qu'un pourcentage d'espace disque supérieur à celui spécifié soit plein.
Une fois que vous cliquez sur Soumettre la demande de démarrage du périphérique de stockage sera soumise et cela peut prendre jusqu'à 15 minutes pour que le périphérique de stockage démarre et soit prêt à être accessible. Votre périphérique de stockage sera visible sur la même page.
Une fois le périphérique de stockage démarré, vous pouvez cliquer sur le périphérique dans la liste afin d'afficher ses détails et de naviguer dans le système de fichiers.
Création de répertoires
Vous pouvez créer des répertoires dans le périphérique de stockage à l'aide de l'interface utilisateur de Rescale en cliquant sur le bouton Créer le dossier sur la page du périphérique de stockage.
Cela vous permettra de créer un nouveau répertoire sous le répertoire que vous avez actuellement sélectionné (dans l'image ci-dessus Bleu est sélectionné et donc le nouveau répertoire sera créé sous Bleu) et vous présentera un modal pour saisir le nouveau nom du répertoire.
Téléchargement depuis le stockage cloud ou un ordinateur local
Une fois le répertoire de destination prévu sélectionné comme indiqué ci-dessus, cliquez sur le Utiliser des fichiers depuis le Cloud or Télécharger depuis cet ordinateur et sélectionnez les fichiers que vous souhaitez ajouter au périphérique de stockage.
Ajout de tâches existantes
Cliquez sur le Ajouter un travail bouton. Cela devrait vous présenter les tâches disponibles à ajouter à votre périphérique de stockage.
Vous pouvez sélectionner plusieurs tâches et tous les fichiers d'entrée et de sortie des tâches seront ajoutés à votre périphérique de stockage sous le emplois répertoire.
Tout périphérique de stockage en cours d'exécution peut être attaché à une tâche et monté sur le cluster de tâches. Cela permet de lire et d'écrire dans le système de fichiers du périphérique de stockage à partir du travail lui-même. Toutes les données écrites sur le périphérique de stockage persisteront une fois la tâche terminée et le cluster de tâches terminé, ce qui les rendra accessibles aux autres tâches et bureaux.
Afin de connecter un ou plusieurs périphériques de stockage à une tâche, dans la section de saisie de la page de configuration de la tâche, cliquez sur le bouton Attacher depuis un périphérique de stockage bouton en surbrillance ci-dessous.
Sélectionnez le périphérique de stockage que vous souhaitez attacher au travail et cliquez sur Suivant puis clique Attacher un périphérique de stockage sans ajouter de fichiers.
Une fois le périphérique de stockage connecté, il apparaîtra dans la liste des entrées. La liste affichera le chemin de montage du périphérique de stockage (~/storage_BNTMk/ dans ce cas) qui permet d'accéder à l'appareil ainsi qu'une étiquette avec le nom de l'appareil. Vous pouvez également développer la liste des périphériques de stockage en cliquant dessus pour afficher des détails supplémentaires.
Copie ou création d'un lien symbolique vers un répertoire de travail
En plus de monter l'intégralité du périphérique de stockage sur le cluster de tâches, vous pouvez également choisir de copier ou de créer un lien symbolique vers des fichiers ou des répertoires spécifiques du périphérique de stockage vers celui de votre tâche. travail annuaire. Les emplois travail Le répertoire est l'endroit où votre commande et vos analyses sont exécutées. Cela revient à ajouter des entrées à la tâche à partir du stockage cloud, plutôt que de les lire directement à partir du périphérique de stockage.
Afin de copier ou de créer un lien symbolique vers le fichier du travail travail répertoire, cliquez sur le Attacher depuis un périphérique de stockage , sélectionnez le périphérique de stockage que vous souhaitez attacher à la tâche, puis cliquez sur Suivant. Naviguez dans la structure de répertoires du périphérique de stockage jusqu'aux fichiers/répertoires qui vous intéressent et sélectionnez les options de copie ou de lien symbolique comme indiqué ci-dessous.
Une fois tous les fichiers/répertoires requis sélectionnés, cliquez sur Attacher un périphérique de stockage et ajouter des fichiers et les entrées nouvellement sélectionnées apparaîtront dans la liste des entrées. Une icône de maillon de chaîne jaune apparaîtra à côté des fichiers/répertoires qui sont liés symboliquement.
Tout périphérique de stockage en cours d'exécution peut être connecté à un bureau à des fins de lecture ou d'écriture. L'utilisation du périphérique de stockage comme support de stockage central persistant permet la préparation des fichiers d'entrée avant de démarrer une tâche, ou l'application d'un post-traitement et d'une visualisation une fois la tâche terminée à l'aide d'une interface utilisateur graphique.
Pour connecter un périphérique de stockage à un ordinateur de bureau, accédez au Ajouter un périphérique de stockage de la page de configuration du bureau et sélectionnez un ou plusieurs périphériques de stockage dans la liste avant de lancer le bureau.
Une fois le bureau lancé, le périphérique de stockage sera monté et accessible sous le répertoire personnel de l'utilisateur avec l'ID du périphérique de stockage préfixé par «storage_» comme nom de répertoire. Par exemple, le point de montage du périphérique de stockage est stockage_BNTMk dans l'exemple de bureau mis en évidence ci-dessous. Tous les fichiers ajoutés ou modifiés dans ce répertoire seront constamment reflétés sur le périphérique de stockage.
Les périphériques de stockage ne peuvent être partagés qu'avec des membres de la même entreprise ou avec le support Rescale à des fins de débogage. Pour partager un périphérique de stockage, accédez à la page Stockage haute performance et sélectionnez le périphérique de stockage dans la liste. Puis clique Partager un périphérique de stockage de l'intérieur du Action menu déroulant.
Pour partager le périphérique de stockage avec un membre de l'entreprise, saisissez son email et cliquez sur Share. Pour partager le périphérique de stockage avec Rescale Support, entrez support@rescale.com et cliquez sur Share.
Les périphériques de stockage peuvent être étendus et augmentés en taille plusieurs fois après le lancement initial si l'option d'extension automatique n'a pas été activée. Cela offre la flexibilité d'augmenter la capacité du périphérique de stockage tout en maintenant des coûts d'infrastructure prévisibles.
Pour étendre le périphérique de stockage, sur le Paramètres du périphérique de stockage page (1), cliquez sur le +Prolonger bouton (2).
Ensuite, entrez la valeur numérique et sélectionnez une unité appropriée dans la liste déroulante.
Notez que l'extension de disque peut prendre jusqu'à 15 minutes et est limitée à une extension toutes les 6 heures.