Página visible a externos sin autenticación
Tutorial — Ejecutar Jupyter en Slurm mediante sbatch
Este documento describe paso a paso cómo lanzar un servidor Jupyter en un nodo de cómputo usando Slurm, obtener la URL de conexión, conectarse desde navegador o VS Code hasta comprobar que el kernel utiliza el entorno virtual correcto.
1) Enviar el job y localizar los archivos de salida
Envía el script sbatch:
sbatch jupyter.sbatch
Comprueba el identificador del job:
squeue -u $USER
El job creará un directorio persistente similar a:
/slurm/home/<usuario>/output/<JOBID>/Output
Dentro encontrarás los archivos importantes:
CONNECT.txt → instrucciones de conexión
JUPYTER_URL.txt → URL con token (si ya fue detectada)
jupyter.log → salida completa del servidor Jupyter
Consultar URL automáticamente detectada:
cat /slurm/home/$USER/output/<JOBID>/Output/JUPYTER_URL.txt
Consultar instrucciones de conexión:
cat /slurm/home/$USER/output/<JOBID>/Output/CONNECT.txt
Consultar directamente el log del servidor:
cat /slurm/home/$USER/output/<JOBID>/Output/jupyter.log
La salida contendrá una línea similar a:
http://slurm-cpu01:9593/?token=<TOKEN>
2) Abrir desde VS Code usando servidor Jupyter existente
Abrir el notebook en VS Code
Seleccionar el kernel
Elegir Select Another Kernel…
Seleccionar Existing Jupyter Server…
Pegar la URL completa obtenida anteriormente
Ejemplo:
http://<ip_nodo>:<PORT>/?token=<TOKEN>
VS Code quedará conectado al servidor Jupyter que corre dentro del job de Slurm.
3) Usar el kernel registrado del entorno virtual del job
El job crea un entorno virtual dentro del scratch del nodo:
/scratch/slurm/<usuario>/<JOBID>/tmp/jupyter-<JOBID>/.venv
Además registra un kernel de Jupyter asociado a ese entorno.
Una vez conectado al servidor Jupyter:
Abrir el selector de kernel del notebook
Elegir el kernel registrado por el job
Esto hace que las celdas se ejecuten dentro del entorno virtual creado en el nodo y no en el Python local.
4) Verificar que el notebook usa el entorno correcto
Dentro del notebook ejecuta la celda de comprobación incluida en la plantilla.
El resultado esperado debe confirmar que el kernel utiliza el entorno virtual:
Venv check: OK (kernel is using the selected venv).
Si aparece ese mensaje, el notebook está ejecutándose dentro del entorno creado por el job de Slurm.
5) Workflow esperado
En una primera etapa de desarrollo utilizamos Jupyter Notebook comenzando con la plantilla dada en gitlab como se ha representado anteriormente, añades celdas y generas tus .py en caso de necesitar cómputo con output, una vez hecho esto se utilizará otra plantilla también alojada en gitlab para de forma efectiva se cree otro sbatch de quizá duración ampliada o recursos ampliados.