Viabilidad del uso de contenedores en entornos HPC

Las tecnologías de contenedores han cambiado cómo los servicios y aplicaciones son desplegados en la nube. Sin embargo, su adopción en centros de High-Performance Computing (HPC) aún está bajo discusión: por un lado, resulta muy atractiva la portabilidad de las aplicaciones; por el otro, no está claro si los contenedores satisfacen los requisitos HPC de rendimiento y seguridad. Dado que existen pocas evaluaciones de códigos HPC significantes ejecutándose en contenedores, nosotros aportamos con este trabajo un estudio comparativo usando una aplicación científica en producción (Alya), además de benchmarks sintéticos (BT-MZ y HPCG) para validar los resultados. En este trabajo, analizamos las ventajas que ofrece la adopción de los con tenedores con un código HPC relevante y cuantificamos el sobrecoste en rendimiento inducido por el uso de tres implementaciones diferentes de contenedores (Docker, Singularity y Shifter) comparándolo con ejecuciones nativas. Dados los resultados de estos experimentos, hemos elegido Singularity como el mejor candidato basándonos en su rendimiento y portabilidad. Los experimentos incluyen una evaluación del rendimiento y portabilidad de los contenedores a través de tres sistemas HPC distintos (Intel Skylake, IBM Power9 y Armv8-a) y los resultados de la escalabilidad de Alya usando Singularity hasta 256 nodos computacionales (hasta 12 mil cores) del supercomputador del BSC MareNostrum4. Container technologies have changed the way services and applications are deployed in the cloud. However, their adoption in High-Performance Computing (HPC) centers is still under discussion: on one hand, the ease in portability is very attractive; on the other, it is not clear whether containers can fulfill HPC performance and security requirements. Since very little evaluation of large production HPC codes running in containers is available, in this work we provide a comparative study using a production scientific application (Alya) besides synthetic benchmarks (BT-MZ and HPCG) to validate the results. We analyze the productivity advantages of adopting containers for large HPC codes and we quantify the performance overhead induced by the use of three different container implementations (Docker, Singularity, and Shifter) comparing it to native executions. Given the results of these tests, we selected Singularity as the best candidate based on performance and portability. We present a portability and performance evaluation of containers across three different HPC architectures (Intel Skylake, IBM Power9, and Armv8-a) and show scalability results of Alya using Singularity up to 256 computational nodes (up to 12k cores) of the BSC supercomputer MareNostrum4.