- Proyecto EUFORIA
-
Proyecto EUFORIA
EUFORIA (EU Fusion fOR Iter Applications) es un proyecto financiado por la Unión Europea a través del Séptimo Programa Marco (FP7) que proporcionará un marco de referencia amplio y una infraestructura completa y segura para simulaciones de transporte (tanto en el núcleo como en los bordes del plasma) y de turbulencias, relacionando la Computación de Alto Rendimiento (HPC) y en Grid con la comunidad de modelización en Física de Fusión.
El proyecto EUFORIA mejorará las capacidades de modelización de Física del plasma para el ITER, mediante la adaptación, optimización e integración de un conjunto de aplicaciones críticas de modelización de transporte en el núcleo y en los bordes. Para ello se recurrirá a diferentes paradigmas de computación, como son la Computación Grid, tanto secuencial como en paralelo, y la Computación de Alto Rendimiento. El despliegue de los servicios, tanto de Computación Grid como de Computación de Alto Rendimiento, será esencial para el proyecto. Un novedoso aspecto del mismo será el acoplamiento dinámico y la integración, en un marco de referencia único, de códigos y aplicaciones que en la actualidad ejecutan sobre un conjunto heterogéneo de plataformas. Esto se hará mediante una herramienta de workflow, mecanismo necesario para garantizar el nivel de integración deseado entre las distintas aplicaciones de Física de Fusión. Esto ayudará a incrementar notablemente las posibilidades de modelización integradas en Física de Fusión y del Plasma y, al mismo tiempo, ofrecerá a la comunidad de Física de Fusión en general una nueva infraestructura de computación, con sus herramientas correspondientes.
Implementación
El proyecto EUFORIA consistirá en dos fases diferentes que, en parte, se desarrollarán en paralelo desde el comienzo del proyecto, para integrarse completamente en su últimas etapas.
La primera fase es una etapa de desarrollo y despliegue, consistente en la adaptación y optimización de una selección de códigos de Física del Plasma, que abarcan tanto aspectos de modelización en los bordes como en el núcleo, para su ejecución en entornos de Computación Grid y de Alto Rendimiento. El despliegue de la infraestructura de computación, en la cual el acceso a las partes de Computación Grid y de Computación de Alto Rendimiento corresponde a los distintos miembros del proyecto, es una actividad inherente a esta primera fase. Esta etapa estará, por tanto, principalmente dirigida a los desarrolladores de los códigos y las aplicaciones, al estar centrada en los detalles de implementación y en las estructuras de los códigos físicos a adaptar. Para llevar este esfuerzo más allá de los miembros del proyecto y hacerlo llegar a quienes trabajan modelizando simulaciones dentro de la comunidad de Física de Fusión, se ofrecerán tutoriales acerca de los diferentes aspectos a tener en cuenta en la adaptación de códigos. Las "lecciones aprendidas" del trabajo de desarrollo que se realice sobre los códigos de fusión estarán disponibles públicamente y se ofrecerá soporte directo al usuario para aquellos que se decidan a traer sus códigos a la plataforma de EUFORIA.
La segunda fase consiste en una actividad de estandarización e integración, que tiene una parte tecnológica, en la cual se desarrollan las herramientas necesarias para proporcionar a los usuarios métodos transparentes de reserva y planificación de recursos, así como el acoplamiento dinámico de los códigos físicos, y otra parte centrada en los usuarios y en la física subyacente, en la cual se utiliza una tecnología para construir workflows complejos (con los códigos optimizados como componentes), estructuras de datos estandarizadas y métodos de transferencia para ampliar los casos físicos para el desarrollo del ITER. En este caso, los componentes clave son la adaptación de estructuras de datos de simulación en los bordes y en el núcleo, para que sean comunes a un número de proyectos lo mayor posible, así como la adaptación de una herramienta de orquestación de workflows y el uso de herramientas genéricas para la exploración de los datos y su visualización. Esta segunda parte del proyecto está principalmente orientada a poner los medios necesarios para la creación de una comunidad más amplia de usuarios cuyos paquetes de código residan en la plataforma y, con una perspectiva un poco más amplia, ofrecer el estado de adaptación de un conjunto de herramientas utilizadas por dicha comunidad.
Objetivos
El proyecto EUFORIA se propone conseguir:
- El despliegue de servicios de Computación Grid
- El despliegue de una infraestructura de Computación de Alto Rendimiento
- El despliegue de un portal para el acceso de los usuarios
- La adaptación de una ontología estándar para el área de las simulaciones borde-núcleo.
- La adaptación y optimización de herramientas de simulación y códigos de fusión para:
- Computación Grid secuencial
- Computación Grid paralela
- Computación de Alto Rendimiento
- Desarrollo de un marco de referencia o plataforma informática que ofrezca:
- Herramienta de orquestación de workflows dinámica
- Herramienta de visualización de alta calidad
- Funcionalidades para la Minería de datos
- Middleware para el despliegue de los recursos computacionales necesarios para soportar las distintas herramientas de la plataforma
Además de lo anterior, están planificadas determinadas actividades de alcance y diseminación, con la intención de introducir a la comunidad de fusión en general en el uso de la infraestructura desarrollada y entrar en contacto con otras infraestructuras y proyectos de investigación que tengan una orientación similar o relacionada con los objetivos del proyecto EUFORIA.
Como puede verse en la lista anterior, el proyecto consiste en un conjunto de grupos de trabajo interrelacionados. Para garantizar un reparto adecuado de los diferentes componentes se necesita un alto grado de coordinación y supervisión, por lo que se ha puesto especial énfasis en proporcionar estructuras de gestión y recursos suficientes para los diferentes niveles del proyecto.
Consorcio
Archivo:Euforia-Socios.gifInstituciones europeas que participan en el proyecto EUFORIAEn el proyecto EUFORIA participan las siguientes catorce instituciones europeas:
- Universidad Tecnológica de Chalmers (Coordinador) de Suecia
- Instituto Max Plank de Física del Plasma (IPP) de Alemania
- Centro Superior de Investigaciones Científicas (CSIC) de España
- Centro de Investigaciones Energéticas, Medio Ambientales y Tecnológicas (CIEMAT) de España
- Centro de Investigaciones de Karlsruhe (FZK) de Alemania
- Centro Finlandés de Tecnologías de la Información para la Ciencia (CSC) de Finlandia
- Universidad Académica de Turku (ABO) de Finlandia
- Universidad de Edimburgo (UEDIN) del Reino Unido
- Centro Nacional de Supercomputación (BSC) de España
- Comisariado de la Energía Atómica (CEA) de Francia
- Universidad Louis Pasteur - Estrasburgo I (ULP) de Francia
- Universidad de Liubliana (UOL) de Eslovenia
- Centro de Supercomputación y Redes de Poznan (PSNC) de Polonia
- Agencia Nacional Italiana para las Nuevas Tecnologías, la Energía y el Medio Ambiente (ENEA) de Italia
Estructura del proyecto
El proyecto EUFORIA se estructura en un conjunto de actividades transversales, de servicio y de investigación, de acuerdo a la siguiente organización general:
Actividades Transversales
- NA1 – Gestión del proyecto
- NA2 – Documentación y formación de usuarios
- NA3 – Diseminación
Actividades de Servicio - Despliegue y Funcionamiento de la Infraestructura
- SA1 – Infraestructura de computación grid
- SA2 – Infraestructura de computación de alto rendimiento
- SA3 – Soporte de usuario para las actividades de computación de alto rendimiento y computación grid
Actividades de Investigación
- JRA1 – Adaptación de códigos y herramientas para la infraestructura de computación grid
- JRA2 – Adaptación de códigos y herramientas para la infraestructura de computación de alto rendimiento
- JRA3 – Herramientas de orquestación de workflows
- JRA4 – Visualización de datos
Actividades Transversales (NA)
Actividad NA1: Gestión del proyecto
NA1 proporciona soporte administrativo y de gestión para el consorcio en su conjunto. En particular, la coordinación global entre las diferentes actividades de investigación y de servicio es una responsabilidad de NA1 y el énfasis ha de ponerse en la promoción y el aseguramiento de la comunicación dentro de las actividades de investigación y de servicio para garantizar la total integración de los proyectos.
Se investigarán posibles relaciones con otros proyectos e iniciativas internacionales, tanto en computación grid y computación de alto rendimiento como en la comunidad de física de fusión. La gestión del proyecto servirá de enlace con los propietarios y los usuarios de códigos procedentes de la comunidad de fusión, con el objetivo de aportar recursos de computación adicionales para la realización de experimentos físicos usando los códigos adaptados por EUFORIA. Por otro lado, se investigarán fuentes de financiación adicionales, incluyendo las procedentes de la Unión Europea y de los países de origen de los socios firmantes del proyecto.
A medida que el proyecto avance en el tiempo y las diferentes actividades vayan estando más integradas, el interés se irá desplazando hacia las actividades de soporte transversales, entre las diferentes actividades de investigación (JRA's), así como entre éstas y las actividades de servicio (SA's). Será precisa una coordinación eficiente si se quieren conseguir los objetivos del proyecto. Uno de los propósitos de la coordinación entre las actividades de diseminación y las de formación de los usuarios es que los formadores puedan también ser ellos mismos los responsables de la diseminación dentro de sus propias comunidades, por lo que es esencial una disponibilidad lo más amplia posible de las herramientas de EUFORIA entre los usuarios y los desarrolladores de código de la comunidad de fusión.
Para armonizar el desarrollo de la infraestructura informática con los requisitos de modelización del ITER y mantenerse en contacto con los desarrollos físicos y las actividades de modelización llevadas a cabo dentro del consorcio internacional de este proyecto, se ha optado por un equipo de coordinación, procedente de la comunidad de fusión, y con un fuerte soporte tecnológico dentro del grupo de dirección del proyecto.
Objetivos de NA1
- Proporcionar servicios administrativos y de gestión para el consorcio en su conjunto.
- Proporcionar coordinación global (transversal) entre -y dentro de- las actividades de investigación y las actividades de servicio.
- Coordinar los esfuerzos de las actividades de diseminación (NA3) y de documentación y formación de usuarios (NA2).
- Coordinar las actividades con los proyectos EGEE (Enabling Grids for E-sciencE), DEISA (Distributed European Infrastructure for Supercomputing Applications, ICEAGE (International Collaboration to Extend and Advance Grid Education) y BELIEF (Bringing Europe's eLectronic Infrastructures to Expanding Frontiers), por medio de los contactos ya existentes.
- Investigar posibles vínculos con otros proyectos de computación grid y de computación de alto rendimiento, tanto en el seno de la Unión Europea como de ámbito internacional, fuera de ella.
- Investigar otras fuentes de financiación adicionales para el proyecto a través de los contactos con políticos y otras personalidades con capacidad de decisión.
Una gestión exitosa se pone de manifiesto en el rendimiento global del proyecto y se alcanza por medio de un seguimiento y una revisión coherentes de los hitos del proyecto y de los puntos de decisión internos a las tareas, así como haciendo una evaluación contínua de los progresos realizados y de la implementación de medidas correctivas.
Actividad NA2: Documentación y formación de usuarios
NA2 proporcionará a los usuarios científicos la documentación y la formación necesarias para trabajar en la infraestructura de computación de alto rendimiento y de computación grid de este proyecto. Alrededor de la actividad se desarrolla un programa de formación, diseñado para permitir que los usuarios desarrollen los conocimientos y habilidades necesarios para utilizar la infraestructura. Además, el proyecto ofrecerá una extensa serie de documentos, incluyendo guías de usuario y FAQ's (preguntas frecuentes).
Objetivos de NA2
- Proporcionar documentos, FAQ's e información sobre buenas prácticas a los usuarios de la infraestructura de computación grid y de computación de alto rendimiento.
- Proporcionar un programa formativo extenso para desarrolladores y usuarios, incluyendo el desarrollo de una guía de ayuda.
Actividad NA3: Diseminación
La diseminación será esencial para identificar, conseguir y ofrecer una imagen precisa del proyecto y de su posible proyección sobre futuros usuarios potenciales. Esta imagen ha de ser, al mismo tiempo, atractiva, resaltando los beneficios que se pueden conseguir al unirse a los proyectos DEISA, EGEE o EUFORIA, así como a las comunidades de computación grid y de computación de alto rendimiento. La diseminación jugará también un papel clave en la captación de usuarios potenciales, para que asistan a los eventos de diseminación de conocimientos que, de manera progresiva, serán fundamentales en su proceso de iniciación. Se espera que la diseminación ofrezca una imagen general del proyecto.
La mayoría de los usuarios, desarrolladores y comunidades tendrán su primer contacto con el proyecto EUFORIA a través de las actividades de diseminación. La expansión del proyecto hacia una comunidad de usuarios más amplia dependerá de la calidad y efectividad de las decisiones tomadas para hacer más visible y conocido el proyecto.
Objetivos de NA3
- Dar a conocer los objetivos y ventajas de la computación grid y la computación de alto rendimiento en el área de la física de fusión, así como de unirse al proyecto EUFORIA o usar su infraestructura.
- Definir los métodos de diseminación y el contenido que se quiere transmitir a cada comunidad de posibles destinatarios.
- Proporcionar materiales de diseminación adaptados a las audiencias destinatarias y hacerlos disponibles.
- Informar a las comunidades científicas sobre cómo pueden involucrarse en el proyecto.
- Atraer directamente a usuarios potenciales para que se hagan usuarios de EUFORIA.
- Mantener informadas a las comunidades interesadas acerca de las nuevas mejoras y funcionalidades que se vayan añadiendo.
Actividades de Servicio (SA)
Actividad SA1: Infraestructura de computación grid
El objetivo de esta actividad es proporcionar una infraestructura grid avanzada para computación científica con el fin de dar soporte a las actividades de física de fusión dentro del Espacio Europeo de Investigación. El proyecto integrará recursos de computación distribuida dentro de un servicio grid coherente que permita a los investigadores de fusión abordar nuevos retos científicos. La actividad de funcionamiento de la infraestructura grid pretende desplegar, integrar, mantener y poner en funcionamiento esta gran infraestructura distribuida de computación grid.
Objetivos de SA1
- Desplegar, mantener y hacer funcionar los servicios centrales necesarios para asegurar la integración de los recursos de computación dentro de una infraestructura grid de producción capaz de dar soporte a aplicaciones secuenciales y paralelas.
- Coordinar el desarrollo, mantenimiento y funcionamiento de los recursos de computación grid proporcionados por los sites participantes, garantizando un servicio robusto, seguro y fiable.
- Dar soporte a las Organizaciones Virtuales (VO) y a los proveedores de recursos para así ayudar a los usuarios finales, a los administradores de las VO's y a los administradores de los sites a conseguir sus objetivos y contribuir a un uso satisfactorio de la infraestructura.
El contexto del proyecto depende de la consolidación por toda Europa de un espacio de investigación basado en computación grid. La infraestructura será compatible con los servicios del middleware EGEE, contribuyendo a la estandarización del middleware grid y a la consolidación de las infraestructuras electrónicas (e-infraestructuras) en Europa. Con este propósito, el proyecto seguirá las recomendaciones de organismos internacionales, tales como el Grupo de Reflexión sobre e-Infraestructuras (e‐IRG) y el Foro Mundial de Grid.
Actividad SA2: Infraestructura de computación de alto rendimiento
Los desarrolladores de código dentro de la #Actividad JRA2: Adaptación de códigos y herramientas para la infraestructura de computación de alto rendimiento se centran en optimizar los códigos de simulación del plasma, dentro de la comunidad de física de fusión. Para que el trabajo de optimización se realice correctamente, los desarrolladores y los científicos deben tener acceso a las máquinas necesarias para probar, depurar y ejecutar los códigos. Además, las pruebas de viabilidad y las ejecuciones de producción reales por parte de los científicos precisará de acceso a los supercomputadores.
El objetivo principal de SA2 es, por tanto, garantizar a los desarrolladores y científicos el acceso a las instalaciones de computación de alto rendimiento y sus servicios al cliente, dentro del ámbito de los centros de supercomputación participantes en el proyecto (esto es, CSC de Helsinki, BSC de Barcelona y EPCC (UEDIN) de Edimburgo).
Objetivos de SA2
- Proporcionar una infraestructura de computación de alto rendimiento para dar soporte a los esfuerzos de optimización de código realizados en JRA2.
- Proporcionar acceso en tiempo de ejecución a los supercomputadores para realizar las pruebas de viabilidad sobre los códigos de computación de alto rendimiento en la propia plataforma.
Actividad SA3: Soporte de usuario para las actividades de computación de alto rendimiento y computación grid
SA3 proporcionará a los usuarios científicos los mecanismos de soporte apropiados para utilizar las infraestructuras de computación de alto rendimiento y de computación grid del proyecto de un modo rápido y eficiente. Habrá una única interfaz para los usuarios, proporcionando un punto central de contacto para sacar provecho a la amplia experiencia que atesoran las instituciones participantes. Este punto de contacto ofrecerá, entre otras funcionalidades, registro de usuario, gestión de recursos y contabilidad y un sencillo helpdesk para todos los usuarios. Esta actividad sostiene a muchas de las demás del proyecto, como son JRA1, JRA2, JRA3 y JRA4, ofreciendo un primer punto de de contacto con los usuarios, para asegurar una rápida respuesta de las aplicaciones, las tecnologías y las herramientas en todas estas actividades.
Objetivos de SA3
- Proporcionar, a través de una interfaz de usuario única, administración de usuarios, gestión de recursos, contabilidad, informes y un helpdesk central para usuarios del servicio.
- Dar soporte a un amplio rango de aplicaciones a adaptar y a la optimización inicial de las aplicaciones en la infraestructura de EUFORIA.
Actividades de Investigación (JRA)
Actividad JRA1: Adaptación de códigos y herramientas para la infraestructura de computación grid
En JRA1, se adaptarán a la arquitectura de computación grid un conjunto de códigos piloto usados en modelización de transporte en el núcleo y en los bordes del plasma. El objetivo principal es explorar las posibilidades de la arquitectura grid para las investigaciones en física de fusión, empezando con un subconjunto de códigos seleccionados de entre los códigos de transporte y turbulencias en los bordes y en el núcleo, que son los más apropiados para este fin. Como primer paso, se adaptarán un conjunto de códigos secuenciales y, en una segunda etapa, se instalará en la grid el código de dos workflows mixtos. Se prestará especial atención a la conexión entre los workflows secuencial y paralelo, por la utilidad que este tipo de estrategia mixta de computación pueda tener para la fusión en el futuro. Las "lecciones aprendidas", tanto en la adaptación de códigos como en la gestión de los datos, serán tenidas en cuenta como valiosas experiencias de cara a futuras simulaciones y experimentos en física de fusión.
Objetivos de JRA1
- Adaptar un conjunto de códigos secuenciales al entorno de computación grid junto con, al menos, unos pocos códigos mixtos (secuencial-paralelo).
- Adquirir experiencia en la ejecución de códigos y la gestión de los datos producidos por estos, dentro del entorno de los workflows.
Actividad JRA2: Adaptación de códigos y herramientas para la infraestructura de computación de alto rendimiento
En JRA2, se adaptarán un conjunto de códigos de computación centralizada en física del plasma y confinamiento magnético, dentro de la física de fusión, para su ejecución en los sistemas de supercomputación paralelos puestos a disposición por los centros de computación de alto rendimiento participantes. El objetivo es hacer que estos programas ejecuten más rápido y permitirles usar un número mayor de procesadores, con la intención de resolver instancias del problema sustancialmente mayores, promoviendo de ese modo que las capacidades de modelización en las investigaciones en física de fusión alcancen una escala real. Los códigos de computación se diseñarán para una ejecución lo más eficiente posible en los actuales sistemas de computación de alto rendimiento tera-escalares, así como en la próxima generación de peta-escalares , y ser adaptables para funcionar como componentes dentro de un entorno de workflow.
Objetivos de JRA2
- Mejorar la escalabilidad paralela de los códigos de computación.
- Optimizar su rendimiento para arquitecturas de procesadores modernas.
- Adaptar los códigos para que puedan integrarse en un único framework acoplado, a través de una herramienta de orquestación de workflow.
Actividad JRA3: Herramientas de orquestación de workflows
La unión de diferentes códigos y módulos computacionales hace necesaria la existencia de un importante elemento de coordinación y gestión estructurada de datos, así como de planificación de recursos, para garantizar un funcionamiento eficiente. Una herramienta de orquestación de workflows facilitará enormemente el proceso de integración y proporcionará una estructura o marco de referencia (framework) para el desarrollo de tareas adicionales, como dirección computacional y monitorización o control interactivo. Además, esto ofrecerá un posible punto de entrada para el acceso a datos estandarizados y el uso de herramientas de postprocesado hechas por los usuarios.
Objetivos de JRA3
- Planificar trabajos en las infraestructuras GRID y HPC junto con otros trabajos que ejecutan en otros entornos de computación, mediante una herramienta de orquestación de workflows que dinámicamente pueda enlazar y poner en marcha los diferentes módulos de computación instalados.
- Desarrollar una interfaz de usuario única para dar soporte a la administración de usuarios, consultas de los mismos, gestión de recursos, contabilidad y elaboración de informes. Esta interfaz cumplirá los requisitos de los usuarios de la actividad SA3, que proporcionarán los servicios relacionados.
Actividad JRA4: Visualización de datos
JRA4 se dedica a proporcionar un conjunto de herramientas de visualización unificadas para los códigos integrados en la plataforma. Algunas de estas herramientas se usarán para el postproceso de los datos generados por dichos códigos, mientras que otras se integrarán en el workflow de la herramienta Kepler para posibilitar la visualización y monitorización de los resultados durante la ejecución del workflow. Las herramientas de visualización desarrolladas en JRA4 estarán basadas en software libre ya existente, como Python, Numpy y Matplotlib por un lado, y en VTK y VisIt por otro.
Objetivos de JRA4
- Proporcionar un conjunto de herramientas de visualización unificadas disponibles dentro del workflow de la herramienta Kepler para la visualización de datos disponibles remotamente en una grid computacional.
- Implementar herramientas de visualización más potentes que puedan usarse en el postproceso de los datos computados.
- Desarrollar una nueva herramienta de compresión de datos, basada en los algoritmos de transformación de ondas (lossy wavelet) para manejar el gran volumen de información generado por algunos de los códigos.
- Desarrollar herramientas de visualización específicas para funciones de distribución en 4D o 5D.
Véase también
- ITER (Reactor Termonuclear Experimental Internacional)
- Física del Plasma
- Física de Fusión
- Computación grid
- Computación de alto rendimiento
- Proyecto EELA (Proyecto EELA: infraestructura electrónica compartida entre Europa y América Latina)
- BSC (Barcelona Supercomputing Center)
Enlaces externos
- Página de inicio del proyecto EUFORIA (EU Fusion fOR Iter Applications)
- Página de inicio de ITER (International Thermonuclear Experimental Reactor)
- Página de inicio del proyecto EGEE (Enabling Grids for E-sciencE)
- Página de inicio del proyecto DEISA (Distributed European Infrastructure for Super Computing Applications)
- Página de inicio del proyecto ICEAGE (International Collaboration to Extend and Advance Grid Education)
- Página web de ERA (European Research Area)
- Página web de e-IRG (e-Infrastructure Reflection Group)
- Página web de OGF (Open Grid Forum)
- Página de inicio del proyecto EDGeS (Enabling Desktop Grids for e-Science)
- Página de inicio del proyecto EELA (E-infrastructure shared between Europe and Latin America)
- Grid Café, información básica sobre computación grid
- Página web de ASGC (Academia Sinica Grid Computing), uno de los líderes mundiales en computación de alto rendimiento (HPC) que proporciona también servicios avanzados en computación grid
- Página de inicio del proyecto GRIDCC
- Página de inicio del proyecto GridPP (United Kingdom for Particle Physics)
- Página de inicio del proyecto int.eu.grid, infraestructura grid avanzada dedicada a la computación científica
- DataGrid europeo
- Página web del CERN (Conseil Européen pour la Recherche Nucléaire)
- Página web del LHC (Large Hadron Collider)
- La grid de computación del LHC (LCG)
- Página web del EPCC (Edinburgh Parallel Computing Centre), de la Universidad de Edimburgo
- BSC (Centro Nacional de Supercomputación)
- CSC, el centro finlandés de Tecnologías de la Información para la ciencia
- Página de inicio del proyecto Kepler (sistema de workflow científico basado en grid)
Categorías: Redes informáticas | Computación distribuida | Ciencia y tecnología de España | Física nuclear | Física nuclear y de partículas | Estados de la materia
Wikimedia foundation. 2010.
