View Project

Norwegian AI Directory

High Throughput Environmental Assessment Pipeline


Description:

HiTEA (High Throughput Environmental Assessment Pipeline) er et HPC (High Performance Computing) fokusert programvareprosjekt som kombinerer nye digitale containerteknologier, i memory column storage (Apache Arrow) og interaktive (Jupyter) notebooks for å bygge et standardverktøy for kvantitativ bærekraftforskning med høy data gjennomstrømning. Med HiTEA tar vi sikte på å sette forskere i stand til å rutinemessig gjennomføre sofistikerte (HPC-avhengige) løsningsromestimater i stedet for enkeltpunktsestimater av resultater og politiske alternativer i relevante analyser for bærekraftige utviklingsmål (SDG). HiTEA består av en data-pipeline som kan akseptere data fra ulike kvantitative bærekraftsregnskapsrammer. Flere allerede eksisterende parsere vil bli samlet i HiTEA. Etter dataene har passert det distribuerte/skybaserte beregnings systemet, blir data samlet i en modul som gjør det mulig å eksportere resultatene i forskjellige format. HiTEA er planlagt å kjøre på forskjellige e-infrastruktursystemer som spenner fra lokale flerkjernetjenere, til HPC-infrastruktur ved NTNU (OpenStack), Sigma2 (Nird Toolbox) og til kommersielle Kubernetes-baserte skytjenester som Amazon AWS og MS Azure. Etter å ha nådd et modent programvareprodukt, tar vi sikte på å inkludere HiTEA i servicekatalogen til EOSCHub. Det første året har fokuset vært å finne IT-stack som skal brukes i prosjektet og utvikle en første prototype av data-pipelinen. Som en del av dette arbeidet utviklet og publiserte vi en open-source programvaremodul for Environmentally Extended Multi-Regional Input Output Analysis, Pymrio. Programvaren er tilgjengelig på Github og artikkelen ble publisert i Journal of Open Research Software. Det neste året vil denne programvaren bli utvidet til å kjøre på de forskjellige sky- og HPC-infrastrukturene som beskrevet ovenfor. Videreutvikling av programvaren vil bli drevet av casestudier, og gi de nødvendige tilbakemeldingene som trengs for å sikre at programvaren oppfyller vesentlige vitenskapelige brukerkrav. For å gjøre dette, følger prosjektet industristandard Agile Software Development -praksis som brukes i industriell programvareutvikling. Disse casestudiene vil bli utført av doktorgradsstudenten finansiert gjennom HiTEA -prosjektet. For å velge studenten la vi ut stillingsannonser i februar 2021 på jobbnorge, forskjellige sosiale nettverk (Twitter, LinkedIn) og på spesifikke stillingspaneler relatert til PhD-emnet (forum for International Society for Industrial Ecology, is4ie.org og on Woman i HPC -organisasjonen, womaninhpc.org). I august 2021, ble Mohamed Badr ansatt.(https://www.ntnu.edu/employees/mhelsaye) Han er en høyt kvalifisert forsker som har erfaring både innen globaliseringsforskning og programmering. I løpet av de neste månedene vil vi fokusere på å kjøre den første usikkerhetsanalysen for casestudiene med den utviklede prototypen. Ytterligere informasjon om prosjektet, inkludert lenker til kodelageret og publikasjoner, finner du på https://hitea.iedl.no/.


Project leader: Konstantin Stadler

Started: 2020

Ends: 2025

Category: Universiteter

Sector: UoH-sektor

Budget: 9511986

Institution: NORGES TEKNISK-NATURVITENSKAPELIGE UNIVERSITET NTNU

Address: