Multi-step and Multi-variate Weather Forecasting using a Spatio-Temporal Transformer Structure Neural Network

Due to the increasing emphasis on environmental protection and the higher demands for air traffic management, the aviation industry is seeking a method to better predict the environmental variables regarding aircraft emissions. The study introduces STSCBRE (Spatio-Temporary Self-attention CNN-BiLSTM Network with Relative Embedding), a novel model for multi-step, multi-variate time series forecasting, aimed at improving environmental variable prediction in aviation emissions analysis. It enhances Transformer architecture by incorporating relative position encoding and variable embedding to capture spatio-temporal dependencies more effectively. Unlike traditional Transformers, which rely on absolute positioning and often overlook spatial factors, STSCBRE restructures multi-head attention to better utilize spatiotemporal dependencies. The presented model outperforms others in NRMSE and maintains systematic prediction errors below 2%. An ablation test is performed to enhance the model's transparency and assess the contribution of each module within the overall framework.
På grund av det ökande fokuset på miljöskydd och de högre kraven på flygtrafikledning, söker flygindustrin en metod för att bättre förutsäga miljövariabler relaterade till flygutsläpp. Studien introducerar STSCBRE (Spatio-Temporal Self-attention CNN-BiLSTM Network with Relative Embedding), en ny modell för flerstegs och multivariat tidsserieprognos som syftar till att förbättra förutsägelser av miljövariabler inom flygutsläpp. Modellen förbättrar Transformer-arkitekturen genom att införliva relativ positionskodning och variabelinbäddning för att mer effektivt fånga rumsliga och tidsmässiga beroenden. Till skillnad från traditionella Transformer-modeller, som förlitar sig på absolut positionering och ofta förbiser rumsliga faktorer, omstrukturerar STSCBRE multihead-attention för att bättre utnyttja rumsliga och tidsmässiga beroenden. Modellen överträffar andra i NRMSE och upprätthåller systematiska förutsägelser med fel under 2%. Ett ablationstest har utförts för att öka modellens transparens och bedöma varje moduls bidrag inom den övergripande strukturen.