Deep Reinforcement Learning for Condition Based Monitoring in Aircraft Planning

Abstract

Atualmente, as manutenções na aviação são maioritariamente pré-programadas ou reactivas. Estas técnicas podem levar a manutenção excessiva, mais tempo e recursos gastos, menor disponibilidade de aeronaves e despesas altas. Real-time Condition-based Maintenance for Adaptive Aircraft Maintenance Planning (ReMAP) pretende solucionar este problema, para isso introduzindo uma proposta que procura, fazendo uso de sensores e algoritmos de última geração, aplicar condition-based maintenance (CBM) em aeronaves comerciais, possibilitando a integração da monitorização em tempo real dos sistemas de aeronaves com um agente reinforcement learning (RL) de tomada de decisões, capaz de formular um plano de manutenções ótimo. A proposta integra várias work packages (WPs), cada uma delas com um papel diferente no projeto: desde a extração de dados dos sistemas das aeronaves à definição de um plano de manutenção para uma frota inteira. Este estágio foi embutido na WP responsável pelo desenvolvimento da MDST, encarregue de planear e atribuir tarefas de manutenção para uma frota de aviões. A versão final desta ferramenta irá receber informação de cada manutenção periódica de cada aeronave juntamente com pedidos de manutenção inesperados que possam surgir dos prognósticos de saúde das aeronaves. O intuito será distribuir essas tarefas por um prazo pré-definido de maneira a criar um calendário de manutenções praticável. Todavia, inicialmente, como prova de conceito, a MDST irá criar um planeamento que apenas inclua manutenções periódicas. Portanto, o objetivo do estágio foi usar RL de maneira a calendarizar trabalhos de manutenção de uma frota com 51 aviões para o prazo de 6 anos. Os nossos resultados demonstram que o algoritmo de RL converge rapidamente e tem um melhor desempenho do que uma solução gananciosa.

Currently, maintenance in aviation is mostly pre-scheduled or done reactively. These techniques may prompt to over-maintenance, more time and resources spent, less aircraft availability and high expenses. Real-time Condition-based Maintenance for Adaptive Aircraft Maintenance Planning (ReMAP) intends to solve this issue by introducing a proposal that seeks, by using sensors and state-of-the-art algorithms, to apply condition-based maintenance (CBM) in commercial aircraft, allowing real-time health monitoring of the aircraft’s systems to be integrated with a decision making reinforcement learning (RL) agent to formulate an optimal maintenance scheduling plan. The proposal integrates different work packages (WPs), each of them with a different role in the project: from collecting data from the aircraft’s systems to defining a maintenance plan for a whole fleet. This internship was embedded in the WP responsible for the development of the maintenance decision support tool (MDST), in charge of planning and assigning maintenance tasks for a fleet of aircraft. The final version of the tool is envisioned to receive information about each aircraft’s periodical maintenance checks plus any unexpected maintenance needs that might arise from the aircraft’s health prognostics. These maintenance tasks will be assigned to time-frames in order to create a feasible maintenance schedule. Nevertheless, as an introductory concept proof, the MDST must organize a maintenance schedule for periodic tasks, only. Accordingly, the internship’s goal was to use RL to assign periodical maintenance checks for a fleet of 51 aircraft over 6 years. Our results show that the RL algorithm converges quickly and performs significantly better than a greedy solution.