Uso de aprendizagem por reforço e controle em nível meta para melhorar a performance da comunicação em gerência de tráfego aéreo
- Daniela Pereira Alves
- Li Weigang
- Bueno Borges de Souza
Ministério da Ciência e Tecnologia – MCT · Universidade de Brasília - UnB
- Event
- V SITRAER – Brasília, DF, Brasil, October 25–27, 2006
- Volume
- Avanços do Transporte Aéreo Brasileiro: V SITRAER – Simpósio de Transporte Aéreo
- Pages
- 324–331
- Editors
- Li Weigang, Érico Santana
Resumo
Este artigo descreve um modelo de computação inteligente para auxiliar o processo de tomada de decisão de um sistema distribuído, no caso específico, Air Traffic Flow Management - ATFM. Ele é indicado para atuar na comunicação via troca de mensagens entre aeroportos, trabalhando como uma camada adicional que usa os meta-dados em suas decisões. O modelo é considerado inovador porque usa aprendizagem por reforço adequada às características deste ambiente estocástico, preocupando-se com a velocidade e qualidade do processo de tomada de decisão. Na modelagem, três melhorias foram propostas para a própria aprendizagem: heurística inicial, epsilon adaptativo e heurística baseada em performance. Elas são combinadas aos algoritmos de aprendizado por reforço: Q-learning e SARSA. Dois estudos de caso avaliam o desempenho e a qualidade do aprendizado quanto às três melhorias propostas. ABSTRACT This article describes a model of intelligent computation to assist the make decision process in a distributed system, in specific case, Air Traffic Flow Management - ATFM. It is indicated to act in the communication saw exchanging of messages among airports and working as an additional layer that uses the goal-given ones in its decisions. The model is considered innovative because it uses reinforcement learning adjusted to the characteristics of this random environment cosidering the speed and quality of decision make process. In the modeling we proposed three learning: initial heuristic, epsilon adaptive and heuristic based in performance. They are combined to the reinforcement learningś algorithms: Q-learning and SARSA. Two studies of case evaluate the performance and the quality of the learning according of improvement proposals. 1. INTRODUÇÃO O fluxo em tráfego aéreo tende a crescer nos próximos anos e, como conseqüência, a demanda sob os recursos dos aeroportos aumentará de forma considerável. Por outro lado, a capacidade para atendê-la não irá acompanhar este crescimento. Esta discrepância ocorrerá porque investir em infra-estrutura é caro e nem sempre é possível fazê-lo. Existem aeroportos em que não há como construir uma nova pista porque não existe espaço para isso e, neste caso, teria que construir um novo aeroporto com maior capacidade. Assim, uma solução para este problema é investir em soluções que visem o uso de forma mais eficiente dos recursos atuais dos aeroportos. Uma proposta de solução para o problema de tráfego aéreo é um