Active Learning Metamodels for Transport Simulation Problems

Abstract

Transport systems constitute a fundamental structure deeply hardwired into today's increasingly denser cities. The proper, voluntary, and efficient movement of people, goods, and services is quintessential to healthy and sustainable social and economic advancements.

Urban environments, and their inseparable transport infrastructures, are inherently intricate and highly dynamic. These deeply integrated systems frequently prove to be challenging to model and study due to the multitude of involved variables, external factors, unknown stochastic phenomena, and inevitably human behavior. This overwhelming complexity is, in most cases, not easily encapsulated into closed-form and tractable mathematical formulae, if not indeed infeasible in the first place. As a result, simulation approaches are traditionally employed as modeling tools to explore virtual representations of actual or planned systems to assess their performances ultimately.

Nevertheless, despite encompassing simplified representations of real-world systems, simulation models can too become rather complex and therefore computationally expensive to implement and run, especially if designed with sufficient detail. Even in situations where the simulation runtimes do not represent a significant hindrance to the computer experimentation, input variable spaces with reasonable dimensions can render the exploration of the simulator's output behavior tiresome to attain systematically. In this sense, simulation metamodels often emerge as easy-to-implement solutions to address the just mentioned shortcomings of simulation modeling. Simulation metamodels are essentially functions that aim at approximating the input-output mappings inherently defined by simulation models. These models, which are generally recognized by their computing speed and simple functional structure, are fitted to previously simulated data and then used for output prediction purposes.

In an effort to further minimize the computational burden of exhausting computer experimentation, active learning can be employed in strategic conjunction with simulation metamodels, as it proposes a more efficient modeling approach by aiming at high predictive performance with as few data points as possible. This is achieved by providing the metamodel, or associated algorithm, with the ability to choose the most informative data points in an iterative manner to be run by the simulation model, thereby reducing data redundancy and runtimes while increasing learning efficiency at the same time.

In this thesis, we develop and explore an integrated active learning metamodeling methodology in the context of transport systems simulation. This methodology seeks to improve the exploration process of the simulation input space in order to allow a more efficient description and understanding of the corresponding output behavior. To this end, the Gaussian Process modeling framework is employed as a simulation metamodel due to its nonlinear and Bayesian properties, which in turn provide a natural platform for developing native active learning strategies. Several transport-related simulation models and active learning settings are analyzed and discussed.

Despite the clear advantages that both simulation metamodeling and active learning, in the context of expensive or systematic computer experiments, can provide to the transport simulation field, to the best of our knowledge, such techniques remain seldom applied in an integrated manner or even known to transport simulation modelers, practitioners, and related professionals. Many simulation-based studies still rely on somewhat manual processes, primarily focusing on the design of static what-if approaches. We are confident that the adoption of active learning metamodeling schemes can serve as a reliable and enhancing complement to the traditional simulation analysis both in research and industry. Furthermore, we believe that this work will stimulate further discussion, developments, and more applications within the field of transportation.

Os sistemas de transporte constituem uma estrutura fundamental ao funcionamento das cidades actuais cada vez mais densas e complexas. O movimento adequado, voluntário e eficiente de pessoas, bens e serviços é um elemento essencial para um desenvolvimento económico-social saudável e sustentável.

De uma forma geral, os ambientes urbanos e as suas respectivas infra-estruturas de transportes, são inerentemente intricados, muito dinâmicos e profundamente integrados. Estes sistemas são frequentemente complexos de modelar e de estudar devido às inúmeras variáveis envolvidas, factores externos, fenómenos estocásticos desconhecidos e, inevitavelmente, ao comportamento humano. Na maior parte dos casos, esta enorme complexidade é difícil, se não mesmo impossível, de transpor para fórmulas matemáticas fechadas ou expressões analíticas. Em alternativa, métodos numéricos de simulação são tradicionalmente usados como ferramentas de modelação que permitem, acima de tudo, a exploração virtual de representações conceptuais destes sistemas, actuais ou planeados para o futuro, a fim de avaliar os seus respectivos desempenhos. Todavia, apesar de constituírem representações simplificadas de sistemas do mundo real, os modelos de simulação podem tornar-se igualmente complexos e, por consequência, computacionalmente difíceis de implementar e de executar, especialmente se forem desenhados com detalhe e realismo suficientes. Adicionalmente, mesmo em situações onde os tempos de simulação não são propriamente elevados, os espaços de entrada de simulação, quando caracterizados por um número razoável de dimensões, o que é frequentemente o caso, podem, por si, só tornar as análises do comportamento de saída dos simuladores subjacentes em processos exaustivos quando conduzidos de forma sistemática.

Neste sentido, os metamodelos de simulação apresentam-se como soluções simples de implementar a fim de resolver os problemas computacionais usualmente impostos pelos métodos de simulação descritos anteriormente. Estes tipos de modelos constituem essencialmente funções cujo objectivo é aproximar os mapeamentos de entrada-saída inerentemente definidos pelos respectivos modelos de simulação. Por sua vez, estas funções são geralmente caracterizadas pela sua rapidez de computação e simplicidade, sendo ajustadas a dados simulados e posteriormente usadas para fins de previsão de valores de saída. Num esforço complementar de minimizar ainda mais o potencial entrave computacional associado a processos de análise de simulação exaustiva, estratégias de aprendizagem activa podem ser empregadas numa abordagem integrada com metamodelos de simulação, proporcionando, assim, uma modelação mais eficiente que visa atingir elevado desempenho de previsão com tão poucos dados de treino quanto possível. Isto é concretizável dando ao metamodelo, ou algoritmo associado, a capacidade de escolher, de uma forma iterativa, os pontos mais informativos a serem executados pelo modelo de simulação, reduzindo, deste modo, a redundância de dados e tempos de execução, e consequentemente, aumentando a eficiência da aprendizagem.

Nesta tese, desenvolvemos e exploramos uma metodologia integrada de aprendizagem activa e metamodelos no contexto geral da simulação de sistemas de transporte. Esta metodologia pretende melhorar o processo de exploração dos espaços de entrada de simuladores, no sentido de permitir uma descrição e conhecimento dos respectivos comportamentos de saída de uma forma mais eficiente. Para este fim, a modelação através de Processos Gaussianos foi usada enquanto metamodelo de simulação, devido às suas propriedades não-lineares e Bayesianas que, por sua vez, constituem uma plataforma natural para o desenvolvimento nativo de estratégias de aprendizagem activa. Vários modelos de simulação de transportes e configurações de aprendizagem activa são analisados e discutidos.

Apesar das vantagens que a modelação por metamodelos de simulação e aprendizagem activa apresentam para o ramo da simulação de sistema de transportes, estes tipos de técnicas não são frequentemente aplicados de uma forma integrada ou até conhecidas por parte de modeladores, praticantes e demais profissionais associados à simulação de sistemas de transportes. Muitos dos estudos baseados em técnicas de simulação ainda dependem de processos manuais, focando-se sobretudo no desenho estático de abordagens hipotéticas. Estamos confiantes que a adopção conjunta de esquemas de aprendizagem activa e de metamodelos de simulação pode servir como complemento confiável de modelação às análises de simulação mais tradicionais, tanto na investigação como na indústria. Além disso, acreditamos que este trabalho irá estimular mais discussão, desenvolvimentos e aplicações no ramo de estudo de sistemas de transportes.