Neuro-Evolution: Representations, Efficiency and Development

Abstract

Artificial Neural Networks (ANNs) are hard to design and optimise. First, we pre-process the dataset and design and extract the features. Second, we define the topology of the network, i.e., select and parameterise the type, sequence, and connectivity of the layers. Third, we train the network, which implies selecting the learning algorithm and setting its parameters. This iterative process is time-consuming, and each choice affects the others. Moreover, to address a new task, the model must be at least reviewed. In the worst case scenario, we may have to re-start from scratch.

The literature on approaches that aim at automating the generation of ANNs is vast. The focus of this Thesis is on NeuroEvolution (NE) -- the set of methods that apply Evolutionary Computation to optimise ANNs. Based on the review of the state-of-the-art, it is our perception that the vast majority of NE approaches focus on the optimisation of a particular ANN structure or the generation of solutions to a specific problem. We hypothesise that using Grammar-based Genetic Programming approaches, we can propose and develop a flexible representation to design a general-purpose framework to optimise the deployment of Deep Artificial Neural Networks (DANNs). Additionally, this representation will support time-efficient search and the use of limited computational resources.

After examining the performance of Grammatical Evolution and Structured Grammatical Evolution, we conclude that these methods are not appropriate to optimise multi-layered networks. Therefore, we propose Dynamic Structured Grammatical Evolution (DSGE). DSGE is the first contribution of this Thesis and is the core of Deep Evolutionary Network Structured Representation (DENSER). DENSER is a novel grammar-based NE representation, which optimises DANNs using a two-level structure. This representation can encode all aspects of ANNs: from the layer types and sequencing to the learning strategy. It can also encode any other hyper-parameter, e.g., the data augmentation strategy.

One of the main limitations of the evolutionary engine used with DENSER is the time needed to generate effective ANNs. Fast Deep Evolutionary Network Structured Representation (Fast-DENSER) uses the representation of DENSER, but to speed up search it replaces the evolutionary engine by an Evolutionary Strategy. Besides, Fast-DENSER introduces a methodology to increase the training time of each individual as generations proceed. As the individuals are enabled to train for longer, by the end of evolution, the networks are fully-trained and ready to be deployed, i.e., after the end of evolution, no further training is required.

Finally, we propose incremental development to avoid restarting search from scratch each time we have to solve a new problem. Incremental development facilitates the search in target tasks by warm-starting evolution. Moreover, it allows knowledge from previously addressed source tasks to be incorporated throughout evolution. In other words, incremental development aids evolution by transferring topological information from source to target tasks.

A otimização de Redes Neuronais Artificiais (RNAs) é uma tarefa difícil e complexa. Em primeiro, é necessário pré-processar os dados e extrair features. Em segundo, definir a topologia, ou seja, escolher e parametrizar o tipo, ordem e conectividade das camadas da rede. Em terceiro, treinar a rede, o que implica definir qual o algoritmo de aprendizagem e os seus parâmetros. Este processo é iterativo e demorado e as escolhas realizadas em cada etapa afetam as restantes. Não obstante, o modelo tem que ser pelo menos revisto para a resolução de uma nova tarefa. No pior cenário, poderá ser necessário refazer toda a otimização da rede.

A literatura é rica em abordagens que focam a otimização de RNAs. Esta Tese foca particularmente a NeuroEvolução (NE) – conjunto de métodos que utilizam Computação Evolucionária para otimizar RNAs. Na bibliografia, a maioria das abordagens de NE evidenciam a otimização de uma RNA específica, ou a geração de soluções para um único problema. A nossa hipótese é que, utilizando técnicas de Programação Genética baseada em Gramáticas, seja possível propor uma representação flexível. Esta representação é facilitadora de uma framework genérica para otimizar e passar a produção Rede Neuronais Profundas (RNPs). No entanto, o método tem que ser eficiente, quer a nível temporal, quer dos recursos computacionais necessários.

Após analisarmos o desempenho dos métodos Grammatical Evolution e Structured Grammatical Evolution concluímos que estes não são adequados à otimização de redes multi-camada. Desta forma, propomos uma nova abordagem, à qual chamamos Dynamic Structured Grammatical Evolution. Esta abordagem, além de ser a primeira contribuição da Tese, é também central para o Deep Evolutionary Network Structured Representation (DENSER). O DENSER é proposto como uma representação de NE baseada em gramáticas, que codifica RNPs utilizando uma estrutura com dois níveis. Esta representação permite a codificação de todos os aspetos de uma RNA: tipo e sequenciamento de camadas, algoritmo de aprendizagem, estratégia de geração de dados, etc.

Uma das maiores limitações do DENSER é o tempo necessário para gerar uma solução eficaz. O Fast Deep Evolutionary Network Structured Representation (Fast-DENSER) tem como objetivo acelerar a procura de RNAs. No Fast-DENSER o motor evolucionário é substituído por uma Estratégia Evolucionária, mantendo a representação utilizada no DENSER. Por outro lado, no Fast-DENSER o tempo de treino é uma propriedade do indivíduo, que pode aumentar ao longo da evolução. Após o término da evolução, as redes não necessitam de ser treinadas durante mais tempo.

Por fim, propomos o desenvolvimento incremental de forma a evitar que a procura comece do início aquando da resolução de um novo problema. Para facilitar a procura, a população inicial é formada tendo em conta as topologias encontradas para problemas anteriores. É também possível incorporar conhecimento proveniente de outros modelos em qualquer fase da evolução. Por outras palavras, o desenvolvimento incremental transfere informação topológica de forma a acelerar a evolução.