Feature selection by multi-objective optimisation: application to network anomaly detection by hierarchical self-organising maps

Abstract

Feature selection is an important and active issue in clustering and classification problems. By choosing an adequate feature subset, a dataset dimensionality reduction is allowed, thus contributing to decreasing the classification computational complexity, and to improving the classifier performance by avoiding redundant or irrelevant features. Although feature selection can be formally defined as an optimisation problem with only one objective, that is, the classification accuracy obtained by using the selected feature subset, in recent years, some multi-objective approaches to this problem have been proposed. These either select features that not only improve the classification accuracy, but also the generalisation capability in case of supervised classifiers, or counterbalance the bias toward lower or higher numbers of features that present some methods used to validate the clustering/classification in case of unsupervised classifiers. The main contribution of this paper is a multi-objective approach for feature selection and its application to an unsupervised clustering procedure based on Growing Hierarchical Self-Organising Maps (GHSOMs) that includes a new method for unit labelling and efficient determination of the winning unit.

La selección de características es un problema importante y activo en los problemas de agrupación y clasificación. Al elegir un subconjunto de características adecuado, se permite una reducción de la dimensionalidad del conjunto de datos, lo que contribuye a disminuir la complejidad computacional de la clasificación y a mejorar el rendimiento del clasificador al evitar características redundantes o irrelevantes. Si bien la selección de características se puede definir formalmente como un problema de optimización con un solo objetivo, es decir, la precisión de clasificación obtenida mediante el uso del subconjunto de características seleccionado, en los últimos años, se han propuesto algunos enfoques de múltiples objetivos para este problema. Estas características bien seleccionadas no solo mejoran la precisión de la clasificación, sino también la capacidad de generalización en el caso de clasificadores supervisados, o contrarrestan el sesgo hacia un número mayor o menor de características que presentan algunos métodos utilizados para validar la agrupación / clasificación en el caso de clasificadores no supervisados. . La principal contribución de este documento es un enfoque de objetivos múltiples para la selección de características y su aplicación a un procedimiento de agrupación sin supervisión basado en mapas autoorganizados jerárquicos en crecimiento (GHSOM) que incluye un nuevo método para el etiquetado de unidades y una determinación eficiente de la unidad ganadora.