Continual federated machine learning under concept drift

  1. Fernando Estevez Casado
Supervised by:
  1. Roberto Iglesias Rodríguez Director
  2. Senén Barro Director

Defence university: Universidade de Santiago de Compostela

Fecha de defensa: 18 November 2022

Committee:
  1. Francisco Herrera Triguero Chair
  2. M. J. Carreira Nouche Secretary
  3. Theocharis Kyriacou Committee member

Type: Thesis

Abstract

A aprendizaxe federada é un paradigma de aprendizaxe automática que permite adestrar modelos de maneira distribuída, entre múltiples dispositivos, sen poñer en riscos a privacidade dos usuarios. O obxectivo desta tese é o de desenvolver novas estratexias de aprendizaxe federada que, mantendo tódalas vantaxes que esta tecnoloxía xa proporciona, permitan tamén lidar con escenarios continuos, en situacións non estacionarias suxeitas a derivas de concepto. As dúas contribucións máis importantes da tese son o método Concept-Drift-Aware Federated Averaging (CDA-FedAvg) e a arquitectura Ensemble and Continual Federated Learning (ECFL). Por unha banda, CDA-FedAvg permite o adestramento de redes neuronais profundas de maneira federada e ao longo do tempo, sendo ademáis capaz de detectar derivas de concepto e adaptarse a elas. Por outra banda, ECFL propón que o modelo federado sexa un comité, de xeito que estea composto de múltiples modelos locais independentes, un por cliente. Isto permite levar a cabo o adestramento federado sen restricións sobre o tipo de algoritmo de aprendizaxe a empregar, o que lle outorga á nosa proposta certa vantaxe en canto a simplicidade, flexibilidade e robustez. ECFL tamén está deseñada para aprender ao longo do tempo. Ademais, ao longo da tese avaliamos as nosas propostas teóricas en distintos casos de uso, incluíndo o recoñecemento da actividade humana en smartphones e a asistencia a usuarios en cadeiras de rodas robóticas.