une technologie exclusive

DE L’IMPORTANCE DE LA TOPOLOGIE

Ces dernières années, de nombreux algorithmes ‘state of the art’ n’ont pas été basés sur une topologie classique de réseau de neurones densément connectés en ‘feed forward’ mais sont le résultat de travaux de recherche qui ont produit des architectures de réseau (topologies) adaptées au problème.

On peut l’observer notamment dans des modèles de deep network tels que ResNet, Inception Network ou encore Residual Network : chacun d’entre eux présente une topologie innovante qui permis des résultats ‘state of the art’.

Bien que ces modèles puissent avoir le même nombre de paramètres que les convolutional networks (CNN) explorés il y a quelques années, c’est la manière innovante dont les couches (layers) se connectent qui donne à ces modèles toute leur force.

VERS DES INTELLIGENCES ARTIFICIELLES GÉNÉRÉES PAR DES IA

Trouver ces nouveaux modèles/topologies est en ce moment même un domaine extrêmement actif de la recherche.

Par le passé, celle-ci a été principalement faite manuellement en modifiant les réseaux lentement par essais et erreurs. Mais récemment, la recherche s’est concentrée sur l’exploration de méthodes pour trouver ces topologies de manière automatique.

Ces deux dernières années particulièrement, beaucoup d’amélioration de modèles et de résultats ‘state of the art’ ont été obtenus par des recherches automatisées de méta-paramètres et de topologies, par ex. Uber en deep-neuroevolution et Waymo en Population Based Training.

Il est probable que les futures avancées dans le domaine soient le résultat de réseaux de neurones crées par une IA et des algorithmes de recherche.

RAISE : LA DEEP-NEUROEVOLUTION APPLIQUÉE

RAISE est un framework de recherche de topologies sans contraintes basé sur DXNN, une méthode neuroévolutive décrite par le Dr Sher. Le système peut partir d’une simple layer pour construire un réseau adapté à un problème spécifique, mais il peut aussi partir d’un modèle ‘state of the art’ et l’améliorer.

Un algorithme de deep-neuroévolution optimise un réseau de neurones par une méthode évolutionniste : les caractéristiques du réseau (ses poids et sa topologie) forment son génotype qui va être utilisé pour générer une population de nouveaux réseaux de neurones dont les génotypes seront plus ou moins différents. Seuls les modèles les plus performants seront conservés pour créer la génération suivante.

L’une des caractéristiques fortes de la deep-neuroévolution est que les modèles générés ne sont plus limités à des structures rigides de modèles ; au lieu de cela, nous pouvons faire évoluer toute topologie, avec n’importe quel type de couches, qui seront connectées de la manière qui convient le mieux au domaine de problème traité.

RAISE utilise une recherche topologique optimisée mais sans contrainte. Il n’y a aucune contrainte sur la topologie qui peut être générée, ce qui élargit le domaines des cas d’usage que nous pouvons résoudre et le niveau de performance que nous pouvons atteindre.

book_gene_sher2
Gene SHER - Handbook of Neuroevolution Through Erlang
illustration virtuelle d'un reseau de neurone biologique lumineux

les avantages de RAISE

  • À la différence d’autres approches, RAISE n’est pas limité par des topologies ou des structures prédéfinies, il peut donc effectuer des recherches dans un espace de solutions plus larges et aboutir à des modèles impossibles sous d’autres frameworks.

 

  • RAISE utilise en même temps la descente de gradient pour un optimum ‘local’ et la méthode neuroévolutive pour optimiser la topologie.

 

  • Pour finir, RAISE peut aussi chercher à réduire la taille du réseau pour des gains de rapidité d’éxécution sans sacrifier la performance. Nos réseaux profonds sont généralement de la plus petite taille possible ce qui les rend aptes à tourner sur des systèmes embarqués, voire de l’IOT.
RAISE by Datavaloris logo