Search

This paper proposes a real-time winter road surface condition (RSC) monitoring solution that automatically generates descriptive RSC information in terms of snow and ice coverage by using images from fixed traffic and weather cameras. Several state-of-the-art pre-trained deep neural networks are customized and fine-tuned to address a specific domain, classifying the amount of snow coverage on a road surface. A thorough evaluation is conducted to identify and select the best model. This evaluation uses an extensive set of experiments to test the accuracy and generalization of each model and uses transfer-learning to fine-tune each of the pre-trained models on independent images from different traffic and weather cameras. The transferability of each model, relationship between model performance and data size, and the system settings of each model are then examined. Lastly, three online weight calibration methods are proposed to automatically update the model in new environments. The result shows that re-training the model using images from a mixed set of cameras has the most promising results. Key words: road surface condition, realtime recognition, deep learning, convolutional neural network. Dans ce document, on propose une solution de surveillance en temps reel de l'etat de la surface de roulement (ESR) en hiver qui genere automatiquement des informations descriptives de l'ESR en matiere de couverture de neige et glace en utilisant des images de cameras fixes de circulation et meteo. Plusieurs reseaux de neurones profonds preentraines de pointe sont adaptes et peaufines pour traiter un domaine specifique, soit celui de classifier la quantite de couverture de neige sur une surface de roulement. Une evaluation approfondie est effectuee afin de determiner et de choisir le meilleur modele. Cette evaluation utilise un vaste ensemble d'experiences pour verifier la precision et la generalisation de chaque modele et utilise l'apprentissage par transfert pour peaufiner chacun des modeles pre-entraines sur des images independantes provenant de differentes cameras de circulation et meteo. La transferabilite de chaque modele, la relation entre la performance du modele et la taille des donnees ainsi que les parametres du systeme de chaque modele sont ensuite examines. Enfin, trois methodes de calibration de poids en ligne sont proposees pour mettre a jour automatiquement le modele dans de nouveaux environnements. Le resultat montre que le reentrainement du modele a l'aide d'images provenant d'un ensemble de cameras fournit les resultats les plus prometteurs. [Traduit par la Redaction] Mots-cles: etat de la surface de roulement, reconnaissance en temps reel, apprentissage profond, reseau neuronal convolutif., 1. Introduction In countries with severe winter seasons such as Canada, road surface conditions (RSC) on highways during snow events could vary remarkably from location to location and over time. [...]