Search

International audience; L’objectif du présent article est de montrer dans le cas spécifique du monteur son et de la relation du son à l’image combien la situation de recherche des sons d’un film, et les intentionnalités sui generis, modifient la perception, l’interprétation et le sens même des sons.

This thesis investigates new signal representations for audio coding. Existing state-of-the-art audio coders are based either on a transform (transform coding), or on a parametric model (parametric coding), or on a combination of both (hybrid coding). On the one hand, transform coding achieves (near-)transparent quality at high bitrates (e.g. AAC at 64kbps/channel), but gives poor performance at lower bitrates. On the other hand, parametric and hybrid coding achieve better performance than transform coding at low bitrates but cannot give transparent quality at high bitrates. The new approach for signal representation that we propose allows to achieve transparent quality at high bitrates, while giving better performance than transform coding at low bitrates. This signal representation is based on an overcomplete set of time-frequency functions composed by a union of several MDCT bases with different scales. The first major contribution of this thesis is a fast and efficient algorithm that decomposes a signal into this overcomplete set of functions. The second major contribution of this thesis is a set of techniques that allows the coding of these representations in an efficient and scalable way. Finally, this thesis investigates the application to audio indexing. We show that using a union of several MDCT bases allows to go beyond the limitations of the representations used in the transform coders (particularly the frequency resolution), which makes possible an efficient indexing in the transform domain., Cette thèse étudie de nouvelles techniques de représentation du signal pour le codage audio. Les codeurs audio existants sont basés soit sur une transformée (codage par transformée), soit sur un modèle paramétrique (codage paramétrique), soit sur une combinaison des deux (codage hybride). D'une part, le codage par transformée permet une qualité transparente à haut débit (ex. AAC à 64 kbps/canal), mais obtient de mauvaises performances à bas débit. D'autre part, le codage paramétrique et le codage hybride obtiennent de meilleures performances que le codage par transformée à haut débit mais ne permettent pas une qualité transparente à haut débit. La nouvelle approche de représentation du signal que nous proposons permet d'obtenir une qualité transparente à haut débit et de meilleures performances que le codage par transformée à bas débit. Cette représentation du signal est basée sur un ensemble redondant de fonctions temps-fréquence composée d'une union de plusieurs bases MDCT à différentes échelles. La première contribution majeure de cette thèse est un algorithme à la fois rapide et performant qui décompose un signal dans cette ensemble redondant de fonctions. La deuxième contribution majeure de cette thèse est un ensemble de techniques qui permettent un codage de ces représentations à la fois performant et progressif. Finalement, cette thèse étudie l'application à l'indexation audio. Nous montrons que l'utilisation d'une union de plusieurs MDCT permet de dépasser les limitations des représentations utilisées dans les codeurs par transformée (en particulier la résolution fréquentielle), ce qui rend ainsi possible une indexation dans le domaine transformée performant.

This thesis establishes links between the fields of audio indexing and video sequence analysis, through the problem of drum signal analysis. In a first part, the problem of drum track transcription from polyphonic music signals is addressed. After having presented several pre-processings for drum track enhancement, and a large set of relevant features, a statistical machine learning approach to drum track transcription is proposed. Novel supervised and unsupervised sequence modeling methods are also introduced to enhance the detection of drum strokes by taking into account the regularity of drum patterns. We conclude this part by evaluating various drum track separation algorithms and by underlining the duality between transcription and source separation. In a second part, we extend this transcription system by taking into account the video information brought by cameras filming the drummer. Various approaches are introduced to segment the scene and map each region of interest to a drum instrument. Motion intensity features are then used to detect drum strokes. Our results show that a multimodal approach is capable of resolving some ambiguities inherent to audio-only transcription. In the final part, we extend our work to a broader range of music videos, which may not show the musicians. We particularly address the problem of understanding how a piece of music can be illustrated by images. After having presented or introduced new segmentation techniques for audio and video streams, we define synchrony measures on their structures. These measures can be used for both retrieval applications (music retrieval by video) or content classification., Cette thèse tisse des liens entre les domaines de l'indexation audio et de l'analyse de séquences d'images, à travers le problème de l'analyse de l'accompagnement rythmique des signaux de musique. Nous étudions d'abord le problème de la transcription de la piste de batterie d'enregistrements musicaux à partir de la modalité audio seule. Après avoir présenté des pré-traitements permettant d'accentuer cette piste, nous utilisons des techniques d'apprentissage statistique sur une large gamme d'attributs pour réaliser la transcription. Nous introduisons également des approches supervisées et non supervisées pour améliorer la reconnaissance en exploitant la régularité des motifs rythmiques. Nous incorporons ensuite à ce système de transcription l'information visuelle provenant de caméras filmant le batteur. Différentes approches sont présentées pour détecter la position des éléments de la batterie dans la scène et pour associer les régions extraites à des catégories sonores. Des descripteurs d'intensité de mouvement sont ensuite utilisés pour la détection des frappes. Les résultats démontrent la capacité d'une approche multimodale à résoudre certaines des ambiguïtés propres à la transcription audio. Nous étendons enfin nos travaux aux clips vidéos, en tentant de mesurer de quelle manière la musique peut être illustrée par des images. Après avoir présenté ou introduit de nouvelles méthodes de structuration automatique des flux audio et vidéo à différents niveaux, nous définissons des mesures de synchronie sur les structures obtenues. Ces mesures, qui s'avèrent dépendantes du type de document musical, permettent des applications de recherche de musique par l'image.

cote interne IRCAM: Vinet05d; National audience; L’objet de cette communication est de proposer une synthèse des applications musicales du traitement de signal, des problématiques de recherche qui leur sont liées et des directions prospectives qui se dégagent sur la base de travaux récents dans ce domaine. Après l’exposé de notions préliminaires, relatives au système technique musical et à l’analyse des différentes représentations numériques des informations musicales, cette synthèse se concentre sur trois types de fonctions principales : la synthèse et le traitement des sons musicaux, la spatialisation sonore et les technologies d’indexation et d’accès. Abstract –This communication aims at providing a synthesis of the musical applications of digital signal processing, of related research issues, and of future directions that emerge from recent works in that field. After introducing preliminary notions related to the music technical system and to the analysis of different types of digital representations of music information, it focuses on three main function types : audio synthesis and processing, sound spatialization and audio indexing and access technologies.

Le projet européen SemanticHIFI vise la préfiguration des chaînes hi-fi de demain, proposant aux mélomanes des fonctions inédites de gestion et de manipulation par le contenu des enregistrements musicaux. Les limites des équipements existants sont liées à celles des formats de diffusion de la musique qui, se présentant depuis plusieurs décennies sous la forme de signaux d’enregistrements stéréophoniques, n’autorisent que des modes de manipulation élémentaires. L’extension des supports d’information musicale à des représentations plus riches, issues soit directement de processus de production renouvelés ou d’outils d’indexation personnalisés, rend possible la réalisation de fonctions innovantes : classification personnalisée, navigation par le contenu, spatialisation sonore, composition, partage sur les réseaux préservant les droits liés aux oeuvres, etc. Ces fonctions sont le résultat d’activités de recherche menées dans le cadre du projet et se situant à la pointe de plusieurs disciplines : analyse et traitement des signaux audionumériques, ingénierie des connaissances musicales, interfaces homme-machine, architectures de réseaux distribuées. Le projet prévoit également une phase d’intégration, visant la réalisation de prototypes d’application, permettant de valider l’ensemble de ces fonctions dans un environnement technique unifié et compatible avec les contraintes du marché de l’électronique grand public. L’auteur propose une vue d’ensemble du projet, dont il assure la direction., The SemanticHIFI European project aims at designing and prototyping tomorrow's home audio systems, which will provide music lovers with innovative functions of access and manipulation of musical content. The limitations of current equipment are mainly related to those of the music distribution media (audio recordings in stereo format), with poor control features and interfaces. Enabling the manipulation of richer media and related metadata (either distributed with the audio recordings or computed by the user through dedicated indexing tools) opens a wide range of new functionalities: personal indexing and classification of music titles, content-based browsing in personal catalogues, browsing within titles with automatic segmentation and demixing tools, 3D audio rendering and assisted mixing features, etc. These functions are the result of research activities undertaken at the intersection of several disciplines: analysis and digital audio signal processing, engineering of musical knowledge, man-machine interfaces, architecture of distributed networks. The project also plans an integration phase, which aims at realizing application prototypes, which will aim at verifying all of its functions in a unified technical environment which is compatible with the constrains of the household electronics market. The author offers a description of this project.