Search

International audience; L’objectif du présent article est de montrer dans le cas spécifique du monteur son et de la relation du son à l’image combien la situation de recherche des sons d’un film, et les intentionnalités sui generis, modifient la perception, l’interprétation et le sens même des sons.

The expansion of the radio and the development of new standards enrich the diversity and the amount of data carried by the broadcast radio waves. It becomes wise to develop a search engine that has the capacity to make these accessible as do the search engines on the internet like Google. Such an engine can offer many possibilities. In that vein, the SurfOnHertz project, which was launched in 2010 and ended in 2013, aimed to develop a browser that is capable of indexing audio streams of all radio stations. This indexing would result, among others, in the detection of keywords in the audio streams, the detection of commercials, the classification of musical genres. The browser once developed would become the first search engine of its kind to address the broadcast content. Taking up such a challenge requires to have a device to capture all the stations being broadcasted in the geographical area concerned, demodulate them and transmit the audio contents to the indexing engine. Thus, the work of this thesis aim to provide digital architectures carried on a SDR platform for extracting, demodulating, and making available the audio content of each broadcast stations in the geographic area of the receiver. Before the large number of radio standards which exist today, the thesis focuses FM and DRM30 standards. However the proposed methodologies are extensible to other standards. The bulk of the work is FPGA-based. The choice of this type of component is justified by the great opportunities it offers in terms of parallelism of treatments, mastery of available resources, and embeddability. The development of algorithms was done for the sake of minimizing the amount of the used calculations blocks. Moreover, many implementations have been performed on a Stratix II technology which has limited resources compared to those of the FPGAs available today on the market. This attests to the viability of the presented algorithms. The proposed algorithms thus operate simultaneous extraction of all radio channels when the stations can only occupy uniformly spaced locations like FM in Western Europe, and also for standards of which the distribution of stations in the spectrum seems rather random as the DRM30. Another part of the discussion focuses on the means of simultaneously demodulating it.; L'expansion de la radio et le développement de nouveaux standards enrichissent la diversité et la quantité de données contenues sur les ondes de radiodiffusion. Il devient alors judicieux de développer un moteur de recherches qui aurait la capacité de rendre toutes ces données accessibles comme le font les moteurs de recherche sur internet à l'image de Google. Les possibilités offertes par un tel moteur s'il existe sont nombreuses. Ainsi, le projet SurfOnHertz, qui a été lancé en 2010 et s'est terminé en 2013, avait pour but de mettre au point un navigateur qui serait capable d'indexer les flux audios de toutes les stations radios. Cette indexation se traduirait, entre autres, par de la détection de mots clés dans les flux audios, la détection de publicités, la classification de genres musicaux. Le navigateur une fois mis au point deviendrait le premier moteur de recherches de genre à traiter les contenus radiodiffusés. Relever un tel challenge nécessite d'avoir un dispositif pour capter toutes les stations en cours de diffusion dans la zone géographique concernée, les démoduler et transmettre les contenus audios à un moteur d'indexation. Ainsi, les travaux de cette thèse visent à proposer des architectures numériques portées sur une plateforme SDR pour extraire, démoduler, et mettre à disposition le contenu audio de chacune des stations diffusées dans la zone géographique du récepteur. Vu le grand nombre de standards radio existants aujourd'hui, la thèse porte principalement les standards FM et DRM30. Cependant les méthodologies proposées sont extensibles à d'autres standards.C'est à base d'un FPGA que la majeure partie des travaux a été menée. Le choix de ce type de comcomposant est justifié de par les grandes possibilités qu’il offre en termes de parallélisme de traitements, de maitrise de ressources disponibles, et d’embarquabilité. Le développement des algorithmes a été fait dans un souci de minimisation de la quantité de blocs de calculs utilisés. D’ailleurs, bon nombre d’implémentations ont été réalisées sur un Stratix II, technologie aux ressources limitées par rapport aux FPGAs d’aujourd’hui disponibles sur le marché. Cela atteste la viabilité des algorithmes présentés. Les algorithmes proposés opèrent ainsi l’extraction simultanée de tous les canaux radios lorsque les stations ne peuvent occuper que des emplacements uniformément espacés comme la FM en Europe occidentale, et aussi, pour des standards dont la répartition des stations dans le spectre semble plutôt aléatoire comme le DRM30. Une autre partie des discussions porte sur le moyen de les démoduler simultanément.

Emotion recognition in music is an industrial and academic challenge. In the age of multimedia content explosion, we mean to design structured sets of terms, concepts and metadata facilitating access to organized knowledge. Here is our research question : can we have an a priori knowledge of emotion that could be elicited afterwards ? In other words, to what extent can we record emotions felt while listening to music, so as to turn them into metadata ? Can we create an algorithm enabling us to detect how emotions are released ? Are we likely to guess ad then elicit the emotion an individual will feel before listening to a particular song ? Can we formalize emotions to save, record and share them ? We are giving an overview of existing research, and tackling intrinsic epistemological issues related to emotion existing, recording and sharing out. Through a psychological, physiological ad philosophical approach, we are setting a theoretical framework, composed of five demonstrations which assert we cannot measure emotions in order to elicit them. Then, a practical approach will help us to understand the indexing process proposed in academic and industrial research environments. Through the analysis of quantitative and qualitative surveys, we are defining the production of an algorithm, enabling us to recommend musical works considering emotion.; La reconnaissance des émotions dans la musique est un challenge industriel et académique. À l’heure de l’explosion des contenus multimédias, il nous importe de concevoir des ensembles structurés de termes, concepts et métadonnées facilitant l’organisation et l’accès aux connaissances. Notre problématique est la suivante : est-Il possible d'avoir une connaissance a priori de l'émotion en vue de son élicitation ? Autrement dit, dans quelles mesures est-Il possible d'inscrire les émotions ressenties à l'écoute d'une oeuvre musicale dans un régime de métadonnées et de bâtir une structure formelle algorithmique permettant d'isoler le mécanisme déclencheur des émotions ? Est-Il possible de connaître l'émotion que l'on ressentira à l'écoute d'une chanson, avant de l'écouter ? Suite à l'écoute, son élicitation est-Elle possible ? Est-Il possible de formaliser une émotion dans le but de la sauvegarder et de la partager ? Nous proposons un aperçu de l'existant et du contexte applicatif ainsi qu'une réflexion sur les enjeux épistémologiques intrinsèques et liés à l'indexation même de l'émotion : à travers lune démarche psychologique, physiologique et philosophique, nous proposerons un cadre conceptuel de cinq démonstrations faisant état de l'impossible mesure de l'émotion, en vue de son élicitation. Une fois dit à travers notre cadre théorique qu'il est formellement impossible d'indexer les émotions, il nous incombe de comprendre la mécanique d'indexation cependant proposée par les industriels et académiques. Nous proposons, via l'analyse d'enquêtes quantitatives et qualitatives, la production d'un algorithme effectuant des préconisationsd'écoute d’œuvres musicales.

This thesis investigates new signal representations for audio coding. Existing state-of-the-art audio coders are based either on a transform (transform coding), or on a parametric model (parametric coding), or on a combination of both (hybrid coding). On the one hand, transform coding achieves (near-)transparent quality at high bitrates (e.g. AAC at 64kbps/channel), but gives poor performance at lower bitrates. On the other hand, parametric and hybrid coding achieve better performance than transform coding at low bitrates but cannot give transparent quality at high bitrates. The new approach for signal representation that we propose allows to achieve transparent quality at high bitrates, while giving better performance than transform coding at low bitrates. This signal representation is based on an overcomplete set of time-frequency functions composed by a union of several MDCT bases with different scales. The first major contribution of this thesis is a fast and efficient algorithm that decomposes a signal into this overcomplete set of functions. The second major contribution of this thesis is a set of techniques that allows the coding of these representations in an efficient and scalable way. Finally, this thesis investigates the application to audio indexing. We show that using a union of several MDCT bases allows to go beyond the limitations of the representations used in the transform coders (particularly the frequency resolution), which makes possible an efficient indexing in the transform domain., Cette thèse étudie de nouvelles techniques de représentation du signal pour le codage audio. Les codeurs audio existants sont basés soit sur une transformée (codage par transformée), soit sur un modèle paramétrique (codage paramétrique), soit sur une combinaison des deux (codage hybride). D'une part, le codage par transformée permet une qualité transparente à haut débit (ex. AAC à 64 kbps/canal), mais obtient de mauvaises performances à bas débit. D'autre part, le codage paramétrique et le codage hybride obtiennent de meilleures performances que le codage par transformée à haut débit mais ne permettent pas une qualité transparente à haut débit. La nouvelle approche de représentation du signal que nous proposons permet d'obtenir une qualité transparente à haut débit et de meilleures performances que le codage par transformée à bas débit. Cette représentation du signal est basée sur un ensemble redondant de fonctions temps-fréquence composée d'une union de plusieurs bases MDCT à différentes échelles. La première contribution majeure de cette thèse est un algorithme à la fois rapide et performant qui décompose un signal dans cette ensemble redondant de fonctions. La deuxième contribution majeure de cette thèse est un ensemble de techniques qui permettent un codage de ces représentations à la fois performant et progressif. Finalement, cette thèse étudie l'application à l'indexation audio. Nous montrons que l'utilisation d'une union de plusieurs MDCT permet de dépasser les limitations des représentations utilisées dans les codeurs par transformée (en particulier la résolution fréquentielle), ce qui rend ainsi possible une indexation dans le domaine transformée performant.

This thesis establishes links between the fields of audio indexing and video sequence analysis, through the problem of drum signal analysis. In a first part, the problem of drum track transcription from polyphonic music signals is addressed. After having presented several pre-processings for drum track enhancement, and a large set of relevant features, a statistical machine learning approach to drum track transcription is proposed. Novel supervised and unsupervised sequence modeling methods are also introduced to enhance the detection of drum strokes by taking into account the regularity of drum patterns. We conclude this part by evaluating various drum track separation algorithms and by underlining the duality between transcription and source separation. In a second part, we extend this transcription system by taking into account the video information brought by cameras filming the drummer. Various approaches are introduced to segment the scene and map each region of interest to a drum instrument. Motion intensity features are then used to detect drum strokes. Our results show that a multimodal approach is capable of resolving some ambiguities inherent to audio-only transcription. In the final part, we extend our work to a broader range of music videos, which may not show the musicians. We particularly address the problem of understanding how a piece of music can be illustrated by images. After having presented or introduced new segmentation techniques for audio and video streams, we define synchrony measures on their structures. These measures can be used for both retrieval applications (music retrieval by video) or content classification., Cette thèse tisse des liens entre les domaines de l'indexation audio et de l'analyse de séquences d'images, à travers le problème de l'analyse de l'accompagnement rythmique des signaux de musique. Nous étudions d'abord le problème de la transcription de la piste de batterie d'enregistrements musicaux à partir de la modalité audio seule. Après avoir présenté des pré-traitements permettant d'accentuer cette piste, nous utilisons des techniques d'apprentissage statistique sur une large gamme d'attributs pour réaliser la transcription. Nous introduisons également des approches supervisées et non supervisées pour améliorer la reconnaissance en exploitant la régularité des motifs rythmiques. Nous incorporons ensuite à ce système de transcription l'information visuelle provenant de caméras filmant le batteur. Différentes approches sont présentées pour détecter la position des éléments de la batterie dans la scène et pour associer les régions extraites à des catégories sonores. Des descripteurs d'intensité de mouvement sont ensuite utilisés pour la détection des frappes. Les résultats démontrent la capacité d'une approche multimodale à résoudre certaines des ambiguïtés propres à la transcription audio. Nous étendons enfin nos travaux aux clips vidéos, en tentant de mesurer de quelle manière la musique peut être illustrée par des images. Après avoir présenté ou introduit de nouvelles méthodes de structuration automatique des flux audio et vidéo à différents niveaux, nous définissons des mesures de synchronie sur les structures obtenues. Ces mesures, qui s'avèrent dépendantes du type de document musical, permettent des applications de recherche de musique par l'image.

cote interne IRCAM: Vinet05d; National audience; L’objet de cette communication est de proposer une synthèse des applications musicales du traitement de signal, des problématiques de recherche qui leur sont liées et des directions prospectives qui se dégagent sur la base de travaux récents dans ce domaine. Après l’exposé de notions préliminaires, relatives au système technique musical et à l’analyse des différentes représentations numériques des informations musicales, cette synthèse se concentre sur trois types de fonctions principales : la synthèse et le traitement des sons musicaux, la spatialisation sonore et les technologies d’indexation et d’accès. Abstract –This communication aims at providing a synthesis of the musical applications of digital signal processing, of related research issues, and of future directions that emerge from recent works in that field. After introducing preliminary notions related to the music technical system and to the analysis of different types of digital representations of music information, it focuses on three main function types : audio synthesis and processing, sound spatialization and audio indexing and access technologies.

Le projet européen SemanticHIFI vise la préfiguration des chaînes hi-fi de demain, proposant aux mélomanes des fonctions inédites de gestion et de manipulation par le contenu des enregistrements musicaux. Les limites des équipements existants sont liées à celles des formats de diffusion de la musique qui, se présentant depuis plusieurs décennies sous la forme de signaux d’enregistrements stéréophoniques, n’autorisent que des modes de manipulation élémentaires. L’extension des supports d’information musicale à des représentations plus riches, issues soit directement de processus de production renouvelés ou d’outils d’indexation personnalisés, rend possible la réalisation de fonctions innovantes : classification personnalisée, navigation par le contenu, spatialisation sonore, composition, partage sur les réseaux préservant les droits liés aux oeuvres, etc. Ces fonctions sont le résultat d’activités de recherche menées dans le cadre du projet et se situant à la pointe de plusieurs disciplines : analyse et traitement des signaux audionumériques, ingénierie des connaissances musicales, interfaces homme-machine, architectures de réseaux distribuées. Le projet prévoit également une phase d’intégration, visant la réalisation de prototypes d’application, permettant de valider l’ensemble de ces fonctions dans un environnement technique unifié et compatible avec les contraintes du marché de l’électronique grand public. L’auteur propose une vue d’ensemble du projet, dont il assure la direction., The SemanticHIFI European project aims at designing and prototyping tomorrow's home audio systems, which will provide music lovers with innovative functions of access and manipulation of musical content. The limitations of current equipment are mainly related to those of the music distribution media (audio recordings in stereo format), with poor control features and interfaces. Enabling the manipulation of richer media and related metadata (either distributed with the audio recordings or computed by the user through dedicated indexing tools) opens a wide range of new functionalities: personal indexing and classification of music titles, content-based browsing in personal catalogues, browsing within titles with automatic segmentation and demixing tools, 3D audio rendering and assisted mixing features, etc. These functions are the result of research activities undertaken at the intersection of several disciplines: analysis and digital audio signal processing, engineering of musical knowledge, man-machine interfaces, architecture of distributed networks. The project also plans an integration phase, which aims at realizing application prototypes, which will aim at verifying all of its functions in a unified technical environment which is compatible with the constrains of the household electronics market. The author offers a description of this project.

Colloque sur invitation. internationale.; International audience; This paper presents an overview of audio-indexing which has emerged very recently as a research topic with the development of Internet. A lot of data, including audio data, are currently not indexed by web search engines, and audio indexing consists in finding good descriptors of audio documents which can be used as indexes for archiving and search. We discuss speech/music segmentation, language identification, speaker tracking and speaker indexing, and propose some research directions for other audio descriptors which have not been used in the framework of audio indexing, namely key sounds detection, keywords detection, and themes detection. We finally conclude this overview and give a few promising and key perspectives.