Search

This thesis investigates new signal representations for audio coding. Existing state-of-the-art audio coders are based either on a transform (transform coding), or on a parametric model (parametric coding), or on a combination of both (hybrid coding). On the one hand, transform coding achieves (near-)transparent quality at high bitrates (e.g. AAC at 64kbps/channel), but gives poor performance at lower bitrates. On the other hand, parametric and hybrid coding achieve better performance than transform coding at low bitrates but cannot give transparent quality at high bitrates. The new approach for signal representation that we propose allows to achieve transparent quality at high bitrates, while giving better performance than transform coding at low bitrates. This signal representation is based on an overcomplete set of time-frequency functions composed by a union of several MDCT bases with different scales. The first major contribution of this thesis is a fast and efficient algorithm that decomposes a signal into this overcomplete set of functions. The second major contribution of this thesis is a set of techniques that allows the coding of these representations in an efficient and scalable way. Finally, this thesis investigates the application to audio indexing. We show that using a union of several MDCT bases allows to go beyond the limitations of the representations used in the transform coders (particularly the frequency resolution), which makes possible an efficient indexing in the transform domain., Cette thèse étudie de nouvelles techniques de représentation du signal pour le codage audio. Les codeurs audio existants sont basés soit sur une transformée (codage par transformée), soit sur un modèle paramétrique (codage paramétrique), soit sur une combinaison des deux (codage hybride). D'une part, le codage par transformée permet une qualité transparente à haut débit (ex. AAC à 64 kbps/canal), mais obtient de mauvaises performances à bas débit. D'autre part, le codage paramétrique et le codage hybride obtiennent de meilleures performances que le codage par transformée à haut débit mais ne permettent pas une qualité transparente à haut débit. La nouvelle approche de représentation du signal que nous proposons permet d'obtenir une qualité transparente à haut débit et de meilleures performances que le codage par transformée à bas débit. Cette représentation du signal est basée sur un ensemble redondant de fonctions temps-fréquence composée d'une union de plusieurs bases MDCT à différentes échelles. La première contribution majeure de cette thèse est un algorithme à la fois rapide et performant qui décompose un signal dans cette ensemble redondant de fonctions. La deuxième contribution majeure de cette thèse est un ensemble de techniques qui permettent un codage de ces représentations à la fois performant et progressif. Finalement, cette thèse étudie l'application à l'indexation audio. Nous montrons que l'utilisation d'une union de plusieurs MDCT permet de dépasser les limitations des représentations utilisées dans les codeurs par transformée (en particulier la résolution fréquentielle), ce qui rend ainsi possible une indexation dans le domaine transformée performant.

cote interne IRCAM: Vinet05d; National audience; L’objet de cette communication est de proposer une synthèse des applications musicales du traitement de signal, des problématiques de recherche qui leur sont liées et des directions prospectives qui se dégagent sur la base de travaux récents dans ce domaine. Après l’exposé de notions préliminaires, relatives au système technique musical et à l’analyse des différentes représentations numériques des informations musicales, cette synthèse se concentre sur trois types de fonctions principales : la synthèse et le traitement des sons musicaux, la spatialisation sonore et les technologies d’indexation et d’accès. Abstract –This communication aims at providing a synthesis of the musical applications of digital signal processing, of related research issues, and of future directions that emerge from recent works in that field. After introducing preliminary notions related to the music technical system and to the analysis of different types of digital representations of music information, it focuses on three main function types : audio synthesis and processing, sound spatialization and audio indexing and access technologies.

Le projet européen SemanticHIFI vise la préfiguration des chaînes hi-fi de demain, proposant aux mélomanes des fonctions inédites de gestion et de manipulation par le contenu des enregistrements musicaux. Les limites des équipements existants sont liées à celles des formats de diffusion de la musique qui, se présentant depuis plusieurs décennies sous la forme de signaux d’enregistrements stéréophoniques, n’autorisent que des modes de manipulation élémentaires. L’extension des supports d’information musicale à des représentations plus riches, issues soit directement de processus de production renouvelés ou d’outils d’indexation personnalisés, rend possible la réalisation de fonctions innovantes : classification personnalisée, navigation par le contenu, spatialisation sonore, composition, partage sur les réseaux préservant les droits liés aux oeuvres, etc. Ces fonctions sont le résultat d’activités de recherche menées dans le cadre du projet et se situant à la pointe de plusieurs disciplines : analyse et traitement des signaux audionumériques, ingénierie des connaissances musicales, interfaces homme-machine, architectures de réseaux distribuées. Le projet prévoit également une phase d’intégration, visant la réalisation de prototypes d’application, permettant de valider l’ensemble de ces fonctions dans un environnement technique unifié et compatible avec les contraintes du marché de l’électronique grand public. L’auteur propose une vue d’ensemble du projet, dont il assure la direction., The SemanticHIFI European project aims at designing and prototyping tomorrow's home audio systems, which will provide music lovers with innovative functions of access and manipulation of musical content. The limitations of current equipment are mainly related to those of the music distribution media (audio recordings in stereo format), with poor control features and interfaces. Enabling the manipulation of richer media and related metadata (either distributed with the audio recordings or computed by the user through dedicated indexing tools) opens a wide range of new functionalities: personal indexing and classification of music titles, content-based browsing in personal catalogues, browsing within titles with automatic segmentation and demixing tools, 3D audio rendering and assisted mixing features, etc. These functions are the result of research activities undertaken at the intersection of several disciplines: analysis and digital audio signal processing, engineering of musical knowledge, man-machine interfaces, architecture of distributed networks. The project also plans an integration phase, which aims at realizing application prototypes, which will aim at verifying all of its functions in a unified technical environment which is compatible with the constrains of the household electronics market. The author offers a description of this project.