Search

Denne masteravhandlingen undersøker hvordan den nye læreplanen, LK20, med dets mål om dybdelæring, kan realiseres i klasserommet. Den undersøker også hvorvidt målet om dybdelæring i LK20 videre kan bidra til å realisere den overordnede delen av læreplanens mål om danning. Derfor beskjeftiger oppgaven seg samtidig med identitetsutvikling, siden det kan være en forutsetning for danning. Oppgaven retter seg mot vg1 studieforberedende, siden læreplanen er implementert på dette trinnet. Problemstillingen i oppgaven er: Hvordan fremme identitetsutvikling og danning gjennom en dybdelæringsprosess? Gjennom forskningsspørsmål myntet på lærere, finner jeg i oppgaven ut hva norsklærere anser for å være danning, hvordan man kan gjennomføre dannende undervisning, og hva dybdelæring er for dem. Den andre kategorien av forskningsspørsmål er myntet på elever, der jeg får svar på hvordan elevene i utvalget utvikler sin identitet og danning, samt hvilke opplevelser de hadde av dybdelæringsprosessen. For å besvare problemstillingen og de tilhørende forskningsspørsmålene, har jeg triangulert ulike datamaterialer. Først gjennomførte jeg kvalitative intervjuer i semistrukturert form med to norsklærere ansatt i videregående skoler, som ble tatt opp med lydopptak og dernest transkribert. Deretter gjennomførte jeg 11 timer med norskundervisning i en vg1-klasse, som jeg etter undervisningen hadde fokusgruppeintervjuer med. Fokusgruppene besto av tre elever i hver gruppe, med et totalt utvalg på seks elever. Fokusgruppeintervjuene ble tatt opp med videoopptak og transkribert. Disse dataene ble triangulerte med mine egne feltnotater fra undervisningen og elevenes logger fra norskundervisningen. Gjennom datamaterialet, finner jeg at lærernes forståelse av danning i stor grad samsvarer med Klafki (2001) sin teori om kategorial danning. For å få til dybdelæring, peker de derimot på stofflige begrensninger, variasjon, undervisning på tvers av fag og at det er en tidkrevende prosess. Elevene har i løpet av de 11 norsktimene utviklet sine identiteter, samt sin danning ut fra Klafki (2001). Samtidig har elevene dybdelært fagstoffet fra undervisningen ved bruk av Nyhus og Talsethagen (2020) sin sirkelmodell for dybdelæringsprosesser. Derfor konkluderer jeg med at danning og dybdelæring kan gå hånd i hånd. Jeg ser det også slik at sirkelmodellen kan være en fruktbar didaktisk modell for å tilnærme seg dybdelæring i norskfaget. The purpose of this master thesis is to examine how the new curriculum for the Norwegian school system (LK20), which includes an objective of facilitating deep learning, can be implemented in classroom practices in the Norwegian subject. It also examines whether the objective of deep-learning can be seen as promoting Bildung. This paper will therefore also investigate identity formation of students, as it can be a prerequisite for Bildung. In the examination of these aspects of teaching, the focus is on first year upper secondary school students, as this is where the new curriculum (LK20) has been implemented. The thesis question of this paper is: “How can deep learning facilitate identity formation and Bildung?” Through the research questions, I examine how teachers in the Norwegian subject understand Bildung and how they work to achieve it in their classrooms. The teachers are also asked what they think deep learning is, and how they promote it through their classroom practices. The second group of research questions asks students how they develop their identity and Bildung, as well as how they experienced the process of deep learning. The data material for the first group of research questions, consists of qualitative interviews in a semi-structured form with two teachers. These were audio recorded and transcribed. The second group of research questions uses a classroom research design, in which I have been teaching a group of students in the Norwegian subject for the duration of 11 hours. Subsequently, six students from this group were interviewed in two separate focus groups, where the focus groups were videotaped and transcribed. The data material from the students were triangulated with field notes as well as logs written by students in the classroom. In my study, the teachers understanding of Bildung aligns to a great degree with the theory of Klafki (2001) on categorial Bildung. To achieve deep learning, the teachers point to limitations in the breadth of curricula, variation, interdisciplinary teaching and a time-consuming process. The students have developed their identities throughout the 11 hours of teaching, as well as their Bildung (Klafki, 2001), whilst deep learning with the use of a circular model, ‘sirkelmodellen’, for deep learning developed by Nyhus and Talsethagen (2020). The conclusion is that Bildung and deep-learning can be achieved at the same time, and that the circular model of Nyhus and Talsethagen (2020) can be a useful didactical model for working with deep learning in the Norwegian subject. Mastergradsoppgave i nordisk språk og litteratur NOLISP350 MAHF-LÆNO MAHF-NORD

A recurring challenge for speech enhancement (SE) systems, is that removing/reducing noise and reverberance does not necessarily increase the intelligibility or the quality of the speech for human listeners. Deep neural networks (DNNs) are promising models for speech enhancement systems due to their highly adaptive non-linear nature. While these models can be trained with standard deep learning (DL) techniques to perform a wide variety of tasks, their real-life performance is dependent on the predictive power of the evaluation tools that guide the development process of speech enhancement systems. This thesis focuses on evaluating the reliability of popular objective performance metrics of DNN-based speech enhancement systems. For this purpose, a variety of single channel and multichannel SE systems were developed and subjectively evaluated with listening tests. None of the tested metrics proved to be reliable indicators for subjective changes in performance. This lack of reliable indicators critically impedes progress within the field of speech enhancement systems for human listeners. Fulltext not available

En kobling mellom lydbøker og digitale e-bøker vil gjøre flere navigeringsmuligheter mulig, blant annet navigasjon i e-bøker ved tekstsøk og muligheten til sømløs bytting mellom bokformatene hvor tjenesten automatisk husker siste leseposisjon uavhengig av mediet. Det vil dessuten være mulig å tilby løsninger hvor brukeren leser og lytter på en bok samtidig. Spesialiseringsprosjektet «Automatisk synkronisering av tale og tekst i lydbøker» konkluderte med at tilgjengelige verktøy, som Montral Forced Aligner, kan generere tilstrekkelig nøyaktige koblinger mellom lydbøker og e-bøker for norsk bokmål. Dette fungerer så lenge segmentene som kobles sammen stemmer nøyaktig overens og ikke er for lange. Bøker kan deles inn i passende deler ved å bruke nøyaktige ankerpunkt. Ankerpunktene kan automatisk bestemmes ved å søke etter unike fraser i lydfilen, ved bruk av nøkkelordgjenkjenning. Nøkkelordgjenkjenning er realisert ved å ekstrahere «i-vector» egenskaper fra lydfilene, som blir brukt til å konstruere «lattice»-strukturer som inneholder de mest sannsynlige ordsekvensene i klippet, på samme måte som ved vanlig talegjenkjenning. Nøkkelfraser er deretter gjenkjent dersom de blir funnet med en tilstrekkelig sannsynlighet blant alternativene. Dekodingsgrafen er konstruert ved å kombinere kunnskap om uttalelse, grammatikk og akustikk ved bokmål. Denne avhandlingen undersøker om en slik strategi er fordelaktig. Strategien er lovende, men resultatene er utydelige siden systemet ikke er satt sammen feilfritt. A link between audiobooks and digital e-books makes numerous navigation options available, including navigation by searching in audiobooks and switching media platforms between audio and text seamlessly without needing to navigate manually. It will in addition enable solutions where audio and text are presented simultaneously. The specialization project “Automatic Synchronization of Text and Speech in Audiobooks” concluded that available algorithms, such as the Montreal Forced Aligner, can provide good quality time-alignments of Norwegian Bokmål speech and text. This is as long as the speech and text segments are exact matches and within a length limit. This issue can be solved by dividing audiobooks into suitable segments. To automatically find fitting segments and make the entire synchronization process automatic, precise anchor points can be found by searching the audio for unique phrases. This technique is called keyword search. The keyword search system is realised by extracting i-vector features from the audio, which are used to construct a lattice describing the most probable word sequences, in classical speech recognition fashion. Phrases are then spotted if they appear in the lattice with a probability above a set threshold. The decoding graph is constructed by combining knowledge of pronunciation, grammar, and acoustics of Norwegian Bokmål. This thesis investigates the proposed solution to discover if it is a viable strategy. The strategy is promising, but the results are unclear as the system is not managed to be assembled correctly.

Stemmekonvertering (VC) er prosessen med å endre en høyttalers ord til å se ut som om en annen person snakker dem. Talesignalet fra den første taleren, kjent som kildetaleren, skal beholde sitt språklige innhold i sin endelige konverterte form, kjent som den resulterende stemmen. Likevel bør den også endres maksimalt når det gjelder vokal klang, rekkevidde, bøyning og så videre for å matche stemmen til den andre høyttaleren, kjent som målhøyttaleren. Denne aktiviteten kan syntetisere stemmer på forskjellige måter, og den kan være en viktig komponent for å lage menneskelignende kunstige stemmer for roboter. Ved å bruke en form for et generativt adversarialt nettverk (GAN) kalt StarGANv2 opprinnelig utviklet av Yinghao Li et al.., gir dette prosjektet en tilnærming som tillater ikke-parallell mange til mange og stemmekonvertering på tvers av kjønn (VC). Modellen som brukes heter StarGANv2-VC. Det er unikt ved at det (1) ikke krever parallelle ytringer, transkripsjoner eller tidsmessige tilpasningsprosesser for talegeneratortrening, og (2) lærer mange-til-mange kartlegginger over flere attributtdomener ved å bruke et enkelt generatornettverk. Vår tilnærming overgår i stor grad tidligere VC-modeller ved å bruke en kombinasjon av kontradiktorisk kildeklassifiseringstap og perseptuellt tap. Dette paradigmet gjelder for et bredt spekter av talekonverteringsjobber, inkludert mange-til-mange, tverrspråklig og sangstemmekonvertering. Voice conversion (VC) is the process of altering one speaker's words to appear as though a different person is speaking them. The speech signal from the first speaker, known as the source speaker, should retain its linguistic content in its final converted form, known as the resulting voice. Still, it should also be maximally altered in terms of vocal timbre, range, inflection, and so on to match the voice of the second speaker, known as the target speaker. This activity can synthesize voices in various ways, and it could be a vital component in creating human-sounding artificial voices for robots. Using a form of a generative adversarial network (GAN) called StarGANv2 originally developed by Yinghao Li et al.., this project provides an approach that permits non-parallel many to many and cross-gender voice conversion (VC). The model used is called StarGANv2-VC. It is unique in that it (1) does not require parallel utterances, transcriptions, or temporal alignment processes for speech generator training, and (2) learns many-to-many mappings across several attribute domains using a single generator network. Our approach greatly outperforms earlier VC models using a combination of adversarial source classifier loss and perceptual loss. This paradigm applies to a wide range of speech conversion jobs, including many-to-many, cross-lingual, and singing voice conversion.

I denne oppgaven er muligheten for å bruke Non-autoregressive Predictive Coding (NPC) til å lære talerepresentasjoner undersøkt. NPC er en selv-overvåket dyp-læringsmetode som, i motsetning til andre vanlige selv-overvåkede metoder, ikke er autoregressiv og kan derfor bli trent raskere. Tre ulike NPC-modeller er trent. En engelsk, en norsk og en adapsjonsmodell trent til norsk med den engelske modellen som en basis. Undersøkelser av de lerte representasjonene viser at de er på et subfonemisk nivå og mange ulike vektorer brukes for å representere ulike stadier av et fonem. Ulike talere har noe overlapp i bruke represenasjoner for de samme fonemer, men de er ikke helt ulike. Testing av de lærte representasjonene med en fonemgjenkjenner viser at, i disse eksperimentene, NPC karakteristikkene ikke var i stand til å prestere bedre enn Mel Frequency Cepstral Coefficients (MFCC), hverken den engelske-, den norske- eller adapsjonsmodellen. Adapsjosmodellen klarte å prestere bedre enn den norske modellen og det kan bety at adapsjonstrening kan vere et nyttig hjelpemiddel for talerepresentasjoner i språk med små taledatabaser. In this thesis, the possibility of using Non-autoregressive Predictive Coding (NPC) for learning speech representations is investigated. NPC is a self-supervised deep learning method that, as opposed to other common self-supervised methods, is not autoregressive, and can therefore be trained faster. Three different NPC models are trained, one English, one Norwegian and one adaptation model trained into Norwegian with the English model as a basis. Examination of the learned representations shows that the representations are on a sub-phonemic level and many different vectors are used to represent different stages of one phoneme. Different speakers have some overlap in the representations used for the same phonemes, but it is not completely equal. Testing the learned representations with a phoneme recognizer shows that in these experiments the NPC features were not able to outperform Mel Frequency Cepstral Coefficients (MFCC), neither the English, the Norwegian, nor the adaptation model. The adaptation model was able to outperform the the Norwegian model and that can mean that adaptation training might be useful for speech representations in languages with small speech databases.

Noveldas ultrabredbåndsradar kan oppdage menneskelig tilstedeværelse ved å detektere svært små bevegelser, slik som pusting og hjerteslag. Denne radarteknologien har mange mulige bruksområder, og blir blant annet benyttet i datamaskiner, for å implementere berøringsfri innlogging. Radaren vil redusere datamaskinens energiforbruk og øke sikkerheten ved å logge av når brukeren beveger seg vekk fra maskinen. For å være sikker på at radaren fungerer optimalt, bør den være i stand til å bruke innhentet informasjon til å klassifisere om det er menneskelig tilstedeværelse eller ikke i radarens dekningsområde. Det kan være nyttig å bruke konvolusjonelle nevrale nettverk til å løse slike klassifiseringsproblemer. Denne avhandlingen undersøker mulighetene ved å benytte hyperparameteroptimalisering til å utvikle nevrale nettverk med høy nøyaktighet og ytelse. To forskjellige tilnærminger for hyperparameteroptimalisering ble testet med det samme søkeområdet. En genetisk algoritme ble implementert, og flere ulike modellstrukturer ble sammenlignet ved hjelp av denne algoritmen. Denne algoritmen ble også brukt til å søke etter optimale hyperparametere for et sett med modeller. Biblioteket Keras Tuner i Python, som bruker Hyperband som algoritme for optimalisering, ble også implementert og sammenlignet med den genetiske algoritmen. Resultatene viser at den beste ytelsen ble oppnådd ved bruk av to dropout-lag med rate 0.5, i tillegg til ett Max-pooling-lag. Ved å benytte den genetiske algoritmen til å søke etter optimale hyperparametere, oppnådde den et valideringstap på 0.168, og en sann positiv rate (sensitivitet) på 0.82 for en gitt falsk positiv rate (spesifisitet) på 0.01. Ved å benytte Hyperband som algoritme, ble disse verdiene henholdsvis 0.156 og 0.83. Novelda’s Ultra Wide Band (UWB) radar is able to detect human presence by observing small movements, like breathing and heartbeats. This radar technology has many possible areas of application, and is among other things used in computers to implement touch-free log-in. The radar will reduce the energy used by the computer and increase the security by automatically log off when the user is leaving. To make sure the radar is behaving optimally, it should be able to classify whether or not there is human presence in the detection range by using information from the radar. Applying convolutional neural networks to solve classification problems can be beneficial. When using neural networks, the choice of hyperparameters can make a significant impact on the final performance. This thesis studies the possibility to apply hyperparameter optimization to develop neural networks with improved accuracy and performance. Two different approaches were tested for the hyperparameter optimization, both using the same search space. A genetic algorithm was implemented, and several model structures were compared using this algorithm. This algorithm was used to search for the optimal hyperparameters for a set of defined models. The Python library Keras Tuner that uses the Hyperband algorithm for optimization was also implemented and compared to the genetic algorithm. The results indicate that the best performance was achieved using two dropout layers with a rate of 0.5, in addition to a Max-pooling layer. When using the genetic algorithm to search for the optimal hyperparameters, the model achieved a validation loss of 0.168 and a true positive rate (Sensitivity) of 0.82 for a given false positive rate (Specificity) of 0.01. When using the Hyperband algorithm, those values were respectively 0.156 and 0.83.

Talegjenkjenning for barn er utfordrende ettersom dagens talegjenkjenningssystem er basert på tale fra voksne. Talegjenkjenning kan hjelpe utviklingen av tale og språk hos barn. Derfor er det viktig å forbedre talegjenkjenningssystemene, slik at de fungerer bedre for barn. Forskjellene i karakteristikken i tale hos barn sammenlignet med voksne er stor. Barn har kortere vokaltrakt, noe som gjør at de har høyere formantfrekvenser enn det voksne har. Dette påvirker ytelsen til talegjenkjenningssystemet. Hensikten med denne oppgaven er å forbedre og implementere et talegjenkjenningssystem for barne-stemme. Dette er gjort ved å adaptere en modell som er trent på voksenstemme, til barnestemme. Det tar sikte på å undersøke metoden "transfer learning", hvor en modell som er trent på tale fra voksne er overført til å passe akustikken til talesignalet til barn. Talegjenkjenningssystemet er implementert ved Mozilla's Deep Speech arkitektur, og er trent og testet på barnestemme fra korpuset CMU Kids. Fire transfer learning eksperiment er utforsket, i tillegg til finjustering av en ferdigtrent modell for voksenstemme. Resultatene viser betydelig nedgang i "word error rate (WER)", der det beste resultatet viser en WER på 27.93% etter finjustering av modellen. Dette er en betydelig forbedring, ned fra WER på 48.01%, som er ytelsen på den ferdigtrente voksenmodellen, testet med barnestemme. Det best oppnådde resultatet fra "transfer learning" modellene har en WER på 36.68%, og indikerer at det er vanskelig å få en lav WER på grunn av manglende data. En WER på 27.93% er fortsatt ganske høyt, men indikerer at det å bruke data fra voksenstemme kan være effektivt i implementeringen av en automatisk talegjenkjenner for barn, der det er mangel på data fra barnestemme. Child speech recognition is a challenging task, and most of the speech recognition systems today are based on speech from adults. Speech recognition technology can help speech and language development of young children. Hence, it is essential to improve speech recognition systems to apply better for children. The differences in the speech characteristics of child speech compared to adult speech are significant. Children have a shorter vocal tract length, which implies that they have higher formant frequencies than adults. These features affect the performance of the speech recognition systems. The purpose of this thesis is to improve and implement an automatic speech recognition (ASR) system for child speech by adapting a model trained on data from adult speech to child speech. It aims to investigate the method of transfer learning, where a model trained on adult speech is transferred to fit the acoustics of the speech signal of children. The speech recognition system is implemented by Mozilla's Deep Speech architecture, and is trained and tested on child speech data from the CMU Kids corpus. Four transfer learning experiments are explored in addition to fine-tuning a pre-trained adult model. The results show a significant decrease in the word error rate (WER), where the best obtained results show a WER of 27.93% after fine-tuning of the model. This is a significant improvement down from a WER of 48.01%, which is the performance of the child speech data tested on the pre-trained adult model. The best achieved result of the transfer learning models has a WER of 36.68%, and indicates that it was difficult to get a low WER due to the lack of data. A WER of 27.93% is still quite high, but indicates that the use of adult data can be effective for training an automatic child speech recognition system, when there are lack of child speech data.

The process of human spoken language acquisition is still being studied up to this day—the most popular theory from B.F. Skinner describes the language learning of infants as a verbal behavior controlled by consequences. This thesis explores the possibility of applying the same principle to machines by creating a system that simulates spoken language acquisition using reinforcement learning. The developed system is mainly comprised of unsupervised word segmentation and language learning. Vector-Quantized Autoregressive Predictive Coding (VQ-APC) model is utilized to implement unsupervised word segmentation. While the language learning part is implemented using the reinforcement learning method called deep Q-network (DQN). The input to the system is a combined sound file consisted of randomly shuffled utterances of digits "zero" to "nine", and various background noises. It is akin to what an infant would hear during the early stages of learning a language. The virtual agent learns the meanings of the discovered spoken digits through accomplishing the task of "reciting" them in ascending order. Different experiments were executed to test the system. The best results for word segmentation were achieved using the VQ-APC model with the WordSeg Adaptor Grammar (AG) algorithm. Moreover, increasing the recognition rate of the word segmentation was observed to improve the reinforcement learning results only to a certain degree. Finally, it was found that large action space sizes can hinder DQN model convergence. In summary, the thesis achieved spoken language acquisition in machines in line with Skinner's theory by performing unsupervised word segmentation on a long speech clip and employing reinforcement learning to ground the discovered spoken words. Moreover, it managed to utilize VQ-APC for unsupervised word segmentation and discovered factors that can affect reinforcement learning performance.