Automatic transcription of music

Abstract

AB3:Musiikin nuotintaminen tarkoittaa mikrofonilta tai äänitteeltä otetun musiikkisignaalin muuttamista symboliseen esitysmuotoon. Yleisen musiikillisen käytännön mukaan vaatimuksena on tällöin poimia nuotit, niiden korkeudet ja aika-arvot, sekä luokitella käytetyt instrumentit. Tässä työssä käsitellään vastaavia tutkimusongelmia: äänen perustaajuuden määrittelemistä, rytmin tunnistusta ja instrumenttiäänten analyysiä. Painopiste on kirjallisuustutkimuksessa ja algoritmikehityksessä.Tehty kirjallisuustutkimus koskee automaattista nuotintamista sekä useita muita siihen liittyviä aloja. Ensin tarkastellaan käsillä olevan aiheen jakamista osaongelmiin ja sopivan lähestymistavan valintaa. Tämän jälkeen esitellään eri osa-alueiden tuoreimpia tutkimustuloksia ja etsitään suuntia lisätutkimukselle.Työn tärkein osa käsittelee algoritmeja, joita voidaan käyttää hårmonisten äänten havaitsemiseen ja tarkkailuun polyfonisessa signaalissa. Tässä osuudessa esitetään uusi lukuteoreettinen menetelmä, joka perustuu harmonisten äänten yhdistelmän ominaisuuksiin, erityisesti musiikin ollessa kyseessä. Menetelmän tehokkuus tarkistetaan käyttämällä sitä pianomusiikkia nuotintavassa ohjelmassa, joka toteutettiin ja simuloitiin Matlab-ympäristössä.Työn loppuosassa käsitellään sisäisten mallien ja ennustusten käyttöä nuotintamisessa. Tällöin esitellään periaatteita, jotka hyödyntävät ylemmän tason tietolähteitä, kuten instrumenttimalleja ja ihmisen havaintokykyyn perustuvia riippuvuuksia musiikissa.

This thesis concerns the transcription of music, where the idea is to pick a musical performance by a microphone or from a musical recording, and convert it into a symbolic representation. According to musical practice, this requires extraction of notes, their pitches, timings, and classification of the instruments used. The respective subproblems, pitch tracking, rhythm detection and the analysis of musical instruments, were studied and are reviewed. Emphasis of this thesis is laid on two points: on literature review and on algorithm development.A literature review was conducted on automatic music transcription and several related areas of interest. An appropriate decomposition of the problem and the selection of an approach is first considered. Then the state-of-the-art of the research is represented and discussed, and promising directions for further work are indicated.An original and the most important part of this thesis concerns the development of algorithms that can be used to detect and observe harmonic sounds in polyphonic signals. A novel number theoretical method is proposed, which is motivated by the spectral properties of a mixture of harmonic sounds, especially in musical signals. The performance of the method is evaluated by applying it in a piano music transcription program, which was implemented and simulated in Matlab environment.In the last chapter, the role and use of internal models and predictions in music transcription are discussed. This part of the work introduces processing principles that utilize high-level knowledge sources, such as instrument models and perception-based dependencies in music.