樂譜數(shù)字化的新途徑 ―― 計算機光學樂譜識別技術(shù)

西北工業(yè)大學 劉曉翔 張樹生 西安音樂學院 朱玉璋

稿源：中音網(wǎng)

     摘 要 計算機光學樂譜識別（Optical Music Recognition，OMR）是計算機技術(shù)在音樂領(lǐng)域的發(fā)展和應用，它利用圖像處理、模式識別、文檔圖像分析等相關(guān)技術(shù)，把樂譜圖像自動轉(zhuǎn)化成通用的數(shù)字音樂格式。OMR技術(shù)為紙質(zhì)樂譜數(shù)字化提供了一個智能、高效的新途徑，在計算機音樂、計算機輔助音樂教學、數(shù)字音樂圖書館等眾多領(lǐng)域有著廣泛的應用前景。
     關(guān)鍵詞: 光學樂譜識別，數(shù)字化，數(shù)字音樂圖書館
     1 問題的提出
     信息技術(shù)改變著社會生產(chǎn)和人類生活的各個方面，人類社會正在步入一個數(shù)字化時代?，F(xiàn)代計算機科學與音樂藝術(shù)的結(jié)合產(chǎn)生了計算機音樂，它的出現(xiàn)不僅體現(xiàn)了計算機技術(shù)的一次革命，而且給人類的音樂活動帶來了生產(chǎn)方式的根本變革，人們對音樂的創(chuàng)作、演奏、傳播從傳統(tǒng)的手工作業(yè)方式一躍而為高科技方式。
     樂譜的發(fā)明是人類音樂史上的里程碑，它的出現(xiàn)使人們可以在一個相對標準的平臺上進行音樂的交流和傳承。古往今來的優(yōu)秀音樂作品大都以紙質(zhì)樂譜的形式保留下來，直至今天，紙質(zhì)樂譜仍是表達和描述音樂作品的主要載體。
     基于以上的時代背景與事實，那些長期涉足于計算機音樂的人士便迫切地提出了這樣一個問題：讓“紙質(zhì)樂譜進入計算機，計算機讀懂樂譜”，能夠?qū)崿F(xiàn)嗎？
     在計算機音樂發(fā)展的近幾十年中，各種音序編輯軟件層出不窮，如Encore、Cakewalk等，這類軟件的出現(xiàn)告訴人們，“樂譜進入計算機”已經(jīng)不成為問題。然而，利用音序編輯軟件進行樂譜數(shù)字化是一種純手工人的方式，即手工錄入――校對――修改的方法，錄入人員必須具有一定的音樂專業(yè)知識，而且輸入工作量大、效率低。因此，在紙質(zhì)樂譜數(shù)字化的進程中，不可避免地產(chǎn)生了低速的音樂信息輸入與高速信息處理之間的矛盾。于是，一些計算機學者和專家們開始尋求一條紙質(zhì)樂譜數(shù)字化的新途徑，力圖突破純手工的樂譜數(shù)字化瓶頸，自動完成樂譜向數(shù)字音樂的智能轉(zhuǎn)化，即實現(xiàn)真正意義的“計算機讀懂樂譜”。經(jīng)過十幾年的研究和探索，計算機光學樂譜識別（Optical Music Recognition，以下簡稱OMR）技術(shù)應運而生。
     2 光學樂譜識別技術(shù)的應用
     OMR技術(shù)是將紙質(zhì)樂譜由掃描儀輸入到計算機，經(jīng)過處理，把樂譜圖像自動轉(zhuǎn)化為計算機能“讀懂”的數(shù)字音樂--標準音樂格式文件（如midi格式）。這數(shù)字音樂文件與采集聲音數(shù)據(jù)的音頻文件（如WAV格式）不同，它的原理是“記譜”，記錄的正是樂譜所表達的音樂內(nèi)容。在計算機軟、硬件強大功能的配合下，人們可以輕松地對其進行編輯、加工、打印、傳播或?qū)崟r演奏。OMR技術(shù)為紙質(zhì)樂譜數(shù)字化提供了一個智能、高效的新途徑，有著極為廣泛的應用前景，以下我們重點從計算機輔助音樂教學和數(shù)字音樂圖書館建設(shè)兩方面介紹OMR技術(shù)在其中的應用：
     1）計算機輔助音樂教學
     在由應試教育向素質(zhì)教育轉(zhuǎn)軌并不斷發(fā)展的今天，多媒體電腦音樂走進課堂已成為時代發(fā)展和音樂教育的需要。一臺集成OMR系統(tǒng)、midi音樂系統(tǒng)的多媒體電腦即可代替?zhèn)鹘y(tǒng)的“課本+黑板+鋼琴”音樂教學模式。通常，音樂教師在黑板上寫出的譜例在學生心中難以形成音響的聽覺聯(lián)想，而鋼琴上彈出的聲音轉(zhuǎn)瞬即逝。借助OMR系統(tǒng)，教師則可在課堂上即時地將課本上的譜例生成midi文件，利用其非常直觀的樂譜顯示功能以及實時性、動態(tài)性的特點，將譜例與實踐音響同步展現(xiàn)在學生面前，并可迅速重新演奏或演奏樂譜中的任一片斷，使學生的聽覺與視覺形象融為一體，從而激發(fā)學生的學習興趣。
     2）數(shù)字音樂圖書館
     隨著數(shù)字圖書館的蓬勃發(fā)展，數(shù)字音樂圖書館也悄然興起。如同音樂文獻資源建設(shè)是傳統(tǒng)音樂圖書館的基礎(chǔ)性業(yè)務工作一樣，獲取大量的數(shù)字化音樂內(nèi)容是建設(shè)數(shù)字化音樂圖書館的核心內(nèi)容。在建設(shè)過程中，必然會面臨的一個突出問題就是已有音樂資源的數(shù)字化問題。傳統(tǒng)音樂資源最主要的對象是印刷型紙介質(zhì)樂譜，快速準確地將傳統(tǒng)圖書館保存的紙質(zhì)樂譜資源數(shù)字化便成為建設(shè)數(shù)字音樂圖書館的當務之急。
     紙質(zhì)樂譜的數(shù)字化有兩種形式：一種是采用光學掃描壓縮存貯樂譜圖像，存貯格式有TIFF、JPEG、GIF等多種。另一種是根據(jù)樂譜描述的音樂內(nèi)容將其轉(zhuǎn)化成數(shù)字化音樂文件，如midi文件。同樣作為數(shù)據(jù)資源，數(shù)字化音樂文件具有存貯空間小、表現(xiàn)方式靈活、檢索方便快速等許多圖像文件無法比擬的優(yōu)勢，是數(shù)字音樂圖書館在Internet環(huán)境下理想的數(shù)據(jù)載體。
     音樂圖書館所藏的樂譜數(shù)以萬計，如此浩大的電子化工程，若單純靠傳統(tǒng)的人工錄入，將是漫長和繁重的工作，既費時又昂貴。所以，建立一個快速準確、重碼率低的樂譜輸入方案，是進行大批量樂譜數(shù)字化的關(guān)鍵。OMR技術(shù)正為數(shù)字音樂圖書館解決樂譜數(shù)字化難題提供一套完整便捷的解決方案。國內(nèi)外，光學字符識別（Optical Character Recognition，簡稱OMR）技術(shù)在數(shù)字圖書館文獻錄入的應用已經(jīng)獲得了巨大的成功。同樣，在數(shù)字音樂圖書館領(lǐng)域，OMR擁有著巨大的市場潛力和價值。
     國外已經(jīng)意識到OMR對數(shù)字音樂圖書館建設(shè)潛在的巨大作用。1994年9月，美國國家科學基金會（NSF）正式公布了一項為期四年投入2440萬美元的“數(shù)字圖書館首創(chuàng)計劃”（Digital Library Initiative）。1998年，由國家科學基金會（NSF）、國家人文學資助會(NEH)等機構(gòu)聯(lián)合資助數(shù)字圖書館倡議第二階段。在中標的47個項目中有3項是關(guān)于數(shù)字音樂圖書館的研究和開發(fā)[4]，其中以O(shè)MR為技術(shù)支持的研究項目有美國馬薩諸塞大學的連機音樂識別和查詢系統(tǒng)（OMRAS），瓊斯?霍普金斯大學的Lester S. Levy數(shù)字化活頁樂譜藏品錄入與查詢系統(tǒng)。此外，在新西蘭，瓦卡托大學為新西蘭數(shù)字圖書館開發(fā)了樂譜聯(lián)機識別系統(tǒng)和基于音樂內(nèi)容檢索的查詢系統(tǒng)（MELody inDEX）。值得關(guān)注的是，以上系統(tǒng)的樂譜錄入方案均采用的是OMR技術(shù)。
     由于國內(nèi)數(shù)字音樂圖書館的建設(shè)才剛剛起步，目前尚未見到OMR應用于數(shù)字音樂圖書館的文獻和報道。但由以上分析可以看到，早日研究和開發(fā)出國內(nèi)自己的OMR系統(tǒng)，不僅對于我國未來數(shù)字音樂圖書館的建設(shè)和推廣具有及其重要的意義，而且勢在必行。
     3 國內(nèi)外光學樂譜識別技術(shù)研究現(xiàn)狀
     國外有關(guān)OMR的研究起始于60年代后期，當時由于技術(shù)條件和硬件設(shè)備的限制，所研究的內(nèi)容也是非常有限的。到了70年代，隨著光學掃描儀的出現(xiàn)和機器性能的提升，OMR才真正已經(jīng)引起眾多學者的廣泛注意。進入80年代后，隨著計算機圖形圖像技術(shù)的不斷發(fā)展與成熟，研究內(nèi)容越來越深入，其研究成果也逐步進入實用階段。目前已經(jīng)出臺的商品化OMR軟件系統(tǒng)有：OMeR、midiScan、SmartScore、SharpEye Music Reader、PhotoScore等。對于常見的印刷體五線譜樂譜，它們的識別率均在90%以上，同時提供強大的后期編輯、打印功能，最終識別結(jié)果可導出為midi、Niff、Music XML等數(shù)字音樂文件。
     在我國，一方面由于計算機音樂發(fā)展起步晚，計算機音樂只是少數(shù)音樂工作者的“專利”，社會缺乏計算機識別樂譜的需要；另一方面，由于國內(nèi)高校的學科設(shè)置綜合化程度、學科交叉的跨度與國外有著相當大的差距，長期以來，從事計算機音樂研究的專業(yè)人才嚴重缺乏。因此，OMR技術(shù)在國內(nèi)的系統(tǒng)研究和實踐工作幾乎為空白。目前，西北工業(yè)大學與西安音樂學院合作正在開展印刷體光學樂譜識別技術(shù)的研究。隨著我國大規(guī)模傳統(tǒng)資源數(shù)字化進程的推進，數(shù)字化音樂教育與圖書館界國際交流與合作的增加與擴大，OMR技術(shù)必將逐步受到國內(nèi)學者與研究機構(gòu)的重視。相信在不遠的將來，OMR技術(shù)將在我國數(shù)字化音樂教育與數(shù)字音樂圖書館的建設(shè)中發(fā)揮巨大的作用，縮小我國計算機音樂在應用高新技術(shù)方面與國外的差距。
     4 光學樂譜識別技術(shù)原理簡介
     OMR是一項綜合應用數(shù)字圖像處理、模式識別、人工智能、音樂理論等多門相關(guān)學科的交叉技術(shù)，其目的就是要讓計算機“讀懂” 樂譜。一個完整OMR系統(tǒng)主要由五大模塊組成：樂譜掃描輸入與預處理、譜線定位與刪除、音符基元識別、音符基元重組及語義理解，其處理流程如圖1所示。
     
     圖1. OMR系統(tǒng)處理流程示意圖
     （1） 樂譜掃描輸入與預處理
     將紙質(zhì)樂譜經(jīng)掃描儀輸入計算機生成樂譜圖像，并對掃描圖像中的噪聲、局部變形等缺陷進行消除和彌補。
     （2） 譜線定位與刪除
     針對樂譜圖像絕大多數(shù)符號和標記都疊加在譜線上這一特征，在提取和識別音符對象前首先對譜線進行定位和刪除，這樣可將各種音樂符號從譜線中分離出來，以排除譜線在識別音符過程中造成的巨大干擾。
     （3） 音符基元識別
     譜線刪除后的樂譜圖像可視作一幅僅由音符基元組成的圖集。所謂音符基元就是由各種音樂符號分解得到的最小符號圖形，它們通常是符頭、符干、符尾、升降號、譜號、休止符等，這些圖形的有效組合即構(gòu)成了具有音樂語義的音符對象。識別音符基元的目的就是經(jīng)過計算機的模式識別處理，使計算機能“認識和區(qū)分”這些最小音樂符號。
     （4） 音符基元重組
     利用樂譜知識規(guī)則將音符基元重新組合成特征音符對象。其功能是通過基于知識的意愿重組技術(shù)，將人所具備的音樂知識“傳授”給計算機，使計算機能模擬“識譜”這樣一個人為學習過程。
     （5） 音符語義理解
     對音符對象所代表的音樂語義進行解釋，生成語義編碼，最后根據(jù)語義編碼將識別結(jié)果輸出成音樂格式文件。
     從總體考慮，OMR系統(tǒng)應是一個基于樂譜的專家系統(tǒng)，該系統(tǒng)應具有音樂工作者閱讀和書寫樂譜的智能，不僅需要有音符特征判斷的規(guī)則和算法，而且需要音樂理論知識和經(jīng)驗。最近這方面的努力向著更為成熟、復雜、綜合的方向發(fā)展，人工智能、神經(jīng)網(wǎng)絡(luò)與專家系統(tǒng)技術(shù)在OMR系統(tǒng)中的深入應用將是未來OMR技術(shù)的發(fā)展趨勢。
     參考文獻：
     [1] D. Blistein and H. Baird. A Critical Survey of Music Image Analysis. In: Springer-Verlag, editor, Structured Document Image Analysis, pages 405-434, Eds. H. S. Baird, H. Bunke, K. Yamamoto,1992.
     [2] R.J. McNab, L.A. Smith, I.H. Witten, C.L. Henderson, and S.J. Cunningham. Towards the digital music library: tune retrieval from acoustic input. In Proc Digital Libraries, pages 11-18, 1996
     [3] "大規(guī)模文獻數(shù)字化的實踐與數(shù)字圖書館建設(shè)"
     [4] "數(shù)字圖書館在美國的研究與發(fā)展現(xiàn)狀"