音響から楽譜へのピアノ自動採譜「耳コピAI」  To English

中村栄太(京都大学白眉センター)  このエントリーをはてなブックマークに追加
Audio-to-score piano transcription
このページは次の論文の内容に関するWebページです。
Kentaro Shibata, Eita Nakamura, Kazuyoshi Yoshii
Non-local musical statistics as guides for audio-to-score piano transcription
Information Sciences, Vol. 566, pp. 262-280, 2021. [arXiv:2008.12710]

研究成果の概要

この論文では機械学習を用いた方法により、ピアノ演奏音声データから楽譜を自動で生成する技術の大幅な精度向上に成功しました。

音楽の演奏を聴いて楽譜に書き取る「採譜」は耳コピとも呼ばれ、特殊な訓練をした人だけもつ能力です。特に、複数の音が重なったピアノなどの音楽の採譜は、音高(ピッチ)とリズムの複雑な組み合わせを認識する必要があり、この能力をコンピューターで再現することは長年の間、非常に難しい問題として研究されてきました。本研究では、大量のデータを用いた機械学習による音高の認識手法と、楽譜と演奏動作の中にある統計的性質に基づくリズムの認識手法を統合することで、ピアノ演奏の自動採譜の精度を大幅に向上させ、部分的に演奏に用いることができる楽譜の生成に成功しました。この結果は、音楽学研究や音楽教育への応用、演奏や編曲を支援する実用技術の開発、そして文化を支える知能の科学的理解につながると期待されます。また、芸術文化への情報技術の影響の問題も提起しています。

自動採譜の例

下の例はPOVNet+RQ+NL法により生成されたものです。

ピックアップ

Pale Blue (米津玄師、カバー:電灯さん)

入力音響
YouTubeリンク
推定楽譜

雨 (ハラミちゃん)

入力音響
YouTubeリンク
推定楽譜

夜に駆ける (YOASOBI、カバー:ゆゆうた)

入力音響
YouTubeリンク
推定楽譜

白日 (King Gnu、カバー:ふみ)

入力音響
YouTubeリンク
推定楽譜

鬼滅の刃メドレー (カバー:よみぃ)

入力音響
YouTubeリンク
推定楽譜

ホール・ニュー・ワールド (Alan Menken、カバー:Riyandi Kusuma)

入力音響
YouTubeリンク
推定楽譜

鳥のカタログ第1巻 第2番「キガシラコウライウグイス」 (メシアン、演奏:イヴォンヌ・ロリオ)

入力音響
YouTubeリンク
推定楽譜


採譜結果に関するアンケートへのご協力のお願い
(採譜のリクエストも受け付けております)
回答フォーム


例 45  雨 (ハラミちゃん)

入力音響
YouTubeリンク
推定楽譜
score

例 44  Pale Blue (米津玄師、カバー:電灯さん)

入力音響
YouTubeリンク
推定楽譜
score

例 43  Butter (BTS、カバー:Jichan Park)

入力音響
YouTubeリンク
推定楽譜
score

例 42  Despacito (Luis Fonsi、カバー:Jonny May)

入力音響
YouTubeリンク
推定楽譜
score

例 41  ひまわり (中国民謡、演奏:Yundi Li)

入力音響
YouTubeリンク
推定楽譜
score

例 40  悲愴ソナタ第二楽章 (ベートーベン、演奏:ヴィルヘルム・ケンプ)

入力音響
YouTubeリンク
推定楽譜
score

例 39  花は咲く (菅野よう子、ギター・カバー:村治佳織)

入力音響
YouTubeリンク
推定楽譜
score

例 38  残酷な天使のテーゼ (高橋洋子、チェンバロ・カバー:Yoshio)

入力音響
YouTubeリンク
推定楽譜
score

例 37  白日 (King Gnu、カバー:ふみ)

入力音響
YouTubeリンク
推定楽譜
score

例 36  紅き大魚の伝説のテーマ曲 (周深、カバー(カリンバ):April Yang)

入力音響
YouTubeリンク
推定楽譜
score
    その他の例を見る 
  • 1
  • 2
  • 3

報道発表

データのダウンロード

論文で使ったデータをダウンロードする
データの内容についてはREADME.txt(英語)をお読みください。

連絡先

問い合わせは、京都大学白眉センター 中村栄太 (eita.nakamura[at]i.kyoto-u.ac[dot]jp) までお願いします。
その他の研究紹介や論文情報もご覧ください。

このエントリーをはてなブックマークに追加