音響から楽譜へのピアノ自動採譜「耳コピAI」　　To English

中村栄太（京都大学白眉センター）　

Audio-to-score piano transcription

このページは次の論文の内容に関するWebページです。

Kentaro Shibata, Eita Nakamura, Kazuyoshi Yoshii
Non-local musical statistics as guides for audio-to-score piano transcription
Information Sciences, Vol. 566, pp. 262-280, 2021. [arXiv:2008.12710]

研究成果の概要

この論文では機械学習を用いた方法により、ピアノ演奏音声データから楽譜を自動で生成する技術の大幅な精度向上に成功しました。

音楽の演奏を聴いて楽譜に書き取る「採譜」は耳コピとも呼ばれ、特殊な訓練をした人だけもつ能力です。特に、複数の音が重なったピアノなどの音楽の採譜は、音高（ピッチ）とリズムの複雑な組み合わせを認識する必要があり、この能力をコンピューターで再現することは長年の間、非常に難しい問題として研究されてきました。本研究では、大量のデータを用いた機械学習による音高の認識手法と、楽譜と演奏動作の中にある統計的性質に基づくリズムの認識手法を統合することで、ピアノ演奏の自動採譜の精度を大幅に向上させ、部分的に演奏に用いることができる楽譜の生成に成功しました。この結果は、音楽学研究や音楽教育への応用、演奏や編曲を支援する実用技術の開発、そして文化を支える知能の科学的理解につながると期待されます。また、芸術文化への情報技術の影響の問題も提起しています。

自動採譜の例

下の例はPOVNet+RQ+NL法（*がついているものはHR+RQ+NL法）により生成されたものです。

ピックアップ

Cry Baby (Official髭男dism、カバー：Animenz)*

入力音響

YouTubeリンク

推定楽譜

2020年ヒット曲ピアノメドレー (アレンジ：岩村美咲)*

入力音響

YouTubeリンク

推定楽譜

雨 (ハラミちゃん)

入力音響

YouTubeリンク

推定楽譜

白日 (King Gnu、カバー：ふみ)

入力音響

YouTubeリンク

推定楽譜

鬼滅の刃メドレー (カバー：よみぃ)

入力音響

YouTubeリンク

推定楽譜

ホール・ニュー・ワールド (Alan Menken、カバー：Riyandi Kusuma)

入力音響

YouTubeリンク

推定楽譜

鳥のカタログ第1巻第2番「キガシラコウライウグイス」 (メシアン、演奏：イヴォンヌ・ロリオ)

入力音響

YouTubeリンク

推定楽譜

採譜結果に関するアンケートへのご協力のお願い
回答フォーム

例 50　　2020年ヒット曲ピアノメドレー (アレンジ：岩村美咲)*

入力音響

YouTubeリンク

推定楽譜

score

例 49　　平成J-POPバラード名曲メドレー (アレンジ：tjpiano)*

入力音響

YouTubeリンク

推定楽譜

score

例 48　　アネモネ (アーティスト：ござ)*

入力音響

YouTubeリンク

推定楽譜

score

例 47　　残響散歌 (Aimer、カバー：SLS)*

入力音響

YouTubeリンク

推定楽譜

score

例 46　　Cry Baby (Official髭男dism、カバー：Animenz)*

入力音響

YouTubeリンク

推定楽譜

score

例 45　　雨 (ハラミちゃん)

入力音響

YouTubeリンク

推定楽譜

score

例 44　　Pale Blue (米津玄師、カバー：電灯さん)

入力音響

YouTubeリンク

推定楽譜

score

例 43　　Butter (BTS、カバー：Jichan Park)

入力音響

YouTubeリンク

推定楽譜

score

例 42　　Despacito (Luis Fonsi、カバー：Jonny May)

入力音響

YouTubeリンク

推定楽譜

score

例 41　　ひまわり (中国民謡、演奏：Yundi Li)

入力音響

YouTubeリンク

推定楽譜

score

例 40　　悲愴ソナタ第二楽章 (ベートーベン、演奏：ヴィルヘルム・ケンプ)

入力音響

YouTubeリンク

推定楽譜

score

その他の例を見る　

1
2
3

報道発表

データのダウンロード

論文で使ったデータをダウンロードする
データの内容についてはREADME.txt（英語）をお読みください。

連絡先

問い合わせは、京都大学白眉センター 中村栄太 (eita.nakamura[at]i.kyoto-u.ac[dot]jp) までお願いします。
その他の研究紹介や論文情報もご覧ください。