CEDEC2020: フーリエ変換は2のべき乗が速いといったな、あれは嘘だ。 -Constant-Q変換を用いた楽譜情報の抽出とゲームへの応用法について-

フーリエ変換は2のべき乗が速いといったな、あれは嘘だ。 -Constant-Q変換を用いた楽譜情報の抽出とゲームへの応用法について-

アイコンの詳細はこちら

公募

主分野: SND

関連分野: ENG

講演形式

レギュラーセッション

講演時間

09月02日(水) 11:00 〜 12:00

講演ルーム

第6会場

資料公開

予定あり

受講スキル

・デジタル信号処理に興味のあるプログラマー

・高速フーリエ変換(FFT)を用いた楽曲解析に、限界を感じている方々

・「楽曲解析」や「自動楽譜生成」などの興味のある、すべての方々

得られる知見

・楽曲と音程および調波構造の解析に特化した、フーリエ変換ではない、新しい波形解析方法(Constant-Q変換)に関する基礎知識

・Constant-Q変換をゲームに実装するための、具体的な実装方法と、特にマルチコア時代に向けた高速化手法。

・解析された和音および付帯の楽譜情報を、ゲームに適用するための実装方法。

セッションの内容

・楽曲から主旋律を取り出す方法として、多数のフィルターを適用したAMDF法を、過去のCEDECで提案した。

・しかし単音しか解析できないAMDF法の欠点が災いして、解析できない曲が多い。

・FFT法は計算負荷が高く、必要のない無駄なデータが多く、大きな遅延も発生する。

・そこでフーリエ変換(DFT)の原点に立ち返り、無駄の少ない、効率的な変換方法がないかを模索した。

・Constant-Q変換(CQT)という方法で解析を試みたところ、従来の方法に比べ、非常に明瞭な解析結果を得た。

・高速化、レイテンシーの一定化、高域での解像度不足の解消、といった手法も確立した。

・さらにクロマベクトル解析の導入を行うことで、和音解析も明瞭に行えるようになった。

・今回開発したCQTは、各周波数ビンの計算が完全に独立であるため、コア数だけ高速化が可能である。

・実際のゲームへの実装例を含め、解説を行う。

増野宏之

株式会社CRI・ミドルウェア

事業開発室

室長

<講演者プロフィール>

・大学在学中の1986年から複数のゲーム制作会社を経て、2013年4月よりCRI・ミドルウェアに勤務。
・過去の会社を含め、作曲、プログラム、マネージャー、ディレクター、技術営業、海外渉外、契約実務、販社業務など、あらゆる業務を経験。
・CEDEC AWARDS 2012で、自身のリアルタイムBPM解析手法が優秀賞を受賞。
・BPM解析研究の集大成である超高速・高精度・楽曲解析ミドルウェア「BEATWIZ」を2015年9月に発表。
・現在も、毎月新しい機能を実装し、アプリを更新中。

FORTRAN77とグローバル変数と、なにより楽曲解析とお酒をこよなく愛する、55歳のオヤジ開発者。

<受講者へのメッセージ>

今回は、Constant-Q変換(CQT)という新しい楽曲解析の手法をご紹介します。
動作原理・実装方法・高速化・ゲームへの応用方法など、細かいアルゴリズムも含めて解説します。
既存のFFT解析に限界を感じている方、効率の良い耳コピツールを探しておられる方、
和音解析に関するアルゴリズムを研究されている方、
さらには、リアルタイムの楽曲解析結果を使ってゲームを制作したい方々など、お役に立てればと思います。
今年のCEDECはオンライン開催ですので、是非お気軽にご参加いただければ。

閉じる

CEDILセッション関連 フーリエ変換は2のべき乗が速いといったな、あれは嘘だ。 -Constant-Q変換を用いた楽譜情報の抽出とゲームへの応用法について-

セッション詳細

SESSION DETAIL