音楽認識アプリは一見するとすごいですが、その裏側には複雑なアルゴリズムがあり、一瞬で曲を探し出すことができます。その仕組みはこうだ。

音楽認識のマジック

誰にでも起こりうることです。素敵なレストランで食事をしているとき、喫茶店でまったりしているとき、お店を歩いているとき、突然スピーカーから素敵な曲が流れてきたとき。聴いたことのある曲かもしれないし、聴いたことのない曲かもしれない。そこで、**を取り出し、Shazamのスイッチを入れて、**を天井にかざすのです。このアプリは、ほんの一瞬で、曲名、アーティスト名、どこで演奏されているかを教えてくれます。

高速で、非常に正確で、無名の曲でも識別することができます。要するに、録音された曲から曲を分離し、膨大なデータベースの中から検索する仕組みだ。しかし、その背景にある技術は非常に複雑で、素晴らしいものです。

現在のようなShazamアプリがリリースされたのは2002年で、当時は現在と同じように正確で高速なシステムだったことに驚かれるかもしれませんね。それは、音楽の世界に革命をもたらすユニークなアルゴリズムによるものです。

歌詞だけでなく

Shazamのような音楽認識アプリは、一見するとシンプルに見えます。他の音声アシスタントと同じように歌詞を聞いて、歌詞のデータベースから検索して曲を教えてくれるのではと思うかもしれません。

しかし、ほとんどの音楽認識アプリケーションは、楽器名やカバー曲の歌手名まで判別することができます。これは、歌詞を分析するのではなく、膨大なデータベースの中から各曲に固有の「指紋」を探しているからだ。

関連：iPhone、iPad、Mac、Apple TVで歌詞を表示する方法

指紋認証技術

指の指紋でロックを解除する機器をお持ちの方もいらっしゃると思います。同様に、マイクを持って曲の短いクリップを録音すると、そのクリップがパターン化され、Shazamなどのアプリケーションがデータベースから探し出すことができます。

一見すると、この方法はいくつかの問題をはらんでいるように思われる。公共の場で音楽を聴く場合、背景の雑音やスピーカーによる歪みがあるため、曲が認識できなかったり、不正確なマッチングになったりするケースがほとんどです。また、短いサウンドクリップでも大量のデータを取得するため、数百万曲のデータベースからこれらのパターンを探し出すのが遅くなる。

Shazam社のチーフデータサイエンティストで共同創業者のAvery Li Chun Wang氏は、2003年のScientific American誌のインタビューで、同社のアルゴリズムがこれらの問題をどのように解決しているかを説明しています。音声クリップの情報は、周波数の時間変化を表すスペクトログラムと呼ばれる3Dグラフで可視化することができます。また、振幅、つまり音の大きさも考慮されます。これは、色の強弱を表すスペクトログラムで表現されます。

人間が特定の周波数の音しか認識できないのと同じように、Shazamは検索を行う際、曲全体を考慮するのではなく、オーディオクリップの中で最もエネルギーの高い「ピーク」だけを考慮する。これは、ある時間範囲内の最も高い周波数の点で、そしてその周波数内のピーク振幅の点で指紋を捕らえるものです。

コロンビア大学の研究論文によると、この方法により、オーディオクリップのバックグラウンドノイズなど不要な部分のほとんどを除去し、歪みをなくすことができるという。また、指紋を小さくすることで、膨大なデータベースの中からわずか数ミリ秒で楽曲を特定することができるのです。

Shazamのインパクト

音楽認識アプリケーションは、お気に入りの曲を聴くカジュアルなリスナーにとって役立つだけでなく、音楽の世界を形作るのに役立つものです。

ラジオ局やストリーミングサービスは、人々が最も好んで聴いている曲のデータを使って、一般の人々がどんな曲を聴いているかを判断することがよくあります。これは、アーティストに関係なく、その曲がどれだけキャッチーで潜在的な人気があるかを示すもので、参考になります。アプリで曲を特定すると、同じように特定しようとしている人が何人いるかがすぐにわかります。

Shazamの台頭以来、いくつかの競合他社も出現している。soundhoundは、歌ったりハミングしたりすると曲を認識すると主張しているが、結果はまちまちである。また、googleassistantなどの音声アプリケーションと統合した楽曲認識システムもあり、これはShazamのシステムと非常によく似た働きをします。

関連：最高の無料音楽ストリーミングサイト