\r\n\r\n
GoogleやBingでは、すべての検索結果が検索結果リストに表示されるわけではなく、そのウェブクローラーがアクセスできない場所がたくさんあります。
見えないウェブを探索するためには、専門的なサーチエンジンを使う必要があります。
その前に、「見えない網」の意味を定義しておきましょう。
簡単に言えば、検索結果やウェブディレクトリに表示されないオンラインコンテンツのことを指す「総称」である。
まだ正式な数字は出ていないが、ほとんどの専門家は、見えない網は見える網の数倍の大きさであることを認めている。Google、Amazon、Microsoft、Facebookだけで約1,200PBのデータを保存していることを考えると、この数字はすぐに信じられなくなる。
インビジブル・ウェブ上のコンテンツは、大きく分けて「ディープ・ウェブ」と「ダーク・ウェブ」に分けられる。
ディープウェブは、通常、アクセスするために何らかの認証が必要なコンテンツで構成されています。例えば、図書館のデータベース、電子メールの受信箱、個人記録(財務、学術、健康、法律)、クラウドストレージドライブ、企業イントラネットなどです。
正しい情報をお持ちの方は、通常のWebブラウザでコンテンツにアクセスすることができます。
ダークウェブは、ディープウェブの下位概念です。コンテンツを閲覧するには、専用のダークウェブブラウザ(Torなど)を使用する必要があります。通常のウェブよりも匿名性が高いため、麻薬や武器の売買などの違法行為が行われることも少なくない。
Piplは世界最大の検索エンジンと自称しています。例えばGoogleとは異なり、Piplは検索可能なデータベース、会員名簿、裁判記録、その他インターネット上の深く検索可能なコンテンツと対話し、その人物の詳細なスナップショットを提供することができます。
通常の検索エンジンは、最新バージョンのサイトしか結果を提供しません。
バックホールマシンは違います。3610億枚以上のウェブページのコピーをサーバーに保存しており、目に見えるページではもう見ることができないコンテンツを検索することができるのです。
WWWバーチャルライブラリーは、ウェブ上で最も古いカタログです。World Wide Webの生みの親であるTim Berners-Leeが1991年に作成したものです。
ボランティアが手作業でリンクのリストを編集し、数十のカテゴリーにまたがる質の高いディープウェブコンテンツのインデックスを作成します。
DuckGoは、視覚的なウェブページのプライベート検索エンジンとして有名ですが、ダークウェブを探索できるOnionサイトも提供していることをご存知でしょうか?
一般的な検索エンジンでも、Googleより深いウェブコンテンツを提供しています。500以上の独立した検索ツールの結果をまとめています。通常のDuckDuckGoエンジンと.onionバージョンを組み合わせれば、ウェブ全体の検索を行うことができます。
タマネギは、http://3g2upl4pq6kufc4m.onion/。
US**のコンテンツの多さには本当に驚かされます。連邦政府機関や州、地方、部族のあらゆる公開情報へのポータルサイトです。
また、**仕事、ローン、助成金、税金などに関する情報も掲載されています。掲載されている情報のほとんどは、Googleでは表示されません。
オープンアクセス学術誌カタログは、誰でも自由に利用できる学術論文へのアクセスを提供する、詳細なインターネット検索エンジンです。
googlescholarでもある程度の情報は得られますが、私たちはDOAJの方がより良い研究ツールだと考えています。
Hidden Wikiは、ダークウェブの検索エンジンです。.onionのドメイン名を持つため、標準的なWebブラウザからはアクセスできません。
このページ自体は、コミュニティによって編集されたダークサイトのディレクトリである。ダークウェブのソーシャルメディア、ビジネスサービス、フォーラム、内部告発者、書籍、映画やテレビなど、さまざまなリンクが掲載されています。
Elephindは、世界中の歴史的な新聞を網羅する単一のポータルを提供することを目指しています。研究者、特に家族史家、系図学者、学生にとって素晴らしいリソースです。
掲載されている新聞の多くは、deepwebのみで公開されており、Googleでは表示されません。本稿執筆時点で、新聞は360万紙あります。
スペースシャトルの音は、人文科学に興味のある人には欠かせない資料です。1994年に開設されたこのサイトは、現在、ディープウェブ上で最も素晴らしいキュレーションコンテンツのコレクションの一つとなっています。
建築から哲学まで、70ページを超える注釈付きリンク集があります。
Ahmeyaはダークウェブの検索エンジンです。しかし、ひねりが効いていて、一般的なウェブで利用できる数少ないダークウェブ検索エンジンの1つとなっています。
もちろん、Torブラウザーがインストールされていない限り、リンクや結果は開きません。しかし、ダークウェブ特有のリスクに身をさらすことなく、ダークウェブで利用できるものを知るには、これでも十分な方法なのです。
各地域の図書館にどんな本があるかを知るには?図書館のサイトをひとつひとつ見るのは時間がかかるし、間違いも多い。
WorldCatは、世界中の図書館から20億の項目をインデックス化した詳細なインターネット検索エンジンであり、通常データベース検索でしか得られないリンクも多数含まれています。
Googleで著作権フリーの無名の電子書籍を検索すると、ダウンロードリンクを提供する結果を見つけるために、何ページもクリックしなければならないのです。
Project Gutenbergでは、58,000冊以上の電子書籍を無料で閲覧・ダウンロードすることができます。
私たちが紹介する12の検索エンジンは、コンテンツ検索を始めるための確かな根拠となるはずです。
目に見えないウェブについてもっと知りたい方は、Googleでは見つけられない最高の闇サイトに関する記事や、ディープウェブのあまり知られていないコーナーに関するリストをご覧ください。