HOME > Webと検索エンジンの仕組み > 3、検索エンジンの歴史

3、検索エンジンの歴史

 

Webの発達とともにWebサイトの数は爆発的に増えました。しかし数が増えれば増えるほどインターネットユーザーが探している情報を見つけることもそれに比例して困難になりました。


こうした問題を解決するために数多くの検索エンジンが作られてきました。


Web誕生当時、検索エンジンには2つの形があり、1つは人間が編集するディレクトリ型検索エンジン、2つ目はソフトウェアが自動的に情報を収集して編集するロボット型の検索エンジンが普及しました。


ディレクトリ型検索エンジン


ディレクトリ型検索エンジンは人間がWebサイトの名前、紹介文、URLをデータベースに記述してカテゴリ別に整理した検索エンジンです。


情報を収集するのもその内容を編集するのも編集者という人間の手によるものでした。


検索の方法は2つあります。1つはカテゴリ検索という方法で、ユーザーがカテゴリ名をクリックすると自分の探しているWebサイトを見つけることが出来きます。


2つ目の方法はキーワード検索という方法で、キーワード入力欄に心当たりのあるキーワードを入力すると、予め検索対象として設定されているサイト名、紹介文等にそのキーワードが適合すると検索結果に表示されるものです。



ディレクトリ型検索エンジンのメリットは:


(1)登録サイトが人的に管理されているため、無駄な情報が少なく有益な情報が見やすく整理された形で掲載されており使い易い。


(2)Webサイトをディレクトリ編集者が適切だと判断したカテゴリに登録するため、ユーザーは自分の興味がある分野に関するWebサイトをカテゴリを通して見つけることができる。


という点です。


ディレクトリ型検索エンジンのデメリットは:


(1)Webページ単位ではなくWebサイト単位で登録されるため、実際に登録サイトに目的の情報が存在するにも関わらずキーワード検索で見つからない場合がある。


(2)Webサイト、Webページ数が急増している現在、人間の手によってサイト情報を登録していくには限界があるため情報量が少ない。


(3)編集者が登録するWebサイトを決定して説明文を記述するため、編集者の主観や運営会社の編集方針によって掲載情報が左右される。


という点があります。


ディレクトリ型検索エンジンとして最も商業的に成功したのがYahoo!です。


Yahoo!カテゴリという膨大な数のカテゴリを擁する日本最大級のディレクトリ型検索エンジンは、その後Googleが登場し検索市場を席捲するまでは非常に大きな影響力がありました。


※Yahoo!カテゴリは2018年3月にその役割を終えてサービスの提供を終了することになりました。


https://dir.yahoo.co.jp/info


【2004年当時のヤフージャパン内のYahoo!カテゴリ】




ロボット型検索エンジン


ロボット型検索エンジンは、クローラーロボットと言われるソフトウェアをインターネットに送り、クローラーロボットがインターネット上のWebサイトやWebページの情報を収集し、検索エンジンのデータベースに登録します。


ユーザーがキーワード検索を行った際に、情報データベースから入力されたキーワードに最もふさわしい内容だと検索エンジンが自動的に判断したWebページから順番に表示します。


表示される内容はロボットが独自のアルゴリズム(計算方法)でWebサイトやWebページの内容から抽出した情報です。


ロボット型検索エンジンのメリットは:


(1)Webサイト単位だけでなくWebページ単位で登録するため、特定のキーワード検索にマッチしたWebページが確実に表示される。


(2)定期的にクローラーロボットがインターネットを巡回することで比較的新しいWebページが登録されている。


(3)常に複数のクローラーロボットがインターネットを巡回し、自動的に情報を取得するため、大量のWebサイト、Webページの情報がデータベースに登録されている。


という点です。


ロボット型検索エンジンのデメリットは:


(1)大量の情報が登録されており、検索時に多数の情報が表示されるため、目的の情報に辿り着くのに時間がかかる。


(2)自動的に情報が登録されることで、実際のページの内容とは関係の無いキーワードを詰め込む等、スパム行為(検索順位を不当に引き上がるためのトリック)を施したWebサイトやWebページが登録され、キーワード検索時にユーザーの目的に関係ない情報が表示される場合がある。


(3)ロボットが自動的にページ紹介文を決定するため、人間の手による編集に比べると情報が混沌としており整理されていない。


などの点があります。



薄れるトップページの重要性


ディレクトリ型検索エンジンに登録されるURLは通常、WebサイトのトップページのURLです。そのため後に検索エンジン市場の主流を占めるGoogleなどのロボット型検索エンジンが登場するまではWebサイトのトップページは検索エンジンからの入り口でした。そのためWebサイト運営者はトップページのデザインやそこにどのようなコンテンツを掲載するかに最も大きな注意と関心を払っていました。



しかしロボット型検索エンジンが主流になった今日、この考え方は古くなりました。何故ならロボット型検索エンジンはWebサイト単位だけでなくWebページ単位で登録をし、その検索結果画面にはトップページよりも、たくさんのサブページ、カテゴリページが表示されるようになったからです。



ランディングページ


この変化によりWeb運営者はWebサイト内のどのWebページもロボット検索エンジンに表示されることを想定して全てのWebページを初めて自社サイトを訪問する検索ユーザーに見せても問題が無いように整備する必要性が生じました。


このような検索エンジンからWebサイトを訪問するユーザーが最初に目にするWebページのことをランディングページと呼ぶようになりました。


ランディングページ(Landing Page)というのは直訳すると「着地ページ」という意味であり


・検索エンジンからの着地ページ


・他のサイトからの着地ページ


の2つの意味があります。




次のページ:Googleの技術的特徴 


 前のページ:Webサイトの仕組み