搜索引擎是一种计算机程序，根据用户定义的特定标准，作为从数据库检索信息的一种方式。现代搜索引擎搜索包含从万维网、新闻组和目录项目收集的大量数据的数据库。

在万维网出现之前，但随着互联网的出现及其在大学巡回赛中的普及，第一个搜索引擎诞生了。在历史的这一点上，在20世纪80年代末和90年代初，互联网上使用的主要协议之一是文件传输协议（FTP）。FTP服务器遍布世界各地，通常位于大学校园、研究机构或政府机构。蒙特利尔麦吉尔大学的一些学生认为，在各种流行的FTP服务器上建立一个集中的文件数据库将有助于节省时间并为他人提供优质服务。这就是阿尔奇搜索引擎的起源。

Archie是archive的缩写，是一个程序，它定期登录到列表中的FTP服务器，并对服务器上的文件进行索引。因为处理器时间和带宽仍然是一种相当有价值的商品，所以Archie只会每月左右检查更新。起初，Archie构建的索引是要使用Unix命令grep进行检查的，但是很快就开发出了一个更好的用户界面，可以方便地搜索索引。继阿奇之后，出现了一些搜索引擎来搜索类似的地鼠协议——其中最著名的两个是Jughead和Veronica。随着万维网和随后的搜索引擎的出现，Archie变得相对过时，但Archie服务器仍然存在。

1993年，万维网诞生后不久，马修·格雷开发了万维网漫游者，这是第一个网络机器人。万维网漫游者通过捕获网站的URL为互联网上存在的所有网站编制了索引，但没有跟踪网站的任何实际内容。与漫游者相关联的索引是一种早期的搜索引擎，名为Wandex。

在《漫游者》之后，其他一些小项目也随之发展起来，它开始接近现代搜索引擎。其中包括万维网蠕虫、基于存储库的软件工程（RBSE）蜘蛛和JumpStation。这三种方法都使用网络机器人收集的数据将信息返回给用户。尽管RBSE试图对页面的价值进行排名，但大部分信息还是未经过滤返回。

1993年，斯坦福大学的一些学生创办了一家名为Excite的公司，该公司发布了可以说是第一个真正整合页面内容分析的搜索引擎。这次首次发行是为了在一个网站内搜索，而不是搜索整个网站。

然而，在1994年，搜索引擎的世界取得了重大突破。一家名为WebCrawler的公司推出了一款搜索引擎，该引擎不仅能捕获互联网上页面的标题和页眉，还能抓取所有内容。WebCrawler取得了巨大的成功——如此成功，以至于很多时候它甚至无法被利用，因为它的系统资源都被使用了。

那一年稍晚些时候，Lycos发布了，包括许多与WebCrawler相同的功能，并以此为基础进行了构建。Lycos根据相关性对其结果进行排名，并允许用户调整一些设置以获得更适合的结果。Lycos也是一个巨大的公司——在it年内，它已经存档了100多万个网站，在两年内，它已经达到了6000万个。