吉娜·特拉帕尼

您一直在努力使用del.icio.us、Google Notebook或digg等在线服务为网页添加书签和剪辑。当然，将数据存储在web上对于任何在线计算机访问都是非常好的，但是在一个廉价、巨大的硬盘和强大的桌面搜索的时代，为什么不将您在web上保存的数据复制到您的计算机上呢？这样，你将拥有一份书签时显示的每个网页的副本，以及一份可搜索的研究档案，即使你离线时也是如此。

使用我最喜欢的命令行工具wget，您可以将del.icio.us链接、diggs或公共Google笔记本的页面内容自动高效地下载到硬盘上。

wget 101

Wget新手们，看看我的第一个Wget教程。在这里，您将了解wget的工作原理、下载位置以及wget命令的格式。

老手，跟我来。

归档del.icio.us书签

假设您有一个关于软件当前状态的演示，并且您一直在del.icio.us书签的“软件”标签中收集关于该主题的研究。下载从中链接的所有文档http://del.icio.us/ginatrapani/so…使用以下命令分页（不带换行符）：

wget -H -r --level=1 -k -p -erobots=off -np -N --exclude-domains=del.icio.us,doubleclick.net http://del.icio.us/ginatrapani/software

如何运行此脚本：替换http://del.icio.us/ginatrapani/software 使用您的del.icio.us用户名和所需的标记。创建一个名为“del.icio.us archive”的新目录，并从该目录的命令行运行您编辑的脚本版本(更好的方法是，将命令复制并粘贴到文本文件中，根据自己的需要进行调整，并将其另存为脚本-.bat（Windows用户）和.sh（Mac用户）。然后运行脚本，而不是每次都键入那么长的内容。）命令完成后，您将在del.icio.us链接中设置以每个域命名的目录，其中存储有文件。

分解：此命令告诉wget获取从中链接的所有文档http://del.icio.us/ginatrapani/software:

• -H：跨主机意味着，获取从del.icio.us到其他站点的所有链接
• -r：递归地
• -level=1:1级，这样就不会抓取那些页面链接到的所有文档
• -k：将本地副本链接转换为指向页面本地副本的链接
• -p：获取所有图像和其他辅助文件，以完整地构建页面
• -erobots=off：忽略robots.txt文件，只需下载即可
• -np：不要进入父目录（或所有ginatrapani的书签）
• -N:只下载比已经下载的更新的文件
• -exclude domains=del.icio.us，doubleclick.net：排除指向其他del.icio.us页面和doubleclick.net上的广告服务器的链接，因为您不想下载广告。

如果您无法接受，只需运行指向您自己的del.icio.us书签的命令即可。相信我，这是有效的。

或者，使用以下命令（省略换行符）获取所有del.icio.us书签，而不是将下载限制为一个标记：

wget -H -r --level=1 -k -p -erobots=off -np -N --exclude-directories=ginatrapani --exclude-domains=del.icio.us, doubleclick.net http://del.icio.us/ginatrapani

此命令与上一个命令的唯一区别在于，它包含一个“-exclude directories=ginatrapani”指令，该指令防止wget不必要地下载每个标记文件夹。

存档某人的挖掘

假设你想把凯文·罗斯·迪格斯的所有故事存档。wget命令看起来像这样（没有换行符）：

wget -H -r --level=1 -k -p -erobots=off -np -N --exclude-domains=digg.com,doubleclick.net,doubleclick.com,fastclick.net,fmpub.net,tacoda.net,adbrite.com,sitemeter.com http://digg.com/users/kevinrose/dugg

与上面的命令类似，这个命令排除了更多的广告服务器（这样你就不会用横幅广告图片填满硬盘），并指向kevinrose的dugg页面。

存档一个公共的谷歌笔记本

谷歌笔记本是一个很好的方式来剪辑网页的各个部分，并在网上做笔记，你可以将这些笔记本公开。假设你有一个公共谷歌笔记本，上面有你在网上找到的航空报价，你想在离线时在本地存档。将wget指向该笔记本，并告诉它使用此命令将页面保存到aviationquotes-notebook.html(省略换行符。）

wget -k -p -erobots=off -np -N -nd -O aviationquotes-notebook.html http://www.google.com/notebook/public/18344006957932515597/BDSKUIgoQ9K_Emdkh

本地存档web的提示和技巧

使用谷歌桌面或MacOSX的Spotlight搜索您下载的书签和网络剪辑的内容。Mac上的认真研究人员也可以将下载的文档导入DevonThink。

使下载的页面在x时间后过期。如果你想在过去两周内阅读凯文的所有资料，请使用硬盘驱动器管理员清理下载文件夹，这将删除旧文件。

在OS X和Linux上使用Windows任务调度器或cron计划wget下载的自动运行。

有你一直使用的值得信赖的wget配方吗？或者是关于这里介绍的任何一个问题？在评论中给我们打电话。

Lifehacker的编辑Gina Trapani认为分布式个人数据是**级应用。她的半周专题片《极客生活》每周三和周五在Lifehacker上播出。订阅Geek to Live订阅源，在您的新闻阅读器中获得新的分期付款。