这个「国家（指 Google）」是网络世界中的第一个霸权，它可以控制数据和知识的流通，影响人类的所见所闻乃至精神世界的每个方面；它握有大量个人隐私信息，并且具有无可撼动的垄断地位；它在许多场合起到的已经是近乎可以类比于公权力的作用。而另一方面，它只是一家私有公司，没有任何方式可以从外部对它合法的控制力进行监督和制约。它当然也许确实会始终尽量不干预搜索排名，小心翼翼地维护互联网的自由和公正，但这只是它自己的道义承诺而已，而我们甚至想不出什么办法来验证这一点。

木遥的整篇文字非常中肯，但若单独摘引这一段，则是典型的“断章取义”。同一段文字，放在木遥的全文里看与单独看此段，差不多会造成两种理解，作语义的同学想必对此有深刻体会，这就是 Context（上下文）的作用。

在 Personalization 方面，亦是如此 —— Context 非常重要！

春节前，kuber 在 Resys Group 里发起了一个讨论，“基于SNS/Lifestream的推荐”，提到了 Google 近期的一些动作。其实长久以来，在个性化领域，Google 一直在下一盘很大的棋！看看他的布局吧。

1. Personalized new tab page
   这个是2009年1月 Google Toolbar 推出的一个 feature，当你打开 Firefox 时，不再只是看到一个空白 tab 页，Google 会根据你的浏览历史，为你定制一个个性化 tab，包含你最常用的一些站点或页面。这个已经是新一代浏览器的标配了。

2. Interested-based Ads
   传统的 Adsense 广告，是根据与网页内容的相关度进行展示的，与浏览者本身的兴趣无关。2009年3月 Google 推出了这种基于用户兴趣的广告，浏览者看到的不再仅是与内容相关的广告，而是与其本身兴趣相符的广告。至于用户兴趣哪里来的？抛开搜索记录不说，遍布互联网的 Analytics 和 Adsense 脚本本身，就能干不少事情了。

3. Personalized keyword-suggestions
   尽管这个搜索提示功能没少给谷歌找麻烦，但 Google 显然认为这个东东对用户是有益的，尤其是对登录之后的搜索用户。当用户登录了 Google 帐号，并启用了 Web History 功能之后，搜索提示会把你最近频繁使用的几个关键字显示给你，这对搜索到一半被打断回头又想继续的用户来说体验很好。当然了，谷歌用户自然是无缘使用的。

4. Google Reader by Personalized Ranking
   个性化的信息阅读，是用户长久以来的心声，久觅未果不少人甚至已经开始自己动手实现。2009年10月，Google Reader 对在这方面的官方支持终于千呼万唤始出来。最吸引眼球的是新增的“Sort by magic”排序功能，它综合考虑用户的阅读历史，包括 Trends、Start、Share 以及 Like 等，将待阅读的内容进行个性化地排序。这对动辄 1000+ 未读条目的用户来讲，绝对是个福音，就我个人的使用体验来看，效果相当不错。

5. Google News Personalization
   2009年10月，Google CEO Eric Schmidt 在接受采访的时候说，“想像这样一个媒体：它知道你是谁，知道你喜欢什么，知道你看过哪些新闻，它能够评价你是否喜欢正在阅读的文章，还能够专门挑出你感兴趣的广告…”——科技是多么的伟大！但也有用户说了，“靠！这简直是阿鼻地狱啊，还是麻溜地不要再用 Google 服务了”，杯具啊！

6. Personalized Search
   Google CEO Eric Schmidt 和美女总裁都说了，“搜索的未来要靠个性化”！目前，基于关键字的搜索，无疑已经成为帮助用户从信息海洋中寻找内容的重要手段，但互联网暴长的数据容量其实让 Google 也很头大。搜索引擎通过长期分析用户的搜索行为，可以感知用户的意图，从而在特定范围内完成搜索，有效地提高搜索效率，增强用户粘性。有关 Google 个性化搜索更详尽的资料，可以参考这里，另外 Resys 里也有过一次热烈的讨论。

7. Personalized Gmail Ads
   从 Gmail 诞生的第一天，它就是贴着小广告的。这个事情之前差点犯了众怒，后来 Google 保证仅展示“Family-Safe”的广告，并许诺说，“Ads and links to related pages only appear alongside the message that they are targeted to, and are only shown when the Google Mail user, whether sender or recipient, is viewing that particular message.”。现在，Google 在标红的“only”前面加入了一个“not”。隐私问题与个性化服务的矛盾由来已久，这个事情我认为解决方案和 Google 退出中国的诉求是一致的，只要有法可依即可。关于 Gmail 里的广告，这里有一枚杯具，欢迎围观。

8. Google Buzz
   Buzz 在这事儿上毫不含糊，直接就说了，“Buzz recommends interesting posts and weeds out ones you’re likely to skip.”。为了验证 Google 的这个说法，我正在戒推进行中，全力使用 Buzz，看它能不能给我带来什么惊喜。就目前的体验来讲，我基本上是可耻的失败鸟。

9. Google Friend Connect
   Boss 总是最后出场！但人生就像一个茶几，你永远不知道下一个被放上来的是哪枚杯具。Facebook 新近发布的 Open Graph，有很大机会把擅长把别人搞成杯具的 Google 搞成彻头彻尾的杯具帝，让我们拭目以待吧！

图片来源

1. 尽可能多的扩展公开的数据源。比如，看我在 twitter 上推过哪些短址；看我在 delicious 上收藏了哪些链接；看我在 douban 上分享了哪些内容。GReader 的用户差不多都是网络的重度使用者，这方面可用的来源肯定不少。比如我，如果你订阅了我的 FriendFeed，那么我一天在看什么，你就差不多能知道一个大概了。
2. 需要时间来积累。

这个问题，没有捷径。

对于问题二，其实之前在 kuber 做 feedzshare 的时候，我就和他讨论过。当时说了要写一篇 blog 的，后来由于我太懒就作罢了。我个人意见，GReader Share 的数据不适合做推荐，应该拿来做过滤器。这个后面展开。

二、有时效性和无时效性
大多数情况下，这个世界并不是非黑即白的。
对于时效性，我个人觉得别把它作为一个太过绝对的概念，它是和人相关的，应该作为一个相对的概念来理解。对于新近才接触某个领域的人来讲，翻翻老皇历也是有必要的。比如你看了我之前这篇的唠叨，对汪峰起了兴趣，那挖出他在鲍家街的老八卦看看也挺有意思，这些信息是新鲜的。而对于同样的内容，给我看就没什么意思了，它们out了。

因此，除了像刘未鹏所指出的“将文章分为有时效性（如新闻时政类）和无时效性（如读书笔记、GTD方法等）”这个方法，我觉得还可以从用户这个角度做一些事情。简要来讲，第一，划分用户关注的领域，这个基本是文本分类的问题，方法有不少，但大规模做起来很难，当然也并没有难到不可解决；第二，让用户方便地在时间线上游动，这个需要考虑呈现方式，给个带时间的列表是一种，高级点的像下面这个。

三、惊喜很难吗？
我的回答是：确实很难！非常之难！
对于推荐系统的制作者，如果能让用户发出像 @imrchen 这样的感慨，那将是对其工作的最高程度的肯定。

@imrchen: 太神奇了，Amazon 竟然向我推薦 Python 書籍，我從來不曾在亞馬遜買過程式設計的書籍，最近買的和技術有關的書是 Beautiful Data，和 Python 完全搭不上邊。他們怎麼知道我最近在用 Python 開發東西，這樣的推薦未免也太神了吧！？

一个好的推荐系统制作者，需要钻研数据，精修算法，勤于思考，同时最重要的，要有一颗真正愿意帮助用户解决问题的心。

GReader Share 的数据更适合做过滤器

郑昀的文章里面，把 GReader Share 数据所存在的问题已经讲得很清楚了：基于 Google
Reader 的第三方推荐系统，能够拿到的数据是严重不足的。

你无法知道用户有意忽略了哪些文章，你很难拿到他的好友列表，Google不像
FriendFeed那样提供Dislike/Hide的按钮；你只知道他何时Share或like了某篇文章从何处（值得注意的一个细节是，如果用户是
自己订阅了煎蛋并推荐其中一篇文章，显然煎蛋对用户来说更加重要；相比而言，用户只是从其他人的Shared
Items订阅中share了煎蛋的某篇文章，却不去订阅煎蛋，说明煎蛋对他来说可能还不算重要。这个细节有点像“quick
stumbles”的思路）。

Google 开放出来的英文 ngram 数据，对我的工作很有帮助。但我通过一些途径联系 LDC 购买，始终得不到回复。阅读我 blog 的朋友，如果有能提供帮助的，烦请联系我，谢谢！

另外，Google Alert 的结果提供了 Feed 输出的方式，可以直接在 Google Reader 里面订阅，非常好用。
 

直到上周，我发现了一篇有意思的文章，'Google Suggest' Could Trump Expensive Keywords – For Now，看来和我一样喜欢瞎琢磨的人还是有的，哈哈。

这篇文章的作者做了实际的实验。

以“virtualization”关键字为例，使用 googe 提供的 keywords tool，限制最高 CPC 最高价为 $5.00，找到的关键字如下图所示。图中列出的是最贵的前 5 个，据作者讲，google keywords tool 找到的前 50 个关键字，CPC 价格全部在 $2 到 $3 之间。这个价格应该算是相当昂贵了。

接下来，有意思的事情来了。

作者在 google.com 上输入“virtualization”，google suggest 给出的建议关键字如下图所示。经研究发现，第 2 位，第 4 位，第 8 位，和第 10 位的四个关健字，

• Virtualization for Dummies
• Virtualization technology support
• Virtualization benefits
• Virtualization definition

在 Adwords 里面的 CPC 价格仅有 $0.05！
貌似价格比较高的关键字里面，只有“virtualization server”被 suggest 出来。

看起来在这件事情上，google 不作恶的信条保持得还蛮不错。比百度整的恶心事儿要强。

这个发现可以为 SEO 带来不小的市场机会！显而易见，google suggest 列表里面的关键字，被选中进行搜索的机会要比一般的关键字大得多。找出那些便宜的，买下它们，这是个好买卖。行动吧。

正面的指标：

1. [0038] 订阅数
   统计 blog 在各种 reader 中被订阅的数量。被订阅的越多，ranking 越高。但同时会使用一些方法处理“subscriptions spam”，诸如验证订制人和 IP 的唯一性。
2. [0039] 搜索点击数
   统计 blog 作为搜索结果时被点击的次数。点击次数越多，ranking 越高。
3. [0040] 在其他 blogger 的 blogroll 里的出现次数
   blogger 通常会使用 blogroll 来整理指到其他 blogger 的链接集合。统计所有 blogroll 中，指向某个 blog 的链接越多，ranking 越高。
4. [0041] 来自高质量的 blogroll 的链接数
   高质量的 blogroll 的链接大多都指向著名的或值得信任的 blog。
5. [0042] 来自高质量的 blog 的 blogroll 的链接数
   这里的假定是著名的或值得信任的 blogger 不会放指向 spam blog 的链接。
6. [0043] 有Tag
   blog 作者如果分析了 blog 内容，归类并打上了 tag，起码可以说明作者的态度比较认真。
7. [0044] 来自邮件和聊天记录的链接数
   如果在 Email 正文里或者聊天记录里出现了指向 blog 的链接，会加分。GEmail 和 Gtalk 被用在了这里。
8. [0045] PageRank
   PageRank 越高对应的 blog 也就越重要。考虑到blog的更新比较频繁，最新的 blog post 可能还没有PR。这时可以用对应的 blog 的 PR 来代替。

其中 [0040-0042]，其实是类似于传统网页间 PageRank 计算的一套模式，只不过这里把它限制在了 blog 之间。

负面的指标：

1. [0047] 更新频率异常
   更新过于频繁或者非常有规律，会被认为是在 spam，ranking 会降低。这里提醒喜欢在每天的固定时间更新 blog 的朋友注意一下了。
   
2. [0048] feed 内容和 blog 内容的不一致
   spammer 有可能会为了提升自己的 ranking 而把有价值的内容放到 feed 里面，同时在 blog 内容里面放一些指向不相关内容的广告链接。为了惩罚这种情况，对于 feed 内容和 blog 内容不一致的情况，要降低 ranking。
3. [0049] 出现重复内容
   有些 spammer 为了让某些内容能够多次长时间的出现在 feed 里面，会重复发布同样的内容。这样的情况会被惩罚。
4. [0050] 垃圾词过多
   通过词频统计（bi-gram 或者 tri-gram 等），如果 blog 内容里垃圾词的比较过高，会降低 ranking。
5. [0051] 多数 blog 长度相近
   这个主要是针对使用机器自动生成 blog 的情况。
6. [0052] 链接异常
   当 blog 里的链接多为指向单一网页，或者单一的外站，会被认为是在 spam，ranking 会降低。
7. [0053] 广告太多
   如果一个 blog 页面内含有过多的广告，会降低 ranking。
8. [0054] 广告出现在正文里
   一般 blog 页面会包括三方面的内容：最近发表的 blog，blogroll 和 metadata。如果广告出现在正文里，会降低 ranking。不知道 adsense 的广告有没有特殊待遇？

Peter Norvig 这样的大师的意见，我们需要仔细体会。我整理一下我感兴趣的。

1. tow phase of google search algorithms
   • An offline phase, which is time-consuming and query-independent.
   • An on-line phrase, in response to a user query in a few milliseconds.
2. Tons of training data … from the armies of "raters" employed by Google
3. The big surprise is that Google still uses the manually-crafted formula for its search results, despite the fact that, their best machine-learned model is now as good as, and sometimes better than, the hand-tuned formula on the results quality metrics that Google uses.
4. two reasons
• the human experts who created the algorithm believe they can do better than a machine-learned model
• Google's search team worries that machine-learned models may be susceptible to catastrophic errors on unforeseen query types, which is different from the training data.
5. Nassim Taleb divides Black Swan phenomena into two classes
   • Mediocristan
   • Extremistan
6. The current generation of machine learning algorithms can work well in Mediocristan but not in Extremistan.

So the thing is, how to figure out whether new machine learning algorithms can be devised that work well in Extremistan, or prove that it cannot be done?

不过近日，google 负责搜索质量的 VP， Udi Manber，透露了一些有意思的资料，"Introduction to Google Search Quality"。对 search 感兴趣的千万不要错过！我列举一下我感兴趣的。

1. more than one thousand programmer/scientist years have gone directly into their development (that is to say "the ranking algorithms").
2. divided into some teams
   • The heart of the group is the team that works on core ranking
   • Another team in our group is responsible for evaluating how well we're doing
   • Another team is dedicated to new features and new user interfaces
   • There is a whole team that concentrates on fighting webspam and other types of abuse
   • There are other teams devoted to particular projects
3. PageRank [1] is still in use today, but it is now a part of a much larger system. … made significant changes to the PageRank algorithm in January, 2008.
4. some other parts
   • language models (the ability to handle phrases, synonyms, diacritics, spelling mistakes, and so on)
   • query models (it's not just the language, it's how people use it today)
   • time models (some queries are best answered with a 30-minutes old page, and some are better answered with a page that stood the test of time)
   • personalized models (not all people want the same thing).
5. Google conducts evaluations typically in three manners, (1) automated evaluations every minute, (2) periodic evaluations of our overall quality and (3) evaluations of specific algorithmic improvements.
6. In 2007, … more than 450 new improvements, about 9 per week on the average.
7. .. work on projects where the sole purpose is to simplify the algorithms. Simple is good.

Udi Manber 是我最景仰的几位科学家之一。"Chief Algorithms Officer"这个职位，就是 Amazon 专门为表彰他的贡献而首创出来的。

推荐阅读：

1. 20 (Rare) Questions for Google Search Guru Udi Manber
2. Insight Into Google's Search Quality Efforts

来源：google china blog
作者：吴军，http://www.cs.jhu.edu/~junwu/。

数学之美 一 统计语言模型
数学之美 二 谈谈中文分词
数学之美 三 隐含马尔可夫模型在语言处理中的应用
数学之美 四 怎样度量信息?
数学之美 五 简单之美：布尔代数和搜索引擎的索引
数学之美 六 图论和网络爬虫 (Web Crawlers)
数学之美 七 信息论在信息处理中的应用
数学之美 八 贾里尼克的故事和现代语言处理
数学之美 九 如何确定网页和查询的相关性
数学之美 十 有限状态机和地址识别
数学之美 十一 Google 阿卡 47 的制造者阿米特.辛格博士
数学之美 十二 余弦定理和新闻的分类
数学之美 十三 信息指纹及其应用
数学之美 十四 谈谈数学模型的重要性
数学之美 十五 繁与简 自然语言处理的几位精英
数学之美 十六（上）不要把所有的鸡蛋放在一个篮子里 最大熵模型
数学之美 十六（下）不要把所有的鸡蛋放在一个篮子里 最大熵模型
数学之美 十七 闪光的不一定是金子 谈谈搜索引擎作弊问题(Search Engine Anti-SPAM)
数学之美 十八 矩阵运算和文本处理中的分类问题
数学之美 十九 马尔可夫链的扩展 贝叶斯网络 (Bayesian Networks)
数学之美 二十 自然语言处理的教父 马库斯
数学之美 二十一 布隆过滤器（Bloom Filter）
数学之美 二十二 由电视剧《暗算》所想到的 — 谈谈密码学的数学原理

还有一点感谢谷歌，就是这个改自黑板报的主题。^_^

先对相关内容作简单的摘录:

We believe that people’s information and the information they want to receive … needs to be accessible when and where they want it for them in a very personalized way.

The interesting thing is that this approach to having your information personalized is a benefit not only for the user who can continue to refine and target information … but also for businesses who want to know they are spending their money in an effective and targeted way.

As we continue to innovate and bring out … new products, we’ll also continue to … improve the experiences, bringing the most personalized and targeted information to people, which is ultimately our mission.

[We] provide access to the world’s information … [and] organize it in a very personalized and targeted way. That benefit drives the entire cycle of Google, and it’s fundamental.

联想到日前备受瞩目的“Kiko拍卖”事件，不得不让人担心，正在围绕“Personalized”展开业务的那些轻量级创业公司，他们的前景究竟如何？

Paul Graham 是Kiko的投资者之一。当Kiko刚开始在eBey上进行拍卖的时候，他曾经表示，Google Calendar的发布以及同GMail的完美结合，是导致Kiko失败的主要原因之一。他建议，新兴的创业公司应当从Kiko身上吸取教训，远离 Google的前进道路。那么，现在，当Google准备进军“Personalized”的时候，对于相关的这些公司，应该如何是好呢？

我个人倒是认为，在“Personalized”方面，Google一定不会是通吃的赢家！在《垂直搜索 or 个性化推荐》一文中，我也曾经提到，可以引入个性化技术的应用数不胜数，而且也不存在普遍适用的推荐算法，Google不可能也没有能力将其业务覆盖到所有这些方面。因此，只要选准一个方向，研究出最合适的推荐方法，那么，领先Google绝对是有可能的！

其实，就我个人来看，Google最擅长的，应该是开发Google员工在工作中使用的产品或服务。搜索自然不用讲了，其他的，例如，GMail， Google Calander，Google Reader，这些领域相关的服务商，我想基本上没有什么太多的机会了。但是其他的，例如，Youtube之于Google视频，Findory之于 Google News，我认为前者的胜算可能就比Google大。这是因为，Google员工应该很少会在工作中观看视频或者浏览新闻。况且，Google已经完完全 全地发展成为一个庞然大物型的公司，而这正是Google为数不多的弱点之一。因为通常情况下，随着公司规模的扩大，官僚主义作风也会随之加重，这会导致 其比较难接受新奇的事物。

因此，致力于“Personalized”的轻量级创业公司，我的结论是：选好方向，发挥创意，放心大胆地冲吧！