上个月，Hulu CEO Jason Kilar 做了一场非常精彩的报告，分享了 Hulu 的成长经历、营收数据以及对于视频行业未来发展的一些看法。Hulu 的成功绝对称得上是一个奇迹，尤其是从商业角度来考量，他用相当于 Youtube 10% 的流量，赢得了 40% 的市场份额。

在报告视频中，你可以听到 Jason 对 Hulu 北京团队的称赞！我曾经有幸拜访过他们位于清华科技园的办公室，这是一个低调得令人发指的团队，然而做的事情却着实有趣。在 Hulu 工作是彻头彻尾的互联网模式，商业团队在美国，技术团队在北京，目标一致全球协作，绝非XX中国之类可以比拟的。

Hulu 可以称得上是追求商业与技术相融合的典范。当其他人还在对个性化技术犹豫不决的时候，他们几乎已经完成了最佳实践。Hulu 将个性化技术应用到了产品的许多角落，于细节之处彰显实力，是进行山寨式微创新的绝佳研究对象。

上图是经典的“如果你喜欢…那么你可能还喜欢…”的推荐场景，这个功能尽管常见，但很有讲究。推荐应该放哪儿，什么展现形式以及什么时机显示？想一想，这些问题你会怎么解决？Hulu 团队的答案是 A/B Test，让数据来指导产品决策。再看细节，“Bookmarked” 是一个很契合场景的小功能，是一个用心的设计。这个场景 Hulu 做到的效果是：看到这个推荐的用户中，有10%的用户点击观看或者收藏了推荐的影片。但其实整个场景里面我最想说的，是右上角的“Does this recommendation interest you?”这一点。我一直有一个看法：对于推荐产品，用户反馈的作用怎么强调都不为过，虽然用户确实是懒的，做推荐产品也确实要讲究隐性反馈，但这绝不代表你不能要求用户做出选择。既要能够收集到有价值的反馈，又要使得用户感受到产品对他的尊重，如何平衡这个矛盾，是需要具备相当智慧的。如果你正在招聘推荐相关的产品经理，这个事情很值得问一问。

用户不喜欢广告，这件事情相信谁都明白。Jason 给出了一个数据，“内容厂商每挣一美元，其中就有 41 美分来自广告”，因此，一切抛开广告谈视频产业未来的做法都是浮云，结论就是——绕不开广告，就让它变得更加美好。Hulu 的 mission 分为两部分：第一部分是“To help people find and enjoy the world’s premium content; when, where and how they want it.”；第二部分是“As we pursue our mission, we aspire to create a service that users, advertisers and content owners unabashedly love.”。基本上第一部分无论从内容覆盖度上还是受众覆盖度上，都没有做到；显然大家都看得出来，第二部分才是真正的 mission，^_^。第二部分也的确是整个产品里面 Hulu 最下功夫的地方：1）广告的品质很高，这应该得益于主打品牌广告的策略；2）围绕广告给予用户很多选择，上图中红圈显示的仅是一例；3）基于用户的选择与反馈，使用个性化技术驱动广告与用户的喜好越来越相关。就目前公开的数据来看，在用户满意度、广告有效性以及自身收入这三个方面，Hulu 都确实取得了相当不错的成绩。作为一个有追求的程序男青年，我曾经很纠结：从技术角度需要理想化，从商业领域需要直截了当，难道除了更高更快更强地搜索假药之外，技术就不能够有效变现了吗？Hulu 让我释然了。

其他有意思的事情还有不少。比如，1）他们对于推荐模块使用了 Ajax 处理，只有当用户把页面拖到相应位置的时候，才会动态加载推荐数据，这样可以更精确地考量推荐算法的效果。2）在同一个功能区，他们会均衡投放广告与推荐影片的比例，背后的逻辑是，用户看到更多感兴趣的影片->停留的时间更长->看到广告的整体数量增多，这可以转化为一个相当理性的数据模型，照着收益最大化持续优化就好了。3）他们通过分析已注册用户观看过视频的历史数据，来对未注册用户建立预测模型。看下图这个例子，从全局统计数字来看，观看左边这部影片的用户中，63%是女性，37%是男性，通常的做法，会给这部影片搭配一段针对女性的广告，那么，那37%的男人们就杯具了。而 Hulu 讲究的是搭配有针对性的广告，对于已注册用户，Hulu 是知道性别数据的；对于不知道性别的未注册用户，Hulu 通过分析其浏览记录来预测其性别，比如同时还看过右侧那一坨影片的，就有极大可能是女性。这些数学模型其实都不难，但想在合适的地方让它们派上用场，这个还是需要一些功力的。

前两天我发了一条微博，“对数据的理解和问题的建模是第一位的，用多么高级的算法根本不是重点”。这是我个人的一些感触，我相信大部分场景应该也是适合的。但推荐深入作进去，绝对是个考验算法实力的事情。和一个靠谱的团队在一起，事半功倍！

评价一个团队，我个人有一个不太成熟的判断标准，就是看其中有没有辍学生，这点最起码能说明一个问题：正在做的事情是否足够性感，让人愿意抛开束缚全情投入。很巧的是，Hulu 北京团队里面就有这样一位从北大退学的博士生，非常给力。他们正在招聘，有兴趣的可以到这里看看，或者可以直接联系：郑华@Twitter。

这里还有一些好玩儿的照片。

本文首发 ResysChina：http://www.resyschina.com/2010/12/hulu-team.html

您可能也喜欢：
Hulu：广告也可以很有爱 (@resyschina)	2011年Hulu业绩增长60% (@tech2ipo)	StumbleUpon + Hulu = ？ (@resyschina)	从话题广告说开去	Google Suggest and Adwords
无觅

在 StumbleUpon 身上有一段儿传奇的经历。2007年5月，eBay 花了 75 个 million 的美刀把 StumbleUpon 收入囊中，而且据说当时 Google 对它也很有兴趣。但在归入 eBay 旗下之后，StumbleUpon 并没有取得预期的更大的发展，反而星光暗淡停滞不前了。其实这倒也没什么，要知道绝大多数类似的收购案例都是差不多的结局。但令人意外的是，差不多一年半以后，StumbleUpon 的两位创始人 Garrett Camp 与 Geoff Smith 又把它从 eBay 手里买了回来！算是拯救自己的孩子于水火了。无独有偶，据报道，eBay 刚刚把它2005年收购的 Skype 又给卖了出去。eBay 不好好搞自己的拍卖，当起了高科技二道贩子，让人无语啊。

好了，言归正传，说说 StumbleUpon 的算法吧。毋庸置疑，算法绝对是 StumbleUpon 的 top secret，外人是不可能知道确切情况的。所以我这里给出的，只是某位高人经过不断实验得到的推测。

具体的推理过程大家可以看那篇 blog，我这里直接给出结果：用来衡量一篇文章在 StumbleUpon 系统内得分的公式。假设 stumbler a 提交了一篇文章 d，d 属于 domain D。

这里面最重要的一个参数，就是 A -“stumbler audience”。stumbler 指的就是使用 StumbleUpon 的用户，所以顾名思义，stumbler audience 大概说的就是一个 stumbler 在 StumbleUpon 系统内的权重，它由下面三个主要因素构成，

• Number of fans
• Number of thumbs up and down you have given
• Stumble thumb bonus – increase to score based on number of thumbs received on a page.

这个公式的大意可以理解为，文章 d 的权重，等于最初的提交者贡献的得分，加上后续 stumble up 用户贡献的得分，再减去后续 stumble down 用户带来的负面影响。
公式具体的解释如下，
1）第一个加号之前的部分，表示 a 的权重，除以 a 在 domain D 内总共提交的文章数。
2）第一个求和部分，表示后续的 stumble up 用户做出的总体贡献。alpha 是 stumble up 操作的调和参数。gamma 表示“organic bonus”，是一个预设值，是对使用了 StumbleUpon Toolbar 的额外加分。delta 表示“nonfriend”惩罚因子，用来减弱无/少 friends 用户的影响力。
3）第二个求和部分与前面这个类似，表示后续的 stumble down 用户对总体得分造成的影响。
5）N，比较奇怪，高人文章里说是一个随机数，不过我没太搞明白为什么要加这么一个参数。

不知道是高人的英文写作水平有问题，还是我的英文阅读能力不行，反正高人的这篇文章看起来非常晦涩，如果我这里的理解有什么问题的话，大家一定帮忙指出来。

延伸阅读：Social Media排序算法的四种模式，旁观者 – 郑昀

最后插一句，汪峰的新专辑《信仰在空中飘摇》，非常之好听，强烈推荐！

Y Combinator 只关注于最早期的创业团队，在创业团队的起步阶段介入并提供相应的帮助。Y Combinator 会定期举行 Funding Application 的活动，接受创业团队提交的项目资料。项目如果评审通过的话，Y Combinator 会提供一种“$5000 + $5000n”模式的投资，其中 n 指的是愿意参与此项目投资的 Y Combinator 合伙人的人数。比如，如果有 2 个合伙人愿意投资，那么最终的投资额度是 $15000；如果有 3 个的话就是 $20000。作为回报，Y Combinator 将占有创业团队 2% 到 10% 的股份，通常是 6%。钱虽然不多，但在现今创业公司大量使用 open source，AWS 或者 GAE 的情况下，这些钱也确实够展开工作了。

据说 Y Combinator 已经累计投资了 80 多个创业项目，除 reddit 之外，我还算熟悉的另外一个是 Scribd ——“YouTube for Documents”。Y Combinator 最初总共为 Scribd 提供了 $12000 的投资。Scribd 在 2007 年 5 月正式上线，随即就是飞速地增长，上线一个月之后就完成了 $3.5 million 的 A 轮融资，2008 年 12 月又完成了 $9 million 的 B 轮融资，发展得很是不错。一个有意思的事情，Scribd 有一个超级 NB 的用户，Barack Obama，对，现任美国总统！

在 Y Combinator 的合伙人中，我个人比较关注的是 Paul Graham。他写过一篇流传很广的文章，How to Start a Startup。Paul 在 Anti Spam 方面颇有造诣，以前我在研究相关问题时，从他这里学到了很多东西。Paul 是 Lisp 的大牛，另外还是 Arc 语言的设计者，Hacker News 应该就是用 Arc 语言开发的。Paul 始终称自己是一名 programmer，相比于当前乌泱乌泱的架构师，很是洒脱。

下面言归正传，看看 Hacker News 使用了怎么样的算法。

Hacker News 所使用的公式非常简单，

    (p – 1) / (t + 2)^1.5

其中，
1）p 表示文章得到的投票数，之所以要使用 (p – 1)，应该是想去掉文章提交者的那一票。
2）(t + 2)^1.5， 这个是时间因子。t 表示当前时间与文章提交时间间隔的小时数。但为什么要加 2 之后再取 1.5 的幂，似乎就没什么道理可言了，也许是个 trial-and-error 的结果吧。

总体来讲，Hacker News 的公式不像 reddit 设计的那么巧妙。但是与 reddit 相比，Hacker News 的用户群比较集中，提交的文章更 Focus，质量也相对更高一些，因此实际的效果并不差。其实某些时候，解决问题就是这样，够用就好。

群体智慧，是 social media 的基础。其基本假设是说，参与到 social 中的群体越多，media 所反应出来的智慧越高超。但如何把群体活动转化为可被使用的智慧呢？这个就是算法发挥作用的地方了。

本文将陆续披露 Reddit，Stumbleupon，Del.icio.us，Hacker News 等一系列站点所使用到的算法。

Reddit，背景介绍可以参考我之前写的两篇短文：1）社会新闻网站：Reddit 和 Findory；2）Reddit 被收购了。

1、公式构成

假设有一篇文章《Social Media Algorithm》，与其相关的有两个时间 A 和 B，其中，A 为某篇文章的具体发布时间，精确到秒；B 为一个固定的时间常量，2005-12-8 7:46:43。则可以计算得到 A 和 B 间隔的秒数 t_s，

另外，U 表示 《Social Media Algorithm》一文得到的支持票数，D 表示得到的否定票数，则可以计算得到 x，

定义变量 y，

定义变量 z，

最后定义得分公式 为，

2、公式解释

1）时间点 B，2005-12-8 7:46:43，是一个固定的值，猜测应该是 Reddit 的上线时间。t_s 反映了文章的新鲜程度。引入 B 是一个非常优雅的技巧，它使得新鲜度的度量可以独立于系统当前时间。
2）y 表示支持数和否定数之间的相对关系。被否定多的文章得负分，这是合乎常理的。
3）45000 代表的是一个 12.5 小时周期内的总秒数。它 与 yt_s 一起使用，随着时间的推移，新文章的得分会逐渐超越高投票数的老文章，从而实现自动更新的效果。
4）log₁₀ 的使用是另外一个技巧，它可以使得早期的投票获得更大的权重。比如，前 10 票获得的权重，与 11 到 101 票所获得的权重是一样的。

整个公式的效果可以简单解释为：在 00:00:00 发布的一个帖子 a，如果它想在 12.5 小时之后，能够取得与在 12:30:00 发布的帖子 b 同样的得分，则必须在 00:00:00 点到 12:30:00 这段时间内，把它的得票数扩大 10 倍。注：这个解释不精确，但容易理解一些，不然写着太绕。
不过，其中 45000 与 log₁₀ 的选择不是通用的，得根据自己网站实际的情况进行修正。这是一个 trial-and-error 的过程，也是作算法的人最头大的部分。

3、来源
code.reddit.com，Redflavor.com 以及 Hacker News 的用户 Aneesh。

Google 开放出来的英文 ngram 数据，对我的工作很有帮助。但我通过一些途径联系 LDC 购买，始终得不到回复。阅读我 blog 的朋友，如果有能提供帮助的，烦请联系我，谢谢！

另外，Google Alert 的结果提供了 Feed 输出的方式，可以直接在 Google Reader 里面订阅，非常好用。
 

直到上周，我发现了一篇有意思的文章，'Google Suggest' Could Trump Expensive Keywords – For Now，看来和我一样喜欢瞎琢磨的人还是有的，哈哈。

这篇文章的作者做了实际的实验。

以“virtualization”关键字为例，使用 googe 提供的 keywords tool，限制最高 CPC 最高价为 $5.00，找到的关键字如下图所示。图中列出的是最贵的前 5 个，据作者讲，google keywords tool 找到的前 50 个关键字，CPC 价格全部在 $2 到 $3 之间。这个价格应该算是相当昂贵了。

接下来，有意思的事情来了。

作者在 google.com 上输入“virtualization”，google suggest 给出的建议关键字如下图所示。经研究发现，第 2 位，第 4 位，第 8 位，和第 10 位的四个关健字，

• Virtualization for Dummies
• Virtualization technology support
• Virtualization benefits
• Virtualization definition

在 Adwords 里面的 CPC 价格仅有 $0.05！
貌似价格比较高的关键字里面，只有“virtualization server”被 suggest 出来。

看起来在这件事情上，google 不作恶的信条保持得还蛮不错。比百度整的恶心事儿要强。

这个发现可以为 SEO 带来不小的市场机会！显而易见，google suggest 列表里面的关键字，被选中进行搜索的机会要比一般的关键字大得多。找出那些便宜的，买下它们，这是个好买卖。行动吧。

要解决的问题可以简化描述一下：

1. 有两组数据，input1 { P1, U1; P1, U2; P2, U3; P3, U4; P4, U4 }，input2 { P1, C1; P1, C2; P2, C3; P3, C3; P3, C4; P4, C4 }。
2. 要求执行类似于数据库两表 Inner Join 的操作，以 P 为 key，建立起 U 和 C 直接的对应关系，即最终结果为 output { U1, C1; U1, C2; U2, C1; U2, C2; U3, C3; U4, C3; U4, C4 }。

在数据库里，使用类似的 SQL 可以达到要求：SELECT DISTINCT(U, C) FROM input1 INNER JOIN input2 ON  input1.P=input2.P。但如果要放在 Hadoop 里面求解，就需要动些脑筋了。

研究这个问题，首先需要理解 Hadoop 的运行机制。简单来讲，Hadoop 分为 Map 和 Reduce 两个操作：Map 操作将输入（如一行数据）格式化为 <key: value1><key: value2><key: value3> … <key: valueN>这样的一组结果，作为 Map 的输出。Hadoop 在 Map 和 Reduce 之间，会自动把 Map 的输出按照 key 合并起来，作为 Reduce 的输入。Reduce 得到这样一个 {key: [value1, value2, value3, ..., valueN]} 的输入之后，就可以进行自己的处理，完成最终计算了。

针对于我们这里要解决的问题，步骤如下。

1. 将 Map 的输入构造为下面的格式：来自于 input1 的输入格式化为 {<input1, P1>: U1, U2}；来自于 input2 的输入格式化为 {<input2, P1>: C1, C2}。
2. 在 Map 操作内，将数据转化为 {P1: <input1, U1>}，{P1: <input1, U2>}，{P1: <input2, C1>}，{P1: <input2, C2>}，作为 Reduce 操作的输入。
3. 经过 Hadoop 内部自己的操作，实际 Reduce 操作的输入为：{P1: <input1, U1>, <input1, U2>, <input2, C1>, <input2, C2>}。
4. Reduce 里操作会复杂一下。首先需要执行一次 regroup，得到如下的结果 {<input1>: <input1, U1>, <input1, U2>; <input2>: <input2, C1>, <input2, C2>}。把这个结果拆开，可以得到两个集合：{<input1>, <input2>} 与 {[<input1, U1>, <input1, U2>], [<input2, C1>, <input2, C2>]}。
5. 循环集合2，即可以得到最终结果。不过在 Reduce 里面作这个循环是需要一定技巧的，讲起来比较绕，大家就直接看后面的代码吧。
6. 在此 Reduce 的结果之上，再跑一个 Map/Reduce，还可以得到 <U, C>的次数，作为每个组合的权重。

对于大数据量，需要启用 Hadoop 的数据压缩功能。

这是一个通用地解决 Inner Join 问题的思路，在 Hadoop 的 contrib package 里有具体的代码实现，参见 org.apache.hadoop.contrib.utils.join。
国内还有哪个 team 在用 Hadoop？欢迎交流！

正面的指标：

1. [0038] 订阅数
   统计 blog 在各种 reader 中被订阅的数量。被订阅的越多，ranking 越高。但同时会使用一些方法处理“subscriptions spam”，诸如验证订制人和 IP 的唯一性。
2. [0039] 搜索点击数
   统计 blog 作为搜索结果时被点击的次数。点击次数越多，ranking 越高。
3. [0040] 在其他 blogger 的 blogroll 里的出现次数
   blogger 通常会使用 blogroll 来整理指到其他 blogger 的链接集合。统计所有 blogroll 中，指向某个 blog 的链接越多，ranking 越高。
4. [0041] 来自高质量的 blogroll 的链接数
   高质量的 blogroll 的链接大多都指向著名的或值得信任的 blog。
5. [0042] 来自高质量的 blog 的 blogroll 的链接数
   这里的假定是著名的或值得信任的 blogger 不会放指向 spam blog 的链接。
6. [0043] 有Tag
   blog 作者如果分析了 blog 内容，归类并打上了 tag，起码可以说明作者的态度比较认真。
7. [0044] 来自邮件和聊天记录的链接数
   如果在 Email 正文里或者聊天记录里出现了指向 blog 的链接，会加分。GEmail 和 Gtalk 被用在了这里。
8. [0045] PageRank
   PageRank 越高对应的 blog 也就越重要。考虑到blog的更新比较频繁，最新的 blog post 可能还没有PR。这时可以用对应的 blog 的 PR 来代替。

其中 [0040-0042]，其实是类似于传统网页间 PageRank 计算的一套模式，只不过这里把它限制在了 blog 之间。

负面的指标：

1. [0047] 更新频率异常
   更新过于频繁或者非常有规律，会被认为是在 spam，ranking 会降低。这里提醒喜欢在每天的固定时间更新 blog 的朋友注意一下了。
   
2. [0048] feed 内容和 blog 内容的不一致
   spammer 有可能会为了提升自己的 ranking 而把有价值的内容放到 feed 里面，同时在 blog 内容里面放一些指向不相关内容的广告链接。为了惩罚这种情况，对于 feed 内容和 blog 内容不一致的情况，要降低 ranking。
3. [0049] 出现重复内容
   有些 spammer 为了让某些内容能够多次长时间的出现在 feed 里面，会重复发布同样的内容。这样的情况会被惩罚。
4. [0050] 垃圾词过多
   通过词频统计（bi-gram 或者 tri-gram 等），如果 blog 内容里垃圾词的比较过高，会降低 ranking。
5. [0051] 多数 blog 长度相近
   这个主要是针对使用机器自动生成 blog 的情况。
6. [0052] 链接异常
   当 blog 里的链接多为指向单一网页，或者单一的外站，会被认为是在 spam，ranking 会降低。
7. [0053] 广告太多
   如果一个 blog 页面内含有过多的广告，会降低 ranking。
8. [0054] 广告出现在正文里
   一般 blog 页面会包括三方面的内容：最近发表的 blog，blogroll 和 metadata。如果广告出现在正文里，会降低 ranking。不知道 adsense 的广告有没有特殊待遇？

Peter Norvig 这样的大师的意见，我们需要仔细体会。我整理一下我感兴趣的。

1. tow phase of google search algorithms
   • An offline phase, which is time-consuming and query-independent.
   • An on-line phrase, in response to a user query in a few milliseconds.
2. Tons of training data … from the armies of "raters" employed by Google
3. The big surprise is that Google still uses the manually-crafted formula for its search results, despite the fact that, their best machine-learned model is now as good as, and sometimes better than, the hand-tuned formula on the results quality metrics that Google uses.
4. two reasons
• the human experts who created the algorithm believe they can do better than a machine-learned model
• Google's search team worries that machine-learned models may be susceptible to catastrophic errors on unforeseen query types, which is different from the training data.
5. Nassim Taleb divides Black Swan phenomena into two classes
   • Mediocristan
   • Extremistan
6. The current generation of machine learning algorithms can work well in Mediocristan but not in Extremistan.

So the thing is, how to figure out whether new machine learning algorithms can be devised that work well in Extremistan, or prove that it cannot be done?

不过近日，google 负责搜索质量的 VP， Udi Manber，透露了一些有意思的资料，"Introduction to Google Search Quality"。对 search 感兴趣的千万不要错过！我列举一下我感兴趣的。

1. more than one thousand programmer/scientist years have gone directly into their development (that is to say "the ranking algorithms").
2. divided into some teams
   • The heart of the group is the team that works on core ranking
   • Another team in our group is responsible for evaluating how well we're doing
   • Another team is dedicated to new features and new user interfaces
   • There is a whole team that concentrates on fighting webspam and other types of abuse
   • There are other teams devoted to particular projects
3. PageRank [1] is still in use today, but it is now a part of a much larger system. … made significant changes to the PageRank algorithm in January, 2008.
4. some other parts
   • language models (the ability to handle phrases, synonyms, diacritics, spelling mistakes, and so on)
   • query models (it's not just the language, it's how people use it today)
   • time models (some queries are best answered with a 30-minutes old page, and some are better answered with a page that stood the test of time)
   • personalized models (not all people want the same thing).
5. Google conducts evaluations typically in three manners, (1) automated evaluations every minute, (2) periodic evaluations of our overall quality and (3) evaluations of specific algorithmic improvements.
6. In 2007, … more than 450 new improvements, about 9 per week on the average.
7. .. work on projects where the sole purpose is to simplify the algorithms. Simple is good.

Udi Manber 是我最景仰的几位科学家之一。"Chief Algorithms Officer"这个职位，就是 Amazon 专门为表彰他的贡献而首创出来的。

推荐阅读：

1. 20 (Rare) Questions for Google Search Guru Udi Manber
2. Insight Into Google's Search Quality Efforts