最好走的路越走越难,最难走的路越走越容易

Follow guwendong on Web
  • Subscribe to Beyond Search via RSS
  • Follow @clickstone on SinaWeibo
  • Join Resys Google Group
  • Follow @clickstone on Douban
  • Follow @clickstone on Twitter

Category Archives: 推荐系统

「个性化」时代

2011年初我发表了一篇文章《搜索已死,推荐上位》, 结果证明实际情况蛮配合的,2011年可以说是个性化推荐爆发的一年。我订阅了推荐引擎/个性化推荐等几个微博关键字,眼睁睁地看着相关的微博内容蹭蹭地往上涨,懂的不懂的不懂装懂的打酱油的都在提个性化,甚至连僵尸帐号都在掺和。春节订票大家被折腾得不行了,有朋友表示,“12306,你妈妈叫你做个性化推荐!”。这一年,小事儿咱不表,看看几家大佬的表态。

  1. 迟来的产品升级 百度终上个性化推荐的新台阶』 百度CEO李彦宏将此次转变称为百度首页“迄今为止最重大的改变、最重要的创新”。其中的一大创新之处是百度对“推荐引擎技术”的应用,即基于用户行为、 兴趣建模,通过算法和数据分析,准确识别用户需求,向用户智能推荐想要的信息、服务或应用,从而提高用户转化率及强化用户黏性。
  2. 周鸿祎:360导航UV超hao123 未来布局垂直搜索』 周鸿祎表示,360浏览器和导航网站在中国的流量已经很大,但不会模仿百度做传统搜索,目前360已经在根据用户使用习惯推荐个性化内容,这可能代表了未来搜索的方向,另外360将在垂直搜索领域做一些尝试,将充分发挥浏览器覆盖面大的优势,在垂直搜索上给用户提供更多不同的体验。
  3. 搜狗首推探索引擎注重用户个性化需求』 搜狗积极开发的新一代“探索引擎”的目标,是要给寻找信息的网民完全不同的上网体验:例如,当用户打开浏览器阅读一篇新闻的时候,探索引擎会在页面下方自动推送其他网站相关的报道和评论;当用户在互联网上浏览商品信息的时候,新一代搜索引擎就会在页面下方自动向其推送其他网站上该商品的价格、优惠券以及商 品评论。也就是说,新一代搜索引擎能够“猜”到用户想要什么,并且及时向用户推送他所需要的信息。
  4. 数据在淘宝』淘宝会针对消费者提供一些个性化的推荐,未来的淘宝可能会比现在的淘宝发生非常大的变化,未来的淘宝会变得非常个性化,就是会有消费者更感兴趣的产品,如果卖家都能够对这些个性化的产品做足够多的准备,如果没有个性化能力的话那很有可能失去竞争力。
  5. 豆瓣首页改为豆瓣猜 基于个性化算法提供内容』 阿北:“豆瓣猜2005年就有了,这是我们一直在积累的事情。但是新的豆瓣猜才刚刚面世,它的形态、使用和内容都会有各种问题。我们会在新的一年里逐步改善这个首页,也会慢慢把更多类型的内容放进来。豆瓣猜的终极目标是这样的:每天你打开豆瓣,满眼看到的都是各类你会感兴趣的新东西。我们迫不及待地想和你一起让这个画面成为现实。”
  6. 另外,祝贺百分点科技的好朋友们获首轮融资

个性化推荐,已然无处不在

认识我的朋友们应该都知道,2011一年我都在折腾「指阅」,成绩不敢说有多大,但起码上路了。指阅 2012年会有比较大的升级,希望能把产品各方面的体验都有一个提升,欢迎大家试用

天涯海阁的 watsonxu 最近发了一篇文章,国内个性化阅读服务汇总,文章最后留了几个问题:

如何有效获取用户的兴趣:用户的阅读兴趣往往很泛,泛意味着这种兴趣获取的难度的成本会更高,如何基于现有的社会化服务或者阅读过程更好的获取用户兴趣是一个需要研究的话题。
如何更有效的推荐阅读内容:推荐阅读内容的难度可能大于电影、音乐和图书,因为电影、音乐和图书都有相对固定的维度,而根据阅读内容来挖掘用户的兴趣可能难度会更大。
当然最大的挑战在于:个性化阅读其实基于一个前提就是能够推荐用户感兴趣的内容,而实际的过程中如果不能给每个用户推荐感兴趣的内容(或者说这个会有个过程),那如何形成用户的粘性?另外个人的一个困惑是个性化阅读的需求真的有那么强么?

说说我的看法。

基于社交网络的数据来进行用户兴趣的建模,这个已经是目前几乎必选的方式之一了。关注个性化推荐领域的朋友应该都知道,冷启动问题是一个困扰这个领域已久的老大难问题。通过社交帐号授权获取用户在社交网络上积累下来的数据,是解决冷启动问题的有效有段。这里有一些简单的数据示例。当然,这些数据并不见得可以代表你的所有兴趣,但却是个不错的起点。除了分析兴趣点,你还可以分析用户的「社交影响力」[1] [2]。我之前基于微博数据做过一个小实验,针对「IT互联网」[1] 和「创业与投资」[2] 这两个领域,计算得到了微博帐号的影响力排名。这方面最著名的要数 Klout,国内有一个不错的创业团队在做类似的事情 μ+。这种影响力分析结果对进行微博营销蛮有参考价值,但它是一种相对粗放和更偏向于全局的热点分析,对个性化的帮助有限。这方面,更有效的是 Facebook 提出的 EdgeRank,这里面融入了个人的「口味」,衡量的是好友圈子内的影响力。

如 watsonxu 所言,做个性化阅读的产品难度挺大的。Quora 上有一个问题,是讲个性化阅读产品面临的困难的,答案很棒,我简单给总结了一下:

  1. 人的兴趣很广泛,而且多变。你为什么会对某个主题感兴趣或者不感兴趣,这里面的原因很复杂,如何用算法模拟出来是个很大的挑战。
  2. 每天新产生的资讯非常之多。像 Amazon、Netflix 之类的推荐引擎,它们面对的候选条目集合是相对稳定的,这个比较好理解,它们每周也会增加一些新产品,但和资讯数目相比,差距甚远。
  3. 大部分资讯的生命周期非常之短。你现在推荐阿凡达,效果也许不会比两年前差多少,但推荐资讯就不行了,推荐一篇几天前的文章,很可能就要挨骂了。在如此短的时间窗口里为每位读者做出智能推荐,这对系统的要求非常之高。
  4. 资讯聚合通常都要面临大量重复内容的问题,这在国内尤为严重,这会极大伤害个性化资讯应用的用户体验。而且国内还有另外一个问题,就是原创的高质量内容相对匮乏,推荐引擎巧妇也难为无米之炊。
  5. 与微博之类的个人信息发布工具相比,这类工具缺乏互动。每次你发布一条微博,你的 Followers 就可以看到,而大部分的个性化阅读工具,我们只是默默地使用它,不具备病毒传播特性而无法迅速爆发。
  6. 缺少“社区”的感觉,因为大家看到的东西各不一样。这有点像为什么很多人喜欢在电影院观看电影,而不是在家里,即使在家里看可能会更舒适。大家需要那种与其他人一起在做同一件事情的存在感。

详细的技术拆解,可以去看看郑昀的这两篇文章 [1] [2],基本上我对这两篇文章的评价是,“从此这个领域再无技术秘密可言”。

阅读是人的基本需求,个性化阅读是这个基本需求的 2.0 版。套用个性化推荐「三个合适」的表述,个性化阅读要解决的问题是,在合适的情境下以合适的形式为用户带来合适的内容。 因此,“个性化阅读的需求有多强?”是个伪命题,个性化阅读与阅读本身没有矛盾,它的目标是让阅读这事更简单,谢文老师曾经以看女排新闻为场景给过一个形象的例子。现在大家对个性化阅读存疑,是因为相对于大量非个性化的资讯类产品,还没有哪一款个性化产品显示出了与众不同的能力,尤其是与 Twitter、Facebook 这类以社会化见长的产品相比,个性化产品并没有高明太多。这很像当年围绕智能手机的讨论,之前很多人在说手机不就是打个电话发个短信嘛。。。直到 iPhone,重新发明了手机,从此没人再怀疑。目前个性化阅读这个领域,Flipboard 和 Zite 是好榜样,但其实也只是刚开了个头,大家都还在摸索,需要有人用实实在在的产品体验,来重新定义「阅读」。这个市场不是不爆,是王者未到。

之前做简网的时候,我们主要在研究两个网站,一个是 Zite(估计没人用过它的 Web 版吧),还有一个是 Evri(它和指阅前后一天 iPad 版上线),后面又陆陆续续出现了一些和我们核心功能类似的产品,比如:Mashable Follow、Trap.it、Google+ Spark 等,都是以「主题」为起点谋求信息消费的个性化。现在总结,我只能说,相对于国内互联网的现实情况,我们当时的选择太超前了。从去年移动互联网升温,社会化/个性化阅读逐渐被大众所接受,对有志于这个领域的同道来说,好年代其实才刚刚开始,让我们一起努力!

这篇文章标题里面的「个性化」是加着引号的。卖一个关子,我在酝酿一篇和《搜索已死,推荐上位》类似的标题党之作,名字想好了,叫做《重新定义「个性化」》。不过大家别期望太高啊,有可能有,也可能没有。。。


招人是我目前工作的头等要务,码了这么多字,大家原谅我必须要贴一个小广告啊!

我们有一个简单的信念:互联网的未来必定是个性化的。如果你有那么一点儿小理想化,希望能够帮助用户更好地消费信息,那么现在加入我们一起,是最好的时机。
职位信息请看这里:http://www.zhiyue.me/team.html

 

推荐究竟是不是下一个爆发点?

这是我在知乎上认真回答的第一个问题,我把它拿过来稍作修改,算是为2011推荐系统论坛的会后总结起个头。会议当天我琐事很多,基本上没能好好听讲,因此有关主题内容的,等我看完视频补好课之后再写吧。

首先,咱们界定一下概念,这里的“推荐”,应该不单纯指的是大家所熟知的“购买了X的还购买了Y”这种狭义的形式,而应该是常说的“搜索”与“发现”中的后者,“推荐”的目标是让用户的互联网体验更加个性化,帮助用户轻松“发现”他感兴趣的信息,或者说“让信息找到你”。

那么,推荐能不能成为爆发点,这个问题我个人这么看。两点:1、这件事情是不是被广泛地接受及认可?2、是不是有越来越多的人投入到这件事情?

对于第1点,我相信答案是毋庸置疑的,推荐引擎或者推荐模块,已经逐渐成为了面向消费者的互联网应用的标配,甚至可能会发展成为互联网应用的基础设施。推荐目前的状况,我觉得和搜索早期很像:1)功能的价值逐渐让用户觉得不可或缺(具备了爆发的潜质);2)多数从业人员对其还比较轻视(不认为其有独立存在的价值)。这里面就很可能有机会了。

对于第2点,我认为非常关键,需要有足够多人做出足够多的探索。变革虽然最终是由精英推动的,比如,搜索大潮由斯坦福的两位天才掀起,应用市场的模式由乔布斯教主引领。但是,不能否认的一点,这是一个“量变到质变”的过程,Google 登顶能称得上是一将功成万骨枯了,应用市场模式的产生也跟长久以来大家对于 Windows 软件管理模式的不满有直接关系。目前对于推荐,一个普遍的疑问就是,“它能否成为一个独立的产品,还是仅能作为一项功能存在”?这个问题,分析家们的答案一文不值,要靠在这个领域内深耕的一线人员去探索。目前整体来看,无论国外还是国内,这个领域的创业公司在增多,但总体数量还不够,尚待进一步观察。

张栋老师在会上抛出了一个说法,“做一个推荐系统的影响因素:UI/UE: 40%; data: 30%; domain knowledge: 20%; algorithm: 10%”。这个引起了不小的争论。我的意见是,真实世界里的事情不是这么划分的,产品/技术/算法不应是割裂的,绝对意义上讲也不应该存在哪个更重要的比较,灵活分析“在某个时期”应该侧重于哪部分更合适。而且,即使按照这个比例分也可以,那10%恰恰就是成为伟大产品所必须要迈过的一关。电商可以用活动促销这些直接有效的手段拉升业绩,但会有Amazon这样的企业愿意在推荐引擎上持续投入超过十年;搜索引擎可以人工调整结果甚至强插小广告,但同样会有Google这样的公司愿意坚持在算法上优化保证结果的公正。ResysChina 在微博上的点评,我认为是比较中肯的,“心理学研究表明,人们往往对序列最前与最后的事件记忆最深刻,其实大家更应该关注的是中间的两个因素:数据与领域知识。因为一头一尾两个因素的热议更多的是因为职业之争,就像PM与程序员之争一样。而数据与领域知识是需要并且可以花心思做好,而且可以得到实实在在的产出的”。好吧,这段跑题了。最后有一点是真的,推荐深入做下去是具备很高技术门槛的。

言归正传,所谓爆发,一定得和大势对上节拍。综上来看,推荐这件事情,量方面在积累,专注于这个方向的人才在增多,具备技术门槛和成长空间,因此,我个人认为这个方向大有所为。

 

搜索已死,推荐上位

“搜索已死,推荐上位”,这句话是去年9月份,我在 Resys Group 的一个帖子里面提的。这是典型的标题党,但我想要表达的意思,你懂的。

搜索死了吗?答案是“肯定没有”。“寻找信息”是刚性需求,搜索会 Forever Young。但它一定会变得越来越不性感,对于业界顶尖工程师会越来越丧失吸引力,大家会转去追逐更能吸引他们的事情。下面关于“Search Engine”的 Google Trends 可以说明一些问题。

之前只有搜索这么一种方式来满足“寻找信息”这个需求,但现在有其他选择了,比如社会化网络(Facebook)、微博(Twitter),其他你能想到的(Quora)和你想不到的,将来可用的方式只会越来越多。

如果大家关心推荐领域的话,过去一年会发现一些有意思的事情:首先,推荐的探索越来越多,各种新产品冒头的频率越来越快。然后,越来越多人看到了个性化的重要性。问 GroupOn 如何应对山寨,他说我要做个性化团购;问 FourSquare 如何应对 Facebook Places,他说我要推出个性化推荐。最后来看 Google,Google说了,“搜索的未来要靠个性化”,Google 也确实在积极地布局个性化。甚至连那个致力于搞局域网的公司,也都已经开始谈论这个话题了。

之前忘了在哪儿看到一个分析,是讲 Facebook 的开放平台,意思是说,用户更习惯去专业的网站解决特定的问题,而不是在一个大平台上解决所有问题。大平台的模式本身也不符合互联网的本质以及现代社会分工协作的基本经济准则。Resys 建组之初曾经讨论过“推荐能不能做成一种基础服务” [1]。豆瓣的推荐引擎大拿胖子也一直在思考这个问题,“个性化推荐,到底是一项技术,一个功能,还是一个产品?” [2]。这绝对是一个难题,业界顶尖的公司都或多或少在摸索这个问题,Facebook 的 OpenGraph 模式是一个大胆地尝试,Twitter 也把相关性作为最大的挑战

之前有幸听业界一位前辈老师讲课,有一点深以为然。互联网产品的三大要素是:服务、信息、人。之前(包括 Google 在内)做互联网的模式是“服务为中心,串联起人和信息”,Facebook 不管是有心还是无意,逐渐在把模式变成“人为中心,串联起服务和信息”。一个看似简单的模式中心的调换,搞不好就能让 Google 交出互联网的权杖,改朝换代。

去年我发现了一本神书——《异类》,这本书可以作为我辈阿Q们自我安慰的神器,我把它的观点总结成一句话就是:“成功还是失败,就看你有没有赶上那一拨了”!胖子的问题我给不了答案,但我始终坚信,不管你看到还是看不到,它就在那里,等着那个拣到它的幸运儿!

 

ResysChina 发起人
1. 持续关注 个性化推荐 技术;
2. 持续关注 Semantic Web 技术;
3. 评论与上两项相关的互联网业务与产品;

我相信技术的力量!
wendell.gu@GMail.com

Archives