最好走的路越走越难,最难走的路越走越容易

Follow guwendong on Web
  • Subscribe to Beyond Search via RSS
  • Join Resys Google Group
  • Follow @clickstone on Douban
  • Follow @clickstone on Twitter

Tag Archives: resyschina

Resys China 创刊号

《Resys China》,是依托于 Resys Group 并专注于推荐系统领域的一份电子杂志。

下面是创刊号的内容目录。

  1. 业界新闻
  2. 学术动态
    • Workshop on Social Recommender Systems
    • Collaborative Filtering Over Time
  3. 精品推荐
    • YouTube’s Quest to Suggest More
    • Recommendation Systems: Increasing Profit by Long Tail
    • 推荐系统五大问题
  4. 系列连载
    • Greg Linden,Early Amazon:The First Week
  5. 精彩应用
    • 开源推荐框架 DUINE 概览
  6. Resys 精华帖
    • 大家觉得推荐系统和长尾的关系是什么
    • 基于 SNS/Lifestream 的推荐
  7. 轻松一下

感谢 yoyogary wang阿稳同学在内容编辑方面的大力协助,感谢百分点科技在 PDF 文件制作方面的鼎力支持。
现在网络阅读越来越倾向于浅阅读,希望这份人工精编的内容能够给大家带来一些思考和收获。
PDF 版本从这里下载:Resys China 创刊号

 

迟来的感谢:Resys 豆瓣活动

感谢开放的豆瓣团队,感谢阿北和胖子,感谢阿稳同学为这次活动付出的巨大努力!
感谢大家对 Resys 活动的支持,2010 咱们继续折腾!
本文原发 2010年第2期《程序员》杂志,略有修改。也愿 CSDN 的质量节节高升。

年关之际,不仅天气冷,互联网更冷,不过这些都无法熄灭思想的火花。2009年12月19日,国内推荐技术社区 Resys Group(https://groups.google.com/group/resys)的第三次线下活动,在豆瓣网的鼎力支持之下顺利举办。 

Resys,取名自 Recommender System 的简写,社区的宗旨是搭建一个专注于推荐技术领域的讨论平台。截止目前,Resys Group 发展势头喜人,受到了国内推荐技术爱好者们的热情响应,线上讨论很是热烈,线下活动也已经成功进行了三次。 

本次活动由豆瓣网提供场地、点心饮料以及纪念品支持。豆瓣网在国内互联网行业美誉度很高,这是一家以帮助用户发现未知事物为己任的公司,他们在为用户的生活带来诸多乐趣的同时,也已经让自己变得足够有趣。“豆瓣猜”作为其标志性应用,一直以来倍受关注,在 Google 上搜索 “豆瓣猜”,有超过两百万条信息,热度可见一斑。

本次活动上,豆瓣网团队首次公开分享了他们运营 “豆瓣猜”的经验,系统介绍了他们在推荐领域的实践探索,可以说是对豆瓣网的一个不同于以往角度的新颖解读。据介绍,豆瓣网的创始人阿北与算法负责人王守崑是多年的好友。在豆瓣网内部最初的定位,书籍、电影、音乐等这些应用是钉子,推荐引擎是锤子,阿北带队找钉子,王守崑负责造锤子,配合得相当合拍。后来,豆瓣网逐渐成长为了一座舞台,推荐技术也伴随着赢得了更大的施展空间。

这次活动总共有三个主题,第一个是豆瓣网王守崑的《豆瓣在推荐系统领域的实践和思考》,第二个是迅捷英翔孙超与刘凯义的《推荐也是一种产品》,第三个是百度张栋博士的《大规模机器学习算法在互联网上的应用》。

第一个主题,主讲人王守崑总结了豆瓣网在推荐应用领域的探索,包括三个方面的内容。
首先,什么样的产品适合推荐?依据在图书、电影、音乐、文章、RSS源、社会网络等领域应用推荐技术的多年经验,王守崑先从定性的角度提出是“具有媒体性的产品 (Media Product)”,即选择多样、口味(taste)很重要、单位成本不重要,同时能够广泛传播 (Information Cascade)的产品;接着在对真实的数据集进行定量分析后,进一步得出,应该是条目增长相对稳定、能够快速获得用户反馈,数据稀疏性与条目多样性、时效性比较平衡的产品,才是适合推荐的产品。
其次,王守崑分享了豆瓣网的推荐引擎如何应对高成长性的挑战,即通过算法优化与近似算法设计,来寻求推荐质量与计算资源消耗之间的平衡。
最后,针对当前推荐系统面临的问题,王守崑把推荐系统分为 Prediction,Forecasting,Recommendation 三个阶段,并探讨了一种下一代推荐引擎的构想——基于用户行为模型的、有记忆的、可进化的系统。在演讲期间,主讲人也提出了一些开放性问题留给与会者思考,比如推荐能否拥有独立的产品形态?

总结陈词,王守崑把在算法领域的长期实践提炼成一句话:“Algorithms should facilitate rather than replace social process”,点睛之笔,简洁有力,闪耀着智慧的光芒。

第二个主题,是由迅捷英翔公司的孙超与刘凯义带来的《Recommendation Algorithm is a product》。他们从日常工作实践出发,抛出了一个问题:在一个成熟的商业系统里,
1)可推荐的商品(比如彩铃)数量多、种类繁、差异大(比如二人转与交响乐);
2)用户数目众多且兴趣各异,不同的用户对不同的商品有着不同的偏好;
3)每种推荐算法所擅长解决问题的角度是不同的,比如协同过滤易出惊喜,内容推荐善于举一反三,基因推荐更加人性化。
那么,推荐引擎作为连接起用户与商品的枢纽,是否可以具备自学习的智能导航能力,依据系统反馈来自动为每一个用户优化算法配置呢?

诚恳地讲,这是一个非常有探讨价值的话题。以电影推荐为例,它是推荐技术发源的领域之一,相关的实际应用也最为深入。比如,IMDB 以基于打分的协同过滤技术为主,Jinni 将电影基因体系作为推荐引擎核心,Nanocrowd 通过分析影评的相关度来作推荐,LivingSocial: Movies 是 Facebook 上一款基于社会网络的电影推荐应用,最后还有号称要打败所有电影推荐引擎的 Clerkdogs,他们完全使用人工推荐电影。这些电影推荐引擎专注于不同的推荐维度,各有所长,国外已经有研究机构基于此开展工作,试图探索如何把不同的推荐方法更有效地组合起来。

主题三为《Parallel Algorithms For Mining Large Scale Data》,主讲人张栋博士在大规模机器学习领域经验丰富,一开场就脉络清晰地理出了机器学习领域的发展路线,从神经网络(Neural network)到支持向量机(SVM)到图模型(Graphical Model),再到条件随机场(CRF)并最后回归到深度信任网络(DBNs),各流派之间不断竞争螺旋上升,整个过程高屋建瓴并且故事性十足。接下来的主要话题,包括围绕天涯问答的算法原理,基于社会网络的精准广告,以及 MPI 与 MapReduce 两种并行计算框架的实际案例对比,都让与会者获益匪浅。

从张栋博士的报告中可以看到,顶级互联网公司对大规模计算极其重视,他们将传统的算法进行改造,使其能够适应互联网上的庞大数据量。目前业界云计算概念火热,抛开滥竽充数者,大规模数据计算能力绝对是评价云计算的硬指标之一。 Google 公司的研究总监 Peter Norvig 先生有句名言,“Worry about the data first before you worry about the algorithm”,即是在说大规模数据对于解决问题非常重要。xlvector 同学的感概,很让与会者共鸣,“评价一个(Research)工程师的指标不应该仅是懂多少种算法,还要看处理过多大规模的数据”。

本次活动的与会者,有正在从事数据挖掘相关工作的工程师,有致力于在推荐系统方面有所作为的创业人员,有对这个方向感兴趣的投资人,另外还有不少高校里专注于此方向的研究人员。各个主题的间隙是自由讨论的时间,与会者们进行了自由开放的交流。相对来讲,第一个与第三个主题更加直观和吸引人一些,毕竟大家可以从中窥得成功的经验。但是,Resys Group 同样也真诚地欢迎第二组演讲人这样的做法,提出探讨式的开放性主题,提供数据,交流体会,无权威结论,这样更加能够引发听者的思考与辩论。互联网上不会存在永远的领先者,自由、开放与分享是互联网的本质,顺应这个潮流终究可以超越。逆势而为者,死路一条。

本次活动各个主题的 PPT 文件,均可以从 http://www.slideshare.net/clickstone/tag/resys 下载。其中王守崑的报告尤其受欢迎,并在 twitter 上引发了大量转推,PPT 上传到 slideshare 网站的当天,即因为关注度高而进入了网站的首页推荐。

2010年,即将到来的 Resys Group 第四次线下活动,荣幸邀请到IBM CRL推荐技术研究团队作专场演讲,主题各个精彩,欢迎有兴趣的朋友保持关注。

 

重磅推荐:Resys Group

2009年8月3日,我和 xlvector 一起建立了 Resys Group

Netflix Prize 给我们的启示是,没有一个单一的模型可以准确的反应出所有用户的行为。设计推荐系统需要组合不同的算法,发挥出群体的智能。这也是建立 Resys 讨论组的初衷,群体的行为需要群体的智能去预测。

Resys,取自 Recommender System 的简写。建立之初,我们的想法是这里的讨论要专注在推荐系统领域,因此采用了朋友邀请朋友的加入方式。但出乎我们的意料,Resys 的发展还蛮快的,大家的讨论也非常热烈,并且在8月22日,成功地举办了第一次线下聚会。

目前,这里已经聚集了国内对 Recommender System 最感兴趣的一拨人。

豆瓣算法负责人胖子

1. 推荐系统目前最大的问题不是技术,而是没有合适的产品形态。搜索这种产品形态存在很久了,互联网之前就有,并且大家广泛接受,因此要作的是寻找更好的技术和合适的商业模式。推荐面临的问题是没有大家认可的产品形态,只能依附在别的产品上,并且由于这个产品本身不是为推荐设计的,80%的功能不是靠推荐来解决,推荐做得再好,也只是优化剩下的20%

2. 关于小众与大众,我的看法与上面的几位同学有点差异。用长尾理论的话来说,大众是头,小众是尾,只是我认为与长尾理论这本书说的不同,在可预见的未来,这个头不会变平,会更尖,热的会更热。长尾很难从短头抢生意,只是头变高了,总有东西会滚下来,长尾也会变高。基本上,介入一个领域后,想作大事情,最先满足的一定是大众的需求。大众需求的特质就是磨平个性,小众是强调个性,这就像麦当劳和精品私房菜、成衣和裁缝的关系。

3. 目前我们所讨论的基于算法的”推荐”,满足的是小众的需求。这不是故意这样设计的,而是迫不得已,因为大众化的需求有其他更便捷、成本更低廉的方式获取,用推荐来作这个,得不偿失。在获取信息的相关领域,搜索引擎满足的是大众的需求,并且性价比最高的满足了这个需求,推荐要挤进这个领域,目前只能去作长尾。

4. 不过这并不是说推荐没得做,yahoo在做头的时候,google也在长尾里。如果推荐能够找到一种合适的形式,以更高的性价比满足大众化的信息获取的需求--一定是大众化的,就可以反客为主。即便挤不进短头里,在长尾也不是一定没有前途。

5. 我个人倾向于推荐无法单独作为一个产品出现,但与搜索不同,推荐的应用领域不局限于互联网,并且,未来推荐很有可能作为一项基础技术的面目出现在各种应用场合,类似模式识别技术、虚拟现实技术、触感技术等等。

当当网搜索/推荐技术负责人王洪涛

从产品角度,个性化推荐已经渗透到当当购物流程的各个环节:购物前、购物中、购物后。
1、商品信息页面
买了****也买了****,看了****也看了****——基于一定时间段内的订单和访问日志数据推荐购买组合——基于同一张订单的数据
2、购物车、收藏夹
会根据用户当前选中的商品进行实时计算、推荐商品
3、email邮件
我们会在订单确认信等回馈信件中附带根据本次包裹商品计算出来的商品推荐但为了避免用户取消订单去选择别的商品,我们是在用户收到商品之后再推荐的
4、独立的个性化页面
集合所有数据源的推荐大全,但目前该产品数据表现不好,我们准备跟购物流程更深度结合。
我们也有对人的推荐,即挖掘潜在与之兴趣相投的人群,便于follow其最近的购物行为,扩展推荐。

从技术算法角度,我们主要用到基于内容的(当当商品搜索也是我们team在负责)、协同过滤、关联规则等方法。在实际开发中,我们也遇到了cold start的问题,特别是我们希望促进百货类商品的销售(而百货又是弱势品类), 我们会基于商品的一些类别等属性进行推荐,这时的粒度不是基于product而是基于class。

我们的经验表明,个性化推荐技术是电子商务网站(特别是大型电子商务)的重要手段(当然地位还不能跟搜索比) 。
粗略估算,对销售贡献10%~15%是没有任何问题的;
这里面最重要的几个应用:
1、商品信息页面上的买了***也买了
2、商品信息页面上的打包购买推荐
3、购物车推荐

Netflix Prize 冠军团队 The Ensemble 成员 xlvector

2009年8月,我个人推荐的精彩内容:

其他资源:

感谢每一位 Group 成员的精彩发言!
欢迎对推荐系统感兴趣的朋友加入 Resys Group。

 

1. 持续关注 个性化推荐 技术;
2. 持续关注 Semantic Web 技术;
3. 评论与上两项相关的互联网业务与产品;

我相信技术的力量!
wendell.gu@GMail.com

Archives