感谢开放的豆瓣团队,感谢阿北和胖子,感谢阿稳同学为这次活动付出的巨大努力!
感谢大家对 Resys 活动的支持,2010 咱们继续折腾!
本文原发 2010年第2期《程序员》杂志,略有修改。也愿 CSDN 的质量节节高升。
年关之际,不仅天气冷,互联网更冷,不过这些都无法熄灭思想的火花。2009年12月19日,国内推荐技术社区 Resys Group(https://groups.google.com/group/resys)的第三次线下活动,在豆瓣网的鼎力支持之下顺利举办。
Resys,取名自 Recommender System 的简写,社区的宗旨是搭建一个专注于推荐技术领域的讨论平台。截止目前,Resys Group 发展势头喜人,受到了国内推荐技术爱好者们的热情响应,线上讨论很是热烈,线下活动也已经成功进行了三次。
本次活动由豆瓣网提供场地、点心饮料以及纪念品支持。豆瓣网在国内互联网行业美誉度很高,这是一家以帮助用户发现未知事物为己任的公司,他们在为用户的生活带来诸多乐趣的同时,也已经让自己变得足够有趣。“豆瓣猜”作为其标志性应用,一直以来倍受关注,在 Google 上搜索 “豆瓣猜”,有超过两百万条信息,热度可见一斑。
本次活动上,豆瓣网团队首次公开分享了他们运营 “豆瓣猜”的经验,系统介绍了他们在推荐领域的实践探索,可以说是对豆瓣网的一个不同于以往角度的新颖解读。据介绍,豆瓣网的创始人阿北与算法负责人王守崑是多年的好友。在豆瓣网内部最初的定位,书籍、电影、音乐等这些应用是钉子,推荐引擎是锤子,阿北带队找钉子,王守崑负责造锤子,配合得相当合拍。后来,豆瓣网逐渐成长为了一座舞台,推荐技术也伴随着赢得了更大的施展空间。
这次活动总共有三个主题,第一个是豆瓣网王守崑的《豆瓣在推荐系统领域的实践和思考》,第二个是迅捷英翔孙超与刘凯义的《推荐也是一种产品》,第三个是百度张栋博士的《大规模机器学习算法在互联网上的应用》。
第一个主题,主讲人王守崑总结了豆瓣网在推荐应用领域的探索,包括三个方面的内容。
首先,什么样的产品适合推荐?依据在图书、电影、音乐、文章、RSS源、社会网络等领域应用推荐技术的多年经验,王守崑先从定性的角度提出是“具有媒体性的产品 (Media Product)”,即选择多样、口味(taste)很重要、单位成本不重要,同时能够广泛传播 (Information Cascade)的产品;接着在对真实的数据集进行定量分析后,进一步得出,应该是条目增长相对稳定、能够快速获得用户反馈,数据稀疏性与条目多样性、时效性比较平衡的产品,才是适合推荐的产品。
其次,王守崑分享了豆瓣网的推荐引擎如何应对高成长性的挑战,即通过算法优化与近似算法设计,来寻求推荐质量与计算资源消耗之间的平衡。
最后,针对当前推荐系统面临的问题,王守崑把推荐系统分为 Prediction,Forecasting,Recommendation 三个阶段,并探讨了一种下一代推荐引擎的构想——基于用户行为模型的、有记忆的、可进化的系统。在演讲期间,主讲人也提出了一些开放性问题留给与会者思考,比如推荐能否拥有独立的产品形态?
总结陈词,王守崑把在算法领域的长期实践提炼成一句话:“Algorithms should facilitate rather than replace social process”,点睛之笔,简洁有力,闪耀着智慧的光芒。
第二个主题,是由迅捷英翔公司的孙超与刘凯义带来的《Recommendation Algorithm is a product》。他们从日常工作实践出发,抛出了一个问题:在一个成熟的商业系统里,
1)可推荐的商品(比如彩铃)数量多、种类繁、差异大(比如二人转与交响乐);
2)用户数目众多且兴趣各异,不同的用户对不同的商品有着不同的偏好;
3)每种推荐算法所擅长解决问题的角度是不同的,比如协同过滤易出惊喜,内容推荐善于举一反三,基因推荐更加人性化。
那么,推荐引擎作为连接起用户与商品的枢纽,是否可以具备自学习的智能导航能力,依据系统反馈来自动为每一个用户优化算法配置呢?
诚恳地讲,这是一个非常有探讨价值的话题。以电影推荐为例,它是推荐技术发源的领域之一,相关的实际应用也最为深入。比如,IMDB 以基于打分的协同过滤技术为主,Jinni 将电影基因体系作为推荐引擎核心,Nanocrowd 通过分析影评的相关度来作推荐,LivingSocial: Movies 是 Facebook 上一款基于社会网络的电影推荐应用,最后还有号称要打败所有电影推荐引擎的 Clerkdogs,他们完全使用人工推荐电影。这些电影推荐引擎专注于不同的推荐维度,各有所长,国外已经有研究机构基于此开展工作,试图探索如何把不同的推荐方法更有效地组合起来。
主题三为《Parallel Algorithms For Mining Large Scale Data》,主讲人张栋博士在大规模机器学习领域经验丰富,一开场就脉络清晰地理出了机器学习领域的发展路线,从神经网络(Neural network)到支持向量机(SVM)到图模型(Graphical Model),再到条件随机场(CRF)并最后回归到深度信任网络(DBNs),各流派之间不断竞争螺旋上升,整个过程高屋建瓴并且故事性十足。接下来的主要话题,包括围绕天涯问答的算法原理,基于社会网络的精准广告,以及 MPI 与 MapReduce 两种并行计算框架的实际案例对比,都让与会者获益匪浅。
从张栋博士的报告中可以看到,顶级互联网公司对大规模计算极其重视,他们将传统的算法进行改造,使其能够适应互联网上的庞大数据量。目前业界云计算概念火热,抛开滥竽充数者,大规模数据计算能力绝对是评价云计算的硬指标之一。 Google 公司的研究总监 Peter Norvig 先生有句名言,“Worry about the data first before you worry about the algorithm”,即是在说大规模数据对于解决问题非常重要。xlvector 同学的感概,很让与会者共鸣,“评价一个(Research)工程师的指标不应该仅是懂多少种算法,还要看处理过多大规模的数据”。
本次活动的与会者,有正在从事数据挖掘相关工作的工程师,有致力于在推荐系统方面有所作为的创业人员,有对这个方向感兴趣的投资人,另外还有不少高校里专注于此方向的研究人员。各个主题的间隙是自由讨论的时间,与会者们进行了自由开放的交流。相对来讲,第一个与第三个主题更加直观和吸引人一些,毕竟大家可以从中窥得成功的经验。但是,Resys Group 同样也真诚地欢迎第二组演讲人这样的做法,提出探讨式的开放性主题,提供数据,交流体会,无权威结论,这样更加能够引发听者的思考与辩论。互联网上不会存在永远的领先者,自由、开放与分享是互联网的本质,顺应这个潮流终究可以超越。逆势而为者,死路一条。
本次活动各个主题的 PPT 文件,均可以从 http://www.slideshare.net/clickstone/tag/resys 下载。其中王守崑的报告尤其受欢迎,并在 twitter 上引发了大量转推,PPT 上传到 slideshare 网站的当天,即因为关注度高而进入了网站的首页推荐。
2010年,即将到来的 Resys Group 第四次线下活动,荣幸邀请到IBM CRL推荐技术研究团队作专场演讲,主题各个精彩,欢迎有兴趣的朋友保持关注。







“百度张栋博士”看内容好像是google的
hi
slideshare上给的第三个slide,名字虽然没错,但是作者却是EdChang,内容貌似也不是nn,svm,graphical model之类的。最乌龙的是,这个EdChang是谷歌的,不是百度的嘛。
对提到的条件随机场(CRF)并深度信任网络(DBNs)有兴趣,如果可以的话,麻烦再传一下张栋博士的那个slide吧。
感激不尽!
^在 Google 上搜索 “豆瓣猜”,有超过两百万条信息
错了,你加上双引号搜索试试看?两百万条信息大部分来自“豆瓣”关键字的。
张栋,也即Edward Chang,是百度的?
@woddy @haixia 张博士以前确实是google的,后来转投的百度。另外,张博士不是Edward Chang。
@d 张博士当时就是根据这个ppt展开讲的,没有其他ppt了。
@天山 谢谢,你很严谨!
很好,但发现晚了..
就是少了卓越亚马逊的参与啊