最好走的路越走越难,最难走的路越走越容易

Follow guwendong on Web
  • Subscribe to Beyond Search via RSS
  • Follow @clickstone on SinaWeibo
  • Join Resys Google Group
  • Follow @clickstone on Douban
  • Follow @clickstone on Twitter

Tag Archives: longtail

转载:推薦系統與長尾

非常令人高兴,我抛出了砖,引到了玉。Roger 早在 2007 年,就针对推荐系统与长尾的关系,发表了下面这篇精彩的文章。他的 blog 在 blogspot 上,由于众所周知的原因不太容易访问了。为了方便大家阅读,经 Roger 本人同意,转载在此。
我这里稍稍抱怨一下 Roger,不能总是拿 Daily Murmur 打发我们啊,下面这样的好文章实在应该多写一些啊。最后再说一句,Roger 的 twitter 帐号是 @imrchen



推薦系統與長尾
原文作者Roger
原文地址:http://blurkerlab.blogspot.com/2007/10/blog-post_12.html

我們已經談過推薦系統的架構技術分類,接著我們來觀察推薦系統的目標和成果,是否如研究者或經營者所預期的那麼美好。推薦系統的研究在學界雖然不是紅得發紫,但是一直受到相當程度的關注, Netflix Prize 的話題一開,更受人注目。在如何建構一個「更好的」推薦系統這個題目上,過去產、學二界攜手的成果,是有目共睹的。

但是我們對於推薦系對銷售究竟有什麼影響,它是如何影響消費者的行為,是否真的達到原先建設推薦系統的目的,則是所知甚少,沒有足夠多的研究可以證實我們的觀點(不管這個觀點的內容是什麼)。

第一種觀點:推薦系統促成長尾

過去對於推薦系統成效,有兩種截然不同的看法,第一種觀點,可能也是目前較佔上風的觀點,認為推薦系統強化了長尾(Long Tail)的實現,讓銷售方和購買方都得到更多選擇與便利。比如說 The Long Tail 的作者,就直接了當在書中宣稱我們從資訊時代進入「推薦」時代─We are leaving the Information Age and entering the Recommendation Age(讀者可參考「長尾」在英國出版宣傳時作的 Exclusive Extract ,請看第 24 頁)。

這兒有一個學院派的例子,MIT Sloan Management Review 在2006年夏天出版了一篇由三位名校(MIT/Purdue/Carnegie Mellon)教授共同執筆的 From Niches to Riches: The Anatomy of the Long Tail (下載PDF)。在這篇文章裡,作者們肯定地說:

Our
research suggests that search tools can also be very effective in
allowing consumers to discover and purchase products they otherwise
would not have considered, resulting in changes in sales distribution among a company’s products.

作者群在另外一份論文(Goodbye
Pareto Principle, Hello Long Tail: The Effect of Search Costs on the
Concentration of Product
Sales)裡表示,在他們的研究裡,經由網際網路通路購買產品的消費者,傾向於購買不暢銷或不是很有名的產品(他們用 obscure
這個字眼)。換句話說,作者認為:IT 科技(當然包括了推薦系統)促成了長尾的實現

We
find evidence that Internet purchases made by consumers with prior
experience are more skewed toward obscure products, compared with
consumers who have no such experience.

第二種觀點:推薦系統錦上添花,結果是強者愈強

另外一種看法則和前一種觀點大相逕庭,第二種看法則認為推薦機制(和目前常見的各種行銷手段)只是強化原先銷售成績就出色的前段班產品,對於銷售多元化(diversity)一點幫助也沒有。我們來看個國內的例子:

十月初,老貓學出版發表的「好書會自動販賣時代」之消逝一文,談到網路時代的行銷活動與長尾(Long Tail)的關係,顯然老貓認為網路不僅沒有促成長尾,反而讓強者愈強,銷售的模式的錦上添花而不是百花齊放(先說聲抱歉,引文有點長,粗體字和紅字是我加上去的,與原文無關)。…..

…..
新書區的替換率太快,促使出版社和書店必須做點什麼,以便幫助讀者過濾新書。推薦機制、特價、預購、首賣、獨家封面、落地陳列、贈品、活動、試讀本,所有異於正常發行的動作,都有助於爭取讀者的眼球,讓讀者在茫茫書海中先一步辨認出我的書來。
…..
過去我們以為網路世界可以為我們帶來可貴的長尾,現在事實證明,網路加速了短頭的極端化好賣的書,賣得比過去更好,而沒有行銷資源挹注的書種,賣得比過去更差。(如果有人在博客來上班的話,請別誤會,我的描述並不帶評價,事實上我也不認為虛擬通路無差別地秀出每月兩千種新書的書單會有什麼好處。此外今天這個這個結果也是出版社和通路攜手製造出來的。

最新的研究

線上推薦系統(online recommenders)比起傳統的暢銷排行榜(best-seller lists),的確是一大進步,對於銷售方和消費者都帶來非常大的便利和福祉,這是無庸置疑的。但是推薦系統是不是真的能帶來銷售的多元化 (diversity),目前並沒有足夠多的研究和討論來支持任何一方的論點。

最近兩位賓州大學華頓商學院的學者(Daniel M. Fleder and Kartik Kosenagar)針對上文所描述的爭論,發表了相關的研究,兩位作者認為這篇論文是第一個嘗試調和不同論點的研究,論文有兩個版本可以下載,個人認為華頓的線上刊物 Knowledge@Wharton 對於這個研究的介紹 ─ ‘Reinforcing the Blockbuster Nature of Media’: The Impact of Online Recommenders 最具參考價值,文章精簡,說明不失深度,而且可以下載 Podcast 慢慢聽。Read/Write Web 對這篇論文的報導,也值得一讀,這篇報導的讀者回應相當精采,如果時間允許,也不妨看看(Yes, I know. 人一天只有24小時)。

Reinforcing the Blockuster Nature 的標題,我們可以想見,這個研究認為,推薦系統的確會讓原本的暢銷產品銷售益發興旺,不是豪無保留的認為推薦系統與長尾應該劃上等號的。這篇論文的焦點,是推薦系統與銷售多元發散(diversity才能促成長尾)間的關係,主要觀點如下:

  • 有些推薦系統,的確會產生 rich-get-richer 的現象,使得銷售品項和數量集中,而非多元發展。
  • 作者強調縱然個別消費者可能透過推薦系統發掘他們原本不熟悉的產品,但是所有消費者加總(aggregate)的結果,是降低而非增加銷售的多方發展。I
  • 推薦系統的設計會影響結果,有些推薦系統會造成長尾效果,有些則會得到相反結果,所以公司的經理人應該考慮自身需求來決定設計的方向。

不同的聲音

推薦系統研究的開路先鋒 Paul Resnick 教授, 在部落格評論上面所提到的研究時,認為 discovery 和 reinforcement 是推薦系統最重要的兩個目的。

There are actually two effects that we should expect from recommenders. One is discovery--
once one person discovers an item, some other people with similar
tastes who would not have found that item do find it. The other is reinforcement– an item that many people have sampled will be more likely to get recommended.

華頓的學者在寫作論文時,和著名的部落客(博客)Greg Linden ─ 他在1997-2002 間是 Amazon 員工,負責開發推薦系統 ─ 以電子郵件交換意見。Greg 認為,如果沒有線上推薦系統,消費者只能使用更粗糙的、傳統模式的暢銷排行榜名單來尋找產品,這種情況更加降低銷售的多元化,不可能促成長尾。同時他還表達,推薦系統可藉著調整演算法達到長尾的目的 ─ Recommendation algorithms easily can be tuned to favor the back catalog — the long tail — as Netflix does.

這還不是結論

Daniel M. Fleder and Kartik Kosenagar 在文中建構的簡單(two-item, two-player, two-urn model )模型,是否真的足以完整、正確的模擬消費者行為,還是個開放命題。所以這個方向的研究,絕對不是劃上句點,而是才剛開始而已。

從台灣的觀點來看,本地的網際網路產業,還沒有出現一個品質和 Amazon 、Netflix 比肩的推薦系統,若是真的要討論推薦系統對消費行為的影響,恐怕產生不了足夠堅實的論證,要談本土觀點,恐怕還嫌早了點(sigh)。

延伸閱讀:

 

长尾效应,有没有,有没有?

长尾理论 [1],是由《Wired》杂志的主编 Chris Anderson 在 2004 年提出的。此外,他还编撰了同主题的一本书《长尾理论》,来详细阐述这个概念及其带来的深远影响。尽管 Anderson 在致力于颠覆人们对畅销产品的认知,但无疑他自己已经从畅销产品上大赚了一票——《长尾理论》这本书一经出版即大卖。

以 iTunes 服务为例,长尾理论认为,对于这样的纯数字服务来说,由于不再需要货架,也没有制造成本和分销费用,卖出一件非流行品与卖出一件流行品之间没有任何区别,它们的边际利润都是一样的。于是乎,流行不再是利润的唯一代名词了。通过尽可能地扩充产品种类,尽可能地降低产品价格,并充分发挥个性化推荐技术的效能,可以把顾客的需求朝长尾的方向引导,通过大量的之前无人问津的产品产生销售,累积起来就可以获得一个甚至比原有流行市场容量还要大的利基市场。

我是长尾理论的坚定拥护者。


但人生就是一个又一个的轮回。在长尾理论风光了五年之后,重量级的质疑终于还是来了。
沃顿商学院的信息学教授 Serguei Netessine 与他的博士研究生 Tom Tan 一起,发表了一篇工作论文,《Is Tom Cruise Threatened? Using Netflix Prize Data to Examine the Long Tail of Electronic Commerce》。他们通过分析 Netflix Prize 公布的数据,研究了消费者在 Netflix 网站上表现出来的对热门影片以及小众影片的需求情况。论文使用的分析方法严谨有逻辑,讲解也详实有条理,因此结果相当令人信服:“在大部分情况下,长尾效应可能并没有人们想象的那么普遍”!

我这里仅陈述结论,对具体内容感兴趣可以去读一下 paper。

1)论文提出了一个重要问题,到底如何定义“头部”和“长尾”?

在长尾理论里,Anderson 使用的是“绝对定义(absolute term)”的办法,比如“100 部顶级大片”和“100 部小众影片”。Anderson 之所以这么界定,是建立在与传统实体商业模式相比较的基础之上的,比如,录像租赁连锁店 Blockbuster 平均只能提供不到 3000 个DVD;4 万首曲目通常是一个中等音像店的流动库存量。在传统模式下,能够提供的产品总量是相对稳定的,而且所有的产品也都是以某种差不多固定的比率被消费的。
而 Netessine 教授则认为,Anderson 使用的这种绝对定义的方法是有误导性的。在互联网环境下,虽然消费者不再受地域限制,单一产品的受众得以增加;但产品的数量有了极大的提高,越来越多的产品根本无法被发现,或者还来不及被发现就又被新产品淹没了——Netflix 的数据证明了这种结论。因此,必须使用“相对定义(relative term)”的方法,把产品数量快速变化这个因素考虑进来。

2)如果同意使用“相对定义”的方法,那么,Netessine 教授的研究结果表明,在 Netflix 公布的数据中,并没有发现其中存在任何长尾效应。而且还恰恰与长尾理论正相反,帕累托原理(80/20法则)的效应变得更强了,人们对 Top-20% 影片的需求,从 2000 年的 86% 增长到了 2005 年的 90%。
此外,论文中也使用了 Anderson 的绝对定义方法来进行数据分析,结果发现,长尾效应只显示了一部分:随着时间的推移,消费者对大片的需求确实下降了,但对小众影片的需求也同样在逐步降低。(那需求哪里去了?)

3)下面这些现象,均会在一定程度上限制长尾效应发挥作用。

  • 大胆尝试小众影片的主要是电影发烧友,但是发烧友在观影群体中仅占很小的一部分(大约 25%)。而且从满意程度上看,小众影片与大片相比并不能带来额外的满意度。
  • 目前流行的基于协同过滤的推荐系统,有滞后效应,并倾向于把相似的影片推荐给相似的用户,而且,越多人打分的影片被推荐的概率越大。
  • 通常我们会认为,社会化网络 SNS
    的流行,使得口碑(word-of-mouth)的力量被几何性放大了。但有研究表明,口碑的作用其实是使“好的更好,差的更差”,即正面的口碑对畅销产品的影响更大,而负面的评价对利基产品的影响更大。而且,相似用户倾向于消费相似的产品,因为这样大家才具有共同的话题。
  • 总体的搜索成本确实在下降,但同样也是“好的更好”,畅销产品的搜索结果相比利基产品更好了。

很明显,技术进步在同时提升了畅销产品和利基产品需求的情况下,却拉大了畅销产品与利基产品的差距。“好的更好”,对长尾效应是个严峻的问题,


前文中,我有意留了一个悬而未决的问题:“需求哪里去了”?Anderson 与 Netessine 的分歧正在这里。基于 Netflix 的数据分析结果表明,Top-500 影片的需求下降了,而紧接着的一部分需求却扩大了。按照绝对定义,
Anderson 认为这是人们的需求在向长尾移动的表现;而按照相对定义,Netessine 认为这部分应该算在 Top-20% 中,即人们对头部的需求更大了。我个人认为,不管怎样,这都确实反应了人们多样化的诉求是存在的,并且在不断增长。

另外我觉得,与 Anderson 的长尾理论相比,Netessine 这份研究报告存在的一个问题就是他把所有的影片同等对待了。比如《变形金刚》和《疯狂的石头》,一个票房几亿美元,一个只有三千万人民币。尽管相比之下对石头的需求要低得多,但参照石头的拍摄成本来讲,这样的需求度足够了。与此相同的还有豆瓣音乐人,“Converse”的 Fans 只有 15369 个,与大牌歌手相比简直不值一提,但对于 Converse 来讲,这已经是一个很棒的开始了。

但无论如何,Netessine 教授的这篇报告,还是值得长尾理论实践者的高度关注。国内业界领先的实践者胖子,在这方面有着特别的智慧:

用长尾理论的话来说,大众是头,小众是尾,只是我认为与长尾理论这本书说的不同,在可预见的未来,这个头不会变平,会更尖,热的会更热。长尾很难从短头抢生意,只是头变高了,总有东西会滚下来,长尾也会变高。基本上,介入一个领域后,想作大事情,最先满足的一定是大众的需求。大众需求的特质就是磨平个性,小众是强调个性,这就像麦当劳和精品私房菜、成衣和裁缝的关系。

我想,不管是相对定义的头更尖了,还是绝对定义的头更扁了,只要那条尾巴存在,我们这些专注于满足用户个性化需求的从业者,就值得为此努力。
 

ResysChina 发起人
1. 持续关注 个性化推荐 技术;
2. 持续关注 Semantic Web 技术;
3. 评论与上两项相关的互联网业务与产品;

我相信技术的力量!
wendell.gu@GMail.com

Archives