最好走的路越走越难,最难走的路越走越容易

Follow guwendong on Web
  • Subscribe to Beyond Search via RSS
  • Join Resys Google Group
  • Follow @clickstone on Douban
  • Follow @clickstone on Twitter

Category Archives: 好文收藏

Early Amazon: The first week

原文链接:http://glinden.blogspot.com/2006/01/early-amazon-first-week.html

原文作者 Greg Linden 毕业于华盛顿大学计算机学院,1997 年加入 Amazon,领导开发了享誉业界的 Amazon 推荐引擎。
著名的 Item-based 推荐算法的提出者之一;Findory.com 创始人。
其 Blog – Geeking with Greg 是个性化推荐领域最有影响力的博客(没有之一)。

1997 年初的亚马逊公司,邋遢、混沌、但令人兴奋。

亚马逊公司位于美国西雅图市,办公室在第二大道的哥伦比亚大厦里,这是一座砖体结构的建筑物,已经有些年头了,离派克市场不远。从办公室的窗户望出去感觉 还不错,有一个本地的美沙酮诊所,还有一个贩卖怪诞假发的商店。你甚至隐约可以看见一些脱衣舞俱乐部,它们就藏在几个街区远的地方。插播八卦:派克市场有一个著名的 Athenian 餐厅,传世经典爱情影片《西雅图夜未眠》中,汤大哥就是在这里泡梅甜心的。

当然了,我现在还只是一个眨巴着大眼睛的刚刚研究生毕业的菜鸟,还不敢奢望有这样一个靠窗的工位。

我的工位在厨房。在亚马逊公司,空间从来都是一种奢侈,那个时候自然也是这样。报到的那天,我被领到我的办公室——一张安装在厨房角落里的牌桌,上面放着一台 PC。

在厨房办公还是着实有些乐趣的。在亚马逊,我几乎什么人都不认识,大多数同事都沉浸在无聊的窃窃私语之中。不过,他们倒经常会到离我不远的柜台上去取茶和咖啡。我弄了一个糖果瓶——嗯,免费的——尽力和他们搞关系,以求套出些什么来。

我的第一项任务是开始学习代码库。打开一个 shell 窗口,调出 emacs,然后开始阅读代码。我花了一些天来跟踪针对不同 URL 的分发器,研究 ol’ obidos ——一个用来支持 Amazon 网站运转的大型 CGI 程序——是怎样漂亮地处理不同的请求,主页,书籍详情页,搜索,购物车,以及订单流转。至今,大多数亚马逊 URL 里面还包含着“/exec/obidos”。插播八卦:不用为不知道 Obidos 为何物而犯囧,哥只是个传说。这里是正解


这个系列其实我就想动手翻译了,一直拖着到现在才终于开工。与此类似的,还有一个 Doug Edwards 和 Ron Garret 撰写的 Early Google 系列,不过不知道什么时候已经被删掉了,Google fans 们有兴趣的话可以刨刨看。

 

转载:推薦系統與長尾

非常令人高兴,我抛出了砖,引到了玉。Roger 早在 2007 年,就针对推荐系统与长尾的关系,发表了下面这篇精彩的文章。他的 blog 在 blogspot 上,由于众所周知的原因不太容易访问了。为了方便大家阅读,经 Roger 本人同意,转载在此。
我这里稍稍抱怨一下 Roger,不能总是拿 Daily Murmur 打发我们啊,下面这样的好文章实在应该多写一些啊。最后再说一句,Roger 的 twitter 帐号是 @imrchen



推薦系統與長尾
原文作者Roger
原文地址:http://blurkerlab.blogspot.com/2007/10/blog-post_12.html

我們已經談過推薦系統的架構技術分類,接著我們來觀察推薦系統的目標和成果,是否如研究者或經營者所預期的那麼美好。推薦系統的研究在學界雖然不是紅得發紫,但是一直受到相當程度的關注, Netflix Prize 的話題一開,更受人注目。在如何建構一個「更好的」推薦系統這個題目上,過去產、學二界攜手的成果,是有目共睹的。

但是我們對於推薦系對銷售究竟有什麼影響,它是如何影響消費者的行為,是否真的達到原先建設推薦系統的目的,則是所知甚少,沒有足夠多的研究可以證實我們的觀點(不管這個觀點的內容是什麼)。

第一種觀點:推薦系統促成長尾

過去對於推薦系統成效,有兩種截然不同的看法,第一種觀點,可能也是目前較佔上風的觀點,認為推薦系統強化了長尾(Long Tail)的實現,讓銷售方和購買方都得到更多選擇與便利。比如說 The Long Tail 的作者,就直接了當在書中宣稱我們從資訊時代進入「推薦」時代─We are leaving the Information Age and entering the Recommendation Age(讀者可參考「長尾」在英國出版宣傳時作的 Exclusive Extract ,請看第 24 頁)。

這兒有一個學院派的例子,MIT Sloan Management Review 在2006年夏天出版了一篇由三位名校(MIT/Purdue/Carnegie Mellon)教授共同執筆的 From Niches to Riches: The Anatomy of the Long Tail (下載PDF)。在這篇文章裡,作者們肯定地說:

Our
research suggests that search tools can also be very effective in
allowing consumers to discover and purchase products they otherwise
would not have considered, resulting in changes in sales distribution among a company’s products.

作者群在另外一份論文(Goodbye
Pareto Principle, Hello Long Tail: The Effect of Search Costs on the
Concentration of Product
Sales)裡表示,在他們的研究裡,經由網際網路通路購買產品的消費者,傾向於購買不暢銷或不是很有名的產品(他們用 obscure
這個字眼)。換句話說,作者認為:IT 科技(當然包括了推薦系統)促成了長尾的實現

We
find evidence that Internet purchases made by consumers with prior
experience are more skewed toward obscure products, compared with
consumers who have no such experience.

第二種觀點:推薦系統錦上添花,結果是強者愈強

另外一種看法則和前一種觀點大相逕庭,第二種看法則認為推薦機制(和目前常見的各種行銷手段)只是強化原先銷售成績就出色的前段班產品,對於銷售多元化(diversity)一點幫助也沒有。我們來看個國內的例子:

十月初,老貓學出版發表的「好書會自動販賣時代」之消逝一文,談到網路時代的行銷活動與長尾(Long Tail)的關係,顯然老貓認為網路不僅沒有促成長尾,反而讓強者愈強,銷售的模式的錦上添花而不是百花齊放(先說聲抱歉,引文有點長,粗體字和紅字是我加上去的,與原文無關)。…..

…..
新書區的替換率太快,促使出版社和書店必須做點什麼,以便幫助讀者過濾新書。推薦機制、特價、預購、首賣、獨家封面、落地陳列、贈品、活動、試讀本,所有異於正常發行的動作,都有助於爭取讀者的眼球,讓讀者在茫茫書海中先一步辨認出我的書來。
…..
過去我們以為網路世界可以為我們帶來可貴的長尾,現在事實證明,網路加速了短頭的極端化好賣的書,賣得比過去更好,而沒有行銷資源挹注的書種,賣得比過去更差。(如果有人在博客來上班的話,請別誤會,我的描述並不帶評價,事實上我也不認為虛擬通路無差別地秀出每月兩千種新書的書單會有什麼好處。此外今天這個這個結果也是出版社和通路攜手製造出來的。

最新的研究

線上推薦系統(online recommenders)比起傳統的暢銷排行榜(best-seller lists),的確是一大進步,對於銷售方和消費者都帶來非常大的便利和福祉,這是無庸置疑的。但是推薦系統是不是真的能帶來銷售的多元化 (diversity),目前並沒有足夠多的研究和討論來支持任何一方的論點。

最近兩位賓州大學華頓商學院的學者(Daniel M. Fleder and Kartik Kosenagar)針對上文所描述的爭論,發表了相關的研究,兩位作者認為這篇論文是第一個嘗試調和不同論點的研究,論文有兩個版本可以下載,個人認為華頓的線上刊物 Knowledge@Wharton 對於這個研究的介紹 ─ ‘Reinforcing the Blockbuster Nature of Media’: The Impact of Online Recommenders 最具參考價值,文章精簡,說明不失深度,而且可以下載 Podcast 慢慢聽。Read/Write Web 對這篇論文的報導,也值得一讀,這篇報導的讀者回應相當精采,如果時間允許,也不妨看看(Yes, I know. 人一天只有24小時)。

Reinforcing the Blockuster Nature 的標題,我們可以想見,這個研究認為,推薦系統的確會讓原本的暢銷產品銷售益發興旺,不是豪無保留的認為推薦系統與長尾應該劃上等號的。這篇論文的焦點,是推薦系統與銷售多元發散(diversity才能促成長尾)間的關係,主要觀點如下:

  • 有些推薦系統,的確會產生 rich-get-richer 的現象,使得銷售品項和數量集中,而非多元發展。
  • 作者強調縱然個別消費者可能透過推薦系統發掘他們原本不熟悉的產品,但是所有消費者加總(aggregate)的結果,是降低而非增加銷售的多方發展。I
  • 推薦系統的設計會影響結果,有些推薦系統會造成長尾效果,有些則會得到相反結果,所以公司的經理人應該考慮自身需求來決定設計的方向。

不同的聲音

推薦系統研究的開路先鋒 Paul Resnick 教授, 在部落格評論上面所提到的研究時,認為 discovery 和 reinforcement 是推薦系統最重要的兩個目的。

There are actually two effects that we should expect from recommenders. One is discovery--
once one person discovers an item, some other people with similar
tastes who would not have found that item do find it. The other is reinforcement– an item that many people have sampled will be more likely to get recommended.

華頓的學者在寫作論文時,和著名的部落客(博客)Greg Linden ─ 他在1997-2002 間是 Amazon 員工,負責開發推薦系統 ─ 以電子郵件交換意見。Greg 認為,如果沒有線上推薦系統,消費者只能使用更粗糙的、傳統模式的暢銷排行榜名單來尋找產品,這種情況更加降低銷售的多元化,不可能促成長尾。同時他還表達,推薦系統可藉著調整演算法達到長尾的目的 ─ Recommendation algorithms easily can be tuned to favor the back catalog — the long tail — as Netflix does.

這還不是結論

Daniel M. Fleder and Kartik Kosenagar 在文中建構的簡單(two-item, two-player, two-urn model )模型,是否真的足以完整、正確的模擬消費者行為,還是個開放命題。所以這個方向的研究,絕對不是劃上句點,而是才剛開始而已。

從台灣的觀點來看,本地的網際網路產業,還沒有出現一個品質和 Amazon 、Netflix 比肩的推薦系統,若是真的要討論推薦系統對消費行為的影響,恐怕產生不了足夠堅實的論證,要談本土觀點,恐怕還嫌早了點(sigh)。

延伸閱讀:

 

这是最好的年代,这是最坏的年代!

这篇文章是转载的,写的好坏我无力做评判。但看完后,我产生了一种难以抑制的冲动——“站起来,拉开窗帘,打开窗户”。题目是我自己加的,它第一时间闯进了我的脑袋。


发信人: forthelove (无情), 信区: PhD
标  题: 一个博士的论文致谢词
发信站: 水木社区 (Sat Apr 28 16:16:54 2007), 站内

我出生的时候是一个下雪的深夜,我的父亲在床边生了一堆柴火,我的母亲躺在四周漏风的那间破屋角落的床上,咬紧牙关,生下了我。27年后,也是在一个下雪 的深夜,我完成了我的博士论文。当我打完最后一个字的时候,我站起来,拉开窗帘,打开窗户,白天还吵吵闹闹、喧嚣的世界变成一片洁白,让人顿感清净。  
 
我从进入大学到博士毕业整整十年。在这十年中,我过得浑浑愕额。十年前,我身高170cm,十年后,我身高还是170cm;十年前,我体重60kg,十年 后,我体重还是60kg;十年前,我一无所有,十年后,我还是一无所有。十年前,我眼睛明亮、有神,十年后,摘掉眼镜,我已看不清自己有多少个手指了;十 年前,我声音洪亮、清澈,十年后,已经是慢性咽喉炎,声音嘶哑;十年前,我踌躇满志、指点江山、激扬文字,十年后,我心如止水,只求温饱;当然,我也得到 了一些东西。十年前,我还是个农民的儿子,十年后,我成为了一个博士;十年前,我只懂得砍柴、种田、割草、放牛,十年后,我已经成为了一个懂机械、金融、 管理的复合型人才;但如果您问我这十年最大的长进是什么,我将告诉您:十年前,我十七,十年后,我二十七。  
 
这十年中,我最渴望、最 追求的是什么?是知识?不是。是美女?不是。而是钱。在我的脑海里,钱就是那种一块、一毛的硬币,我曾无数次翻天覆地的把它们找出来,目的就是去买一包方 便面,吃一顿晚餐,而且找的时候不能太仔细了,太仔细了,下次就没有了。有时候,当我不知道下顿饭在哪里的时候,我想要是天上能掉下点钱就好了,我抬起 头,只看到发黄的树叶正一片一片的落下来;我想要是能在地上捡点钱就好了,我低下头,只看见一些面包的包装纸以及一些插羊肉串的竹签。我从没见过天上掉过 钱,也从没在地上捡过钱,所以我不相信有神的存在,因此我没有信仰。  
 
衷心感谢我的恩师对我的淳淳教诲和悉心关怀,在我博士三年里, 他给予了我生活上、学习上无微不至的关心。他也许是我十年大学生活里,唯一知道我名字的老师,也感谢他在承担100多个学生的指导任务下还能给我精心的指 导。恩师对我的指导和影响之大,怎样言说都表达不尽,自己取得的点滴成绩无不凝聚着恩师的心血。恩师国际化的视野,前沿而精髓的学术造诣,严谨勤奋的治学 风格,都让我永志不忘,深刻影响着我日后的工作和生活。  
 
衷心感谢学院其他老师给予我的帮助。  
衷心感谢各位同门师兄弟姐妹,感谢我们一起度过的苦难岁月。  
衷心感谢我年迈的父母,我在这十年之中不忠不孝,没有让他们过上一天幸福的生活。他们还不停的支持我,关心我,鼓励我。经常问我“缺钱吗?”所以我相信亲情。我从不要他们的钱,我不想看到一百块钱,就想起几百个鸡蛋,几百担猪草,几千个红砖。  
衷心感谢我的五个姐姐,是她们陪我度过快乐的童年。她们美丽纯真的少女时代唤起了我对异性的尊重与渴求。她们在我求学的十年中,不停的给我打电话,询问我的 身体,生活,要我多吃点,给我寄钱,我也一直拒绝她们。这十年里,她们在广东的毛织厂、制衣厂过着非人的岁月。我不想看到那种用血、肉、生命、青春换来的 东西。十年前,她们还是花一般的容颜,十年后,当她们出现在我的面前,我已经不相信她们就是我的姐姐了。  
 
最后,我要感谢与我相茹以沫的女友×××博士,我们以总共不到600元的月收入,在上海和杭州这两个中国最发达的城市生活了5年。这5年里,我没有给她买 过像样的礼物,而她却无数次在我青黄不接的日子里给我寄来她省吃俭用的钱,我才得以完成学业,所以我相信爱情。我无法明白她以275元的月收入,居然还可 以救济我,或许她那纤细、苗条的身材就是最好的答案吧。  
 
谨以此文献给千千万万的苦难中的学子!

 

1. 持续关注 个性化推荐 技术;
2. 持续关注 Semantic Web 技术;
3. 评论与上两项相关的互联网业务与产品;

我相信技术的力量!
wendell.gu@GMail.com

Archives