大师兄

开篇词 | 用知识去对抗技术不平等

时至今日,推荐系统已然成了一门显学,个性化推荐成了互联网产品的标配。为此,我知道,好学的你肯定在收藏着朋友圈里流传的相关文章,转发着微博上的相关讨论话题,甚至还会不断奔走在各种大小行业会议之间,听着大厂职工们讲那些干货。

同样,我也知道,这样碎片化的吸收,增加了知识的同时,也增加了焦虑。因为技术的不平等广泛存在于业界内,推荐系统也不例外。

推荐系统从搜索引擎借鉴了不少技术和思想,比如内容推荐有不少技术就来自搜索引擎, 由 Amazon 发扬光大的,基于用户( User-based )和基于物品( Item-based )的协同过滤将推荐系统技术从内容延伸到协同关系,超越了内容本身。

后来 Netflix 搞了一个瓜分百万美元的土豪比赛,以矩阵分解为代表的评分预测算法如雨后春笋般出现。至此,机器学习和推荐系统走得越来越近,最近十年,深度学习和强化学习又将推荐系统带向了新的高度。

推荐系统也是现在热门的AI分支之一,但凡AI类的落地,都需要具备这几个基本元素才行:数据、算法、场景、计算力。推荐系统也不例外,而刚好,现在的时代,这些元素的获得成本相比十年前已经小了很多。未来随着各种硬件设备越来越智能,万物互联得越来越紧密,人们的个性化需求、场景的多样性、数据的复杂性都对推荐系统提出了更高的要求。

有一个趋势我是确信无疑的:世界在向网状发展,万事万物倾向于相互连接构成复杂网络。复杂网络具有无尺度特点,表现是:少数节点集聚了大量连接。这个现象不陌生,叫做马太效应,社交网络粉丝数、网页链接引用量、电商网站商品销量等等,无不如此。推荐系统的使命,就是要用技术来对抗这种不平等。

在复杂网络中,雄踞顶端的节点无法体会长尾的疾苦。推荐系统的技术应用现状也如此,大厂们一骑绝尘,感觉分分钟就要达到奇点的节奏,然而更普遍的是:太多中小厂、工程师们还不知道一个推荐系统如何才能从0到1诞生,这需要去了解哪些知识?

这样的知识鸿沟,需要有人去填平,需要让成熟的技术走进每一个可以采用的产品中和愿意学习的人大脑中,让整个社会一起提高效率,享受时代赐予的技术红利。

于是,我在极客时间的邀请下,开了这个专门介绍推荐系统知识的专栏,系统地为你整理推荐系统的相关知识和常识,来对抗技术本身的不平等。

面临现状,你其实需要这样的知识:

  1. 能解决系统起步阶段80%的问题;
  2. 已被无数产品验证过有用的东西;
  3. 遇到问题能够找到人或者社区交流,而非曲高和寡的前沿技术;
  4. 知识之间有层次递进关系,也有分门别类的整理。

这样的力气活儿,你就不用管了,交给我来。我能真切地体会到你的诉求,我在上市公司、传统行业转型互联网的公司、中小型公司、创业公司都构建过推荐系统,能帮你分辨出哪些内容是为了PR而发,哪些是真诚地分享知识。

为此,我力图从纷繁复杂的全部内容中去掉一些,虽然酷炫但是大多数公司和个人暂时不需要的;也力图保留并详细讲解一些,不但适用于大公司也适用于中小公司的。当然,我也力图让枯燥的技术内容不要那么枯燥,让技术更有趣一些。

我是刑无刀(本名陈开江),是“刑”,不是“邢”。“刑”与“无刀”,就是我本名里面的“开”,江湖上有人会用“邢无耳”等方式山寨我。我的读书和工作经历,关键词就是“算法、推荐系统”。

读研时从事句法分析研究,工作后我先在微博负责数据挖掘、自动问答、推荐系统等研发,后加入考拉FM,带领四五个人的小团队一起开发了考拉FM的推荐系统。

2015年的一个春天,我和几个朋友在北京画了一个圈,开始创业,先做了两个APP,即Wave(社交电商)和边逛边聊(短视频晒单),也都是以推荐系统为产品的主要功能。目前我已加入链家网,从事算法类产品的研发,希望帮助大家买到或租到便宜的房子。

我不是一个典型的技术男,我喜欢从各种维度去思考推荐系统,产品、技术、商业等,也喜欢借鉴不同学科去思考其背后的本质规律。我希望能把这些思考带给你,也希望和你碰撞出新的思想来。

本专栏共包含36篇文章,分成五个模块详细介绍推荐系统的相关知识。

  • 概念篇:介绍一些推荐系统有关的理念、思考、形而上的内容,虽然务虚但是必要。
  • 原理篇:推荐算法的原理介绍,是俗称的干货。知道推荐系统背后技术的基本原理后,你可以更快地开发自己的系统,更好地优化自己的系统,并且更容易去学习专栏中未涉及的内容。
  • 工程篇:推荐算法的实践内容。系统落地时需要一些纯工程上的大小事情,架构、选型、案例等。
  • 产品篇:推荐系统要成功,还要考虑产品理念及其商业价值,因此这部分介绍一些产品知识和一点浅显的商业思考。
  • 团队篇:从个人来说,就是该怎么学习和成长;从团队来说,就是该招多少人,该有哪些人,以及产品经理和工程师该如何合作等问题。

接下来这段时间,我会陪你去完整了解推荐系统常见的方方面面,也期待你给我提出有意思的问题,这样我们就实现了共同进步,一起去对抗技术本身的不平等。