【猎云网（微信：ilieyun
）】7月30日报道（编译：LOVEWINS）
编者注：在文章中，语言学习平台“多邻国”的增长副总裁Gina Gotthilf谈到了在公司发展中最重要的4项A/B测试。她分享了自己从中收获的经验，以及一些有趣的故事。
“你知道你应用上那个小红点吗，就是说明有什么新消息，或什么东西没解决的标志？这个小红点让我们的日活跃用户数量增长了6%。小红点的背后只有6行代码，大概需要花20分钟。之后，我们对小红点进行了升级，日活跃用户又增加了1.6%。”
从多邻国的发展过程中我们可以总结出许多经验，比方说：你无法预测解决用户痛点的会是什么；优化产品总是既要抓全局，又要讲究细节。Gotthilf说到这些可谓如数家珍。作为增长营销大师，她深知，最重要的一点其实是：无论你发送给用户的是何信息——哪怕一个小红点——都会带来可贵的数据。你要做的，是对这些数据进行测试，内化每一个数字，然后根据测试结果指导自己的下一步动作。
从通知，到应用页面，仅Gotthilf的团队就要同时进行至少5项A/B测试，她亲眼见证公司用户从300万飙涨至2亿。以下Gotthilf给出的策略，即便是最精简的营销团队，也可以从今天就开始实施。
A／B测试 #1：推迟注册
问题：几年前，多邻国开始解决一家应用创企最不容忽视的问题：是什么导致了用户的离去？如何才能阻止这一切？
“我们看到许多人在浏览、下载或注册多邻国应用之后选择了离开。毋庸置疑，用户注册是非常重要的事情，它说明，第一，他们还会回来；第二，我们有机会为这个新来的用户打造持续的高回报体验。”Gotthilf说道，“同时它也意味着，我们可以给用户发送通知和邮件。于是我们开始思索如何优化注册。”
他们猜想，或许“逆而行之”才是解决办法。意思是：虽然看起来你应当在第一时间邀请用户注册，但当大量用户对你产生兴趣的时候，让他们先尝试一下产品可能才是最有效的办法。
测试：“我们发现，让用户在注册之前先体验一下多邻国，听一节课等可以大幅增加注册数量。”Gotthilf说，“把注册程序向后推几步，让我们的日活跃用户数量增长了20%。初次尝试推迟注册是在我加入之前，不过在那之后我们也看到了许多积极影响。”
鉴于产品迭代是Gotthilf团队的核心工作，因而他们并未就此停止。第一次测试已经带来积极影响，现在是时候来完善它了。他们问自己：应当什么时候邀请用户注册？是在课程中间？还是结尾？应当怎样邀请用户注册？
他们还重新思考了注册页面，“当时页面上有一个很大的红色按钮‘放弃’，意思就是用户放弃注册。”他们猜测，许多人经常一秒钟都不思考，就选择了页面上最显眼的标志，这样的话，多邻国岂不是浪费了许多明明还有兴趣的用户？于是，他们把大红按钮换成了稍小一些的按钮，字符也变成了“稍后注册”。
这一改变也就是所谓的“软墙”——让用户选择是“注册”还是“稍后注册”，打开新体验的大门。“我们现在有3道软墙，”Gotthilf说，“最终，在几节课之后，我们设置了一道‘硬墙’，如果你想继续学习，就必须注册。在这一过程中，最重要的是：没有之前的软墙，硬墙的效果要差得多。”
推迟注册，优化软墙和硬墙，最终带来了8.2%的日活跃用户增长。“这一切发生在最初测试的3年之后，当时我们的用户数量已经初具规模了，因此这一增长显得非常重要。”
小结：你可以对早期用户进行测试，判断是使用产品之前注册好，还是使用之后注册好。如果选择后一种，那么你还要根据以下思路作出假设：你的用户何时会发现产品的价值？你可以在这一时间点之后设置一道软墙。Gotthilf建议可以尽早设置软墙，因为每多一步，你都有可能失去用户。
A/B测试 #2：用户的连续登录时间
问题：多邻国和其他应用一样，想要鼓励用户培养一种固定行为模式，在他们身上，也就是每天完成语言课程。事实上，如果用户不能每天访问，那么他们的课程就是无效的。
“在我的一生中，我学过4种语言，现在会说5种。我的经验是，没人可以仅凭借周六周日的课程学会一门语言，”Gotthilf说，“我们需要用户每天或每隔一天登陆应用。”
但是，说起来容易做起来难。“外面有那么多慕课和教育平台，在线学习语言的渠道实在太多了。”Gotthilf说，“大家注册的时候总是兴致高昂，但真正留下来的不多，因为想让用户二次访问本身就非常困难。”
这就是多邻国团队向教育之外的游戏行业取经的原因。“为了让多邻国更接近一款游戏，我们想着法儿的让它变得生动有趣。”Gotthilf说，“我们研究了自己非常喜欢的游戏并想到，‘如果我们将这些迁移到多邻国身上，会出现什么样的化学反应？’”
对于多邻国来说，追踪用户连续使用产品的时间改变了一切。直到今天，Gotthilf和她的团队还在用这一指标还衡量工作成果。
“这就好像电子游戏，你必须每天都做点儿什么才能在排行榜上屹立不倒。”
测试：追踪用户的连续登录时间是多邻国发展史上的重要转折点，它改变了用户与应用互动的方式，以及Gotthilf及其团队的回应方式。
对于新用户来说，连续登录意味着你要有一个目标，于是多邻国团队在账户设置中增加了目标设定功能。
“你自己给自己设定每天使用多邻国的时间。”Gotthilf说，“如果没有达成目标，连续登录也是不可能的。我们所要的，不只是用户每天打开应用而已。”
反过来，目标也给增长团队设计推送提供了新思路。“现在，我们有了实实在在的理由邀请用户回来。我们不会只是说，‘回到多邻国来吧，’这听起来太平淡、烦人了。我们可以说，‘你设置了一个目标，来达成今天的目标吧。’或者‘该上今天的课啦。’这种鼓励是好的，你可以帮助用户维持自己的目标。”
推送也是要注意许多因素的，从时间开始，到推送频率等等。时间抓得正确与否，直接关系到推送的成败。“如果你在工作或者准备睡觉的时候收到了推送，那么你很可能会忽略它，甚至更糟糕的，觉得烦心。一天当中，应该何时推送消息是有讲究的，而这取决于你是哪种应用。”
当然，世界上不存在万灵药，多邻国的用户来自各个不同国家。他们进行了一系列测试，最终认为，“你使用应用的时间肯定是方便的，所以我们假设第二天的同一时间你在这个时间点也是方便的。我们想帮用户培养一种习惯，就好像每天起床必定要刷牙一样。”
推送内容也需要不断测试。“我们对推送内容进行了优化，希望它风趣、引人深思。我们尝试使用你需要学习的单词，我们用吉祥物猫头鹰让内容看起来更加可爱、个性化。我们在推送当中添加了小测验，你需要去回答。”
虽然尝试各种方法花了很多时间，但到头来一切都是值得的。“优化这些细节都是值得的，它们影响了很大一部分用户。”Gotthilf说。
从数据中我们可以看到，优化后的推送让多邻国日活跃用户数量增长了5%。
让人意想不到的是，坚持也是一把双刃剑。每天坚持学习的用户如果一不小心错过了哪天的打卡，士气立刻急剧跌落，有些人甚至因此彻底放弃。面对这一意想之外的结果，Gotthilf和她的团队看到了更多试验的必要。之后，多邻国推出了一种钱币，用户只要完成课程就可以获得，对于钱币的用法，他们又想出了几个新点子。
“我们首先尝试的是‘周末法宝’，用户可以在周五的时候购买，这样即便周六周日没有打卡，也不妨碍学习进度。”Gotthilf说道，“这种玩法是为了防止有些用户周末没有打卡，学习连贯性被破坏后直接放弃。”
周末法宝大获成功，多邻国的用户保留率在7天后提高了2.1%，14天后提高4%——但这还不是结束。A／B测试的结果不应当在提高一个数据的同时，损伤到另一项数据。在多邻国身上，周末法宝的潜在弊端体现在，它是否会导致公司收入减少。
“虽然日活跃用户数量增加了，但我们认为周末法宝可能会导致收入降低，因为我们还有一个叫做补签卡的产品，用户是需要花钱购买的。”Gotthilf说，“我们进行了一项实验，最后发现增加的日活跃用户价值要高于补签卡损失。”
小结：大多数应用都希望用户养成使用习惯。如果条件允许，你可以鼓励用户设定目标，比方说写作的频率，睡眠时间，和朋友联系的频率等等。换句话说，你需要帮助他们设定自己的期望值。这样一来，你也可以更聪明地给他们发推送。什么时间发推送最合适呢？一般是用户上一次使用应用后的24小时左右。
A/B测试 #3：勋章
问题：勋章是Gotthilf在多邻国最喜爱的项目之一，但最初并非如此。很长时间以来，她都希望能对勋章进行测试，但考虑到所需要的高额投资，她对测试回报很是担心。最后，在团队的支持下，他们进行了测试，事实证明，这场赌注他们赌赢了。为什么要进行这次测试？因为直觉告诉他们，如果用户取得成就时能够获得回报，那么他们一定会上更多课，花更多时间学习。
他们的直觉是对的，而且可以说，非常对。从第一版推出以来，日活跃用户数量增长了2.4%。
“参与课程的人数增加了4.1%，完成课程的人数增加了4.5%。”Gotthilf透露，“因此我们看到，用户不只参加了更多课程，而且因为想要获得勋章，坚持完成课程的决心更强了。”
还有些收获是他们没有想到的。比方说，多邻国商店的商品购买率增加了13%，好友人数增加了116%。
“用户突然想到，‘噢，勋章！我得和朋友赛一把。’于是他们开始添加好友，之前是没有出现这种情况的。现在，当我们开始考虑添加社交和推荐功能的时候，这些就成了无价之宝。”
勋章从头至尾都是一次成功之作。说出来令人惊讶的是，勋章功能几乎没有进行过测试。
“我们第一次尝试勋章是一年之前，当时我们正在开发最小化可行产品，于是就推出了‘注册勋章’，也就是说用户注册之后可以获得这个勋章。但是这个勋章什么效果都没有，于是我们就取消了。”
后来，在重新审视整个用户体验过程的时候，大家才突然醒悟，注册勋章根本没有抓到学习成就的精髓。他们的总结是：
1.注册算不上一项成就，更不会让用户感到自豪。
2.一个勋章不算什么，一面墙的勋章才够炫酷。
3.用户想要的，是收集勋章的过程。
在进行A/B测试时，其中重要的一点是：
想要一个想法执行下去并带来较好的效果，你所认为的最简单的办法可能不是最简单的。在“最小化可行性产品”一词中，最小化虽然放在前面，但可行性才是核心所在。
测试：第二次的时候，团队打造了更稳健的学习体验。
“我们花时间设计了几款不同的勋章，并设置了存放勋章的页面。”
小结：成功的测试讲求平衡。最小化可行性产品既不是蜻蜓点水，也不是整个身体潜入水中。在开发有前景的功能，或者二次尝试（比如多邻国的勋章）时，试着把产品经理或团队经理和设计师配对起来，二者形成抗衡之势，从而维持团队的激情和执行力。如果测试失败，别忘了进行反思。
A/B测试 #4：应用内鼓励
问题：有时候，灵感来自外部。相比于根据人们的智力来鼓励他们提高技能，以能力为依据要更有效一些。
“比方说，你对孩子说，‘你的测验分数很不错，因为你认真学习了，’要比说，‘你的测验分数很不错，因为你是个天才，’要好得多。”Gotthilf说。她的团队决定借鉴这一心理学理论，通过应用内指导来为用户提供克服困难的动力。
测试：多邻国的吉祥物——猫头鹰Duo，现在多了一重身份，那就是学习小助手。
“有时候，你学的是一门非常难的语言。我最近刚开始学日语，犯了很多错误。”Gotthilf说，“当你犯错过多时，心里会感觉很难受，你觉得自己已经失败了，要不还是放弃好了。这时候，我们友好的猫头鹰会跳到页面上，告诉你，‘就算犯了错，你也是在进步。’”
用户表现好的时候，猫头鹰也会跳出来。“我们测试了许多鼓励的话，比方说，‘哇，你太棒了。’最后，我们秉承鼓励用户进步的心态，决定用这样一句话：‘哇，你的努力真的有回报了。’”
但在多邻国团队中，猫头鹰的鼓励引起了争议。“有些人不喜欢这个，觉得很烦人。”Gotthilf说。最后，一切还是要看数据说话：在第14天的时候，用户保留率增长了7.2%。Gotthilf感慨道：“这是让人疯狂的惊喜。”
小结：有时候，你需要将个人品味放到一边，尤其是假想。在多邻国身上，应用内鼓励效果出奇的好，几乎可以匹敌勋章功能。
