【猎云网(微信号:ilieyun)】3月27日报道(编译:小白)
编者注:eero是全球第一款家庭WiFi系统,三个eero设备就能覆盖整个房屋,该公司的产品让用户不管在家里的哪个角落,都能享受到稳定高速的无线网。eero曾进行过两轮融资,获得了9位投资人共计4000万美元的资金,最近一次融资为2015年3月的3500万美元风投融资。
创业公司eero的同名产品发布后几周,测试和特别项目组负责人Kelly Neary与产品组负责人Paul Nangeroni终于可以松口气了。
成千上万的用户选择了eero的家庭WiFi系统,放弃了原来很不稳定的路由器。多家知名媒体争相报道,一片赞誉。如果你向Neary和Nangeroni咨询eero成功发布的关键,他们一定会告诉你:都是前期产品测试的功劳。
产品发布前6个月,公司所有人各就各位,Neary和Nangeroni带头负责。Neary之前在雀巢公司负责早期测试项目,最近刚加入eero;而Nangeroni曾在苹果公司负责硬件项目管理。
在这次独家采访中,Neary和Nangeroni向我们讲述了开发测试对产品成功发布的重要性。这些测试不仅有助于改进产品,同时还巩固了早期测试用户并建立品牌优势。采访中,这两位搭档把测试过程分为三个阶段——准备阶段、发布测试阶段和循环阶段,然后分别对每个阶段给出了夯实的建议。
任何正“磨刀霍霍向市场”的创业公司都不妨看看eero的经验,相信将会收益颇多。
开发测试前的准备
从一开始,eero就十分清楚公测项目对产品的最终发布至关重要。不仅需要测试硬件软件的兼容性,还要确保不管用户的住房结构是什么样,都能有稳定的WiFi可用。
从测试的角度来说,想要获得尽可能多的测试结果亦非易事。所以,Nangeroni进一步解释说:“我们在测试用户家里装了一个物理设备很简单,但用户愿不愿意使用,我们能否获得理想中的数据,关键还是在于用户是否认可该设备的使用价值。”
首先公司内部跨部门动员
从一开始就动员公司各部门的所有员工。
“不要以为你的团队在测试产品,其他部门的人就会早早准备好各项后勤辅助工作。事实上,组织起每一个内部团队都需要花很大力气。公测准备工作不仅仅只是完成产品开发或准备好基本辅助工具,”Nangeroni说,“公测应该是一个产品发布演习。我们后来采取的一个方法是,让每个员工发现eero的问题时立即告诉我们,这样我们就有了未来测试用户的体验样本。”
如果是早期创业公司,在公测前召开跨部门集体会议则尤为重要。
设计测试项目时把多样性放在第一位
Eero的公测小组对测试申请人的挑选十分严格。这些公测用户需要有很强的多样性,能够代表未来真正的用户群体。这样做的好处就是在日后的测试过程中,Nangeroni和Neary能够从足够广泛的用户基础中及时发现可能会出现的大问题。
那么如何基于多样性设计公测的流程和问题呢?Neary给出了三点建议:
♦ 设备。“任何能够连接的设备都在我们的考虑范围内——手机、手提电脑、平板、可穿戴设备等等。”
♦ 家庭。“我们特地选择来自不同州的家庭,他们的网络服务提供商也各不相同。然后家庭住宅的建筑材料也在我们采样的范围内,因为材料对WiFi也有影响。”
♦ 用户专业度。“我们希望我们的用户拥有不同程度的技术知识。”
除了注意样本多样化之外,怎样组织调查问题也很需要推敲。
测试产品不必完美,恰到好处最重要
一个最大的问题就是什么时候开始公测。
根据Nangeroni的说法,公测时间虽没有严格的规定,但是公测之前你的产品一定要达到平衡状态,即尽管没有严重影响日常使用的大问题,但又有不少细微bug可以引出有意义的反馈。
发布测试产品阶段
从头到尾,erro的开放测试一共进行了6个月,直到产品正式发布。什么时候开始公测要看产品成熟度,而什么时候结束测试则要确切得多。
Nangeroni指出:“一个保守的经验法则是在结束测试后至少空出三周的时间再正式发布产品,主要是预留足够的时间来评估各种指标和保证产品的正式发布已经一切就绪。”
也就是说产品测试期限长短不应以时间来衡量,而应该以指标来评估。
那么产品正式发布后测试是否也就结束了呢?
Nangeroni认为应该视情况而定。“我个人觉得开放测试会随着产品一直延续下去。”
撸起袖子好好干
管理好一个测试项目不容易,特别是缺少标准流程和工具的早期创业公司。“不要低估测试项目所需要的人力。”Nangeroni提醒道。
以eero的开发测试为例,他们的团队深入到了整个流程的方方面面。“有三个人在领导着测试项目进行,但测试项目的完成离不开公司所有人、各部门之间的配合和努力。”Neary说,“尽管随着公司发展,能用的资源越来越多,但最重要的环节还是你自己,尤其是在创业早期。”
实时迭代、改进测试产品
公司应该最大程度地利用测试产品来提高用户体验和测试,因此在产品开发过程中就应把二者结合起来。Neary解释说:“开放测试从很多角度来说都是一次极好的机会。首先,我们希望任何接触eero的用户都有一次愉快的使用体验。如果能做到这一点,开放测试就不仅在推动产品开发,还推动了产品品牌的建立。”
那么eero是如何把测试用户变成忠实粉丝的呢?Neary给出了如下解释:
♦ 宣布先前推广的频率。“在测试用户注册之前,我们会明确地告诉他们公司发布新消息的频率。”
♦ 寻求过程而不只是产品改进。“我们不仅要问测试用户产品怎么样,还要问他们这个测试过程怎么样,好不好,怎么改进。”
♦ 不要关闭循环;解决用户的循环。“当我们有新的部署时,我们会主动联系那些期望解决问题或者反馈过该问题的用户,告诉他们问题解决了。”
♦ 用全新的视角再重复一遍。“测试接近尾声了也不要洋洋自得。利用最后两周时间邀请一批新的测试用户,以全新的角度再审视一遍产品。”
♦ 总结分析。“每次发布之后我们都会做一个详细的诊断,分析哪些改进有用,哪些需要换个方式等等。”
处理来自朋友和家人的反馈
很多创始人会先向朋友和亲戚展示产品,这些人往往是产品最早期的忠实粉丝。虽然这群人不应被忽视,但在测试过程中必须摆正他们的位置。
Nangeroni说:“让亲朋好友进行产品测试有好有坏。他们安全可靠,会替你保密,而且能够持续容忍硬件的不成熟。但是要让他们给出真实的反馈评价就难了,一般他们只会说‘好’。”
如何防止亲朋好友过度乐观评价?一个好办法就是重新设计调查问题。比如去掉从1-10打分评价一类的问题,换成开放性的建议型问题“如果让你对产品做改进,你会怎么改?”等等。
相信你的测试用户群
Neary和Nangeroni坦言,即便只是部分的公开测试也是有风险的,但是为了能在正式发布时给用户带来最好的第一代产品,那么一切都值得。
Neary事后解释说:“我们当时的确采取了一些方法来减少损失,但是最终你还是要相信你的测试用户群。在我们寄出的每一个小盒子里,我们都放了一封来自我们首席执行官Nick的感谢信,感谢他们的参与并告知他们不要对外透露任何产品细节。”
开发测试结束后的回顾
从开放测试到正式发布的最后一个关键步骤就是:重新回到起点与你的团队分析反馈,与早期用户说再见。你的测试产品已经回收,现在你要面对的是一系列反馈。
为工程师提供详尽的反馈
开发测试结束后,客服小组和工程师团队之间肯定有很多迭代反馈需要在正式发布前处理。想让工程师根据笼统的反馈改进产品实在太为难人家了,因此我们需要在客户服务与工程师之间就用户反馈信息建立良好畅通的沟通渠道。
有一个比较好的办法就是代表开发团队与测试用户们沟通,提出技术类问题。如果问题过于专业化,那么客服人员就负责简化问题。
真诚感谢用户提出的所有反馈。如果测试用户给出的反馈看上去与产品改进无关,你依然要感谢他们的付出。“不仅是要感谢他们花了时间参与测试,更重要的是你要记住他们愿意帮助你完成测试。”
告诉测试用户公测结束,并给他们提供更多回报
如果你顺利完成了开放测试,你的早期用户不仅在技术上花了心思,同时也在品牌上投入了心血。这时Nangeroni和Neary会建议你最好告诉这些早期用户公测已经完成,并为他们提供其他选择来继续支持产品。
说到保持测试用户的持续积极性, eero总结出了三个不同的用户群:
♦ 社区用户:“这群用户最活跃,给予的帮助也最多,而且可能还是对技术最了解的一群测试用户。与他们打交道比较容易,不用过于操心。”
♦ 目标用户:“这些测试用户代表了我们希望获得和保留的潜在用户。”
♦ 边缘用户:“这些边缘用户让我们更好地理解了整个客户群中可能存在的特殊情况。”
当eero在2016初正式发布时,产品就已经通过了好几百测试用户的审查。客服小组甚至把每个测试用户的姓名、每家每户的住宅平面图都搞得清清楚楚。
很多测试用户都是这个WiFi系统的传颂者。这一切的成功皆来自于eero测试小组的精心准备和严苛执行:在最开始的准备阶段,召集一群具有不同代表性的早期测试用户以及跨部门员工来保障后续工作的顺利进行;在第二个公测开始阶段,不仅需要随时迭代改进产品,还要积极改进收集用户反馈的测试流程;最后在回顾阶段,让你的工程师时刻保持迅速积极的反应——回应测试用户的需求,创造新的方式来继续维持测试用户的忠实度。