【猎云网(微信号:ilieyun)】9月27日报道 (编译:大黄)
编者注:本贴的目的在于展示我们在紧迫的时间和有限的资源内,从零开始为Keep Solid Sign进行B测的过程。
如果你是针对企业用户的创业者,期待把你的拳头产品或者B测中的项目推广到新用户中去,现在就拿出小本子记笔记。
产品的开发过程以Hotjar为榜样就大致没问题了。但如果你没有那么多的时间、人力、资源和预算呢?如果在此之上,你还是想在开发阶段让新用户参与产品测试并获得第一手反馈,又该怎么做呢?这就是我们开发最新产品KeepSolid Sign中所遭遇的问题。
给合同还有其他文件署上电子签名是个很酷(毫无疑问)的服务。在那个阶段,我们成为了macOS, iOS和Android三个平台同类产品中的MVP。于是我们觉得逝世后进行一次独家封闭Beta了。我们仅有两个月时间(实际上最后只用了一个半月)来进行这次Beta.我们还计划在四个(加上Windows)平台上进行公开Beta,同时于九月底提供网页版应用。
KeepSolid Sign beta的小总结。我们按照下面几个步骤得到了不错的成果。
准备阶段
首先,我们决定这次Beta的目标是以下几点
1.将产品提供给新用户并得到关于产品体验和优缺点的回馈。
2.了解用户当前文件签署习惯:他们如何签署文件,他们采用的方式有什么优缺点等等。比较我们的解决方案同用户当前使用的方案的区别。
3.更好地理解产品的未来发展方向,为此制定路线图。
4.为我们的产品设定预期用户。
设定了这样的目标之后,我们继而为Beta制订了计划和Beta概念。我们在Beta的各个阶段不断反思,决定我们该如何回访参与者,为此我们设计了一个网页,并借此开发出交流机制。以下是更多的细节。
拥有了Beta概念和和计划之后,我们开始邀请用户。我们有三个用户邀请渠道。
1.通过电子邮件邀请公司先前产品的用户(提供了80%左右的参与者)。
2.Beta相关的服务提供者,比如Betabound(18%的用户),我们在Google Doc中整理出了Beta提供者,欢迎取用,如果你知道什么别的Beta提供者,欢迎分享。
3.Reddit(2%左右)
我们最好的用户来源
这样让我们拥有了232名Beta用户(在完成或者主动申请参与我们的介绍性调查的用户中有超过62%转化率(CR)。)Beta用户的前两个来源很好理解。Reddit则值得解释一番。值得注意的是,我们选择那些会吸引目标用户群体(小企业主,地产经纪,财务专家等等)的板块。我们为这些板块再细分三六九等,因为我们想要一个广泛的反馈而不是纯粹专业化的调研。在得到版主们许可后,我们发布了封闭Beta的邀请。比如这样:
Beta邀请帖之一。同时我们会选用合适的工具:
1.我们透过Tilda设计了Beta的主页。预算是我们选择这个阉割免费版的原因之一(结果因为需要付费功能,我们最终还是老老实实充值了。)同时Tilda让我们能够快速设计出漂亮的页面。
2.我们选择Survey Planet来实现调研目的。这是个体面的选择,不过还是有一些让人遗憾的小问题,我们也许会在日后的文章中提到。
3.我们通过Calendly(的两周免费试用)来安排同测试者联系并进行调研。Calendly用户体验极差,之后会提到。然后我们改用Skype,大意外,很棒=)
4.我们用io.来群发邮件,还是处于蹭试用期的缘故。Reply.io.很棒,我们再考虑要不要充值。
5.还有一个用户反馈很好的工具是Zendesk——一个按次算的用户支持软件。我们的用户主要用这个向我们发送故障报告,他们也很高兴有这样一个渠道同我们联系。
埋头苦干
准备好一切后,我们开始了Beta测试。起初我们任命了两个组员作为Beta管理员:一个负责电话调研,一个负责在线调研,然而事情发展到了奇怪的方向。我们向所有参与用户发送了申请表和介绍性调研。我们询问了关于职业啊,职位啊这些基础性息。其中最重要的问题是,他们能够在什么平台上进行测试。那时候KeepSolid Sign只有macOS, iOS, Android版,所欲我们请所有Windows用户耐心等待公开测试。用户填完表之后会得到KeepSolid Sign一年的订阅。
KeepSolid Sign macOS界面。
之后我们让他们下载应用并实用1.5周。再之后,用户可以选择进行在线调研或者Skype电话调研。这是个错误的决定。用户还是太冷淡了,他们不了解我们和我们的产品。这样,尽管有一部分用户选择电话调研,大多数还是倾向于在线调研。从古典心理学的角度来看,如果你期待用户进行特定的行为(参与调研,如果这是最重要的目的的话),你就改为他们提供一个糟得多的替代选项(比如不得不和你通电话)。如果你能让人参与电话调研,那得务必跟进每一通电话,并总结他们的内容。
顺便提一下,收录电话内容很重要(Skype用户可以尝试一下Callnote),录音前记得取得对方许可。一般而言,对方不会介意。跟进的时候将通话记录发送给对方会是很有礼貌的举动。第一次在线调研(#app,25%转化率)中,我们面向用户对产品的使用(频率,目的等等)提出了一系列问题。我们第一时间浏览了反馈结果,并及时联系用户以提出需要的跟进问题。
然后我们让他们试用产品1.5周。
调研表回执之一。
在第二次也是最后一次在线调研中(#app,23%转化率),我们提出了产品相关的问题:他们喜欢什么功能,不喜欢什么,有什么反馈之类的。我们也请用户在页面上为我们打分。他们已经使用了一段时间,因此会给出相对科学的评价。
另一份回执。
我们在两份调研中都有很多强制性问题。我们意识到一些推广人员不敢这样做,但我们的测试客户对此反馈积极。我们在各种问卷中提出大量问题来保证一切我们想知道的都能得到答案。平均每份调研占用填写者11-12分钟。
Beta结束后,我们做了一个段小可爱的感谢视频。是我们的Beta管理员自己拍的,寄送给用户的同时请求他们帮助推广App;)对此用户回应非常积极,我们的网页上好评如潮。
经验教训
我们认为Beta测试是成功的,我们所有的目标都是闲了。
- 我们得到了用户对产品的使用感受:他们喜欢什么,他们理解什么,他们期待什么。我们意识到用户欣赏Sign的全平台本地性,这比浏览器应用要受欢迎。这一点提供了优秀的运行速度和线下适用性。
- 我们更深刻的理解了用户签署文件的方式。举个例子,超过30%的反馈声称他们还在用传统的人力方式“印刷——扫描——签署——发送”。当然,这和行业标准和政府规章制度有关。在美国和英国电子签名的使用率比,呃波兰啊这些地方高得多了。
- 我们没有足够的参与者,因此不能得到科学的统计抽样和建立于此之上的路线图。我们期待公开测试能解决这个问题。同时,我们清楚地知道之后程序需要添加什么功能(比如制作和编辑签名的更多选项、电子签名证书)
- 我们确认了三类用户群体:小企业主、IT总监、个体经营者/自由职业者
关于KeepSolid Sign公开测试的计划(用Roadmap Planner做的)
我们得到的最棒的结论是(也让我们大为放心)Sign拥有商业潜力和竞争力。这可以说是Beta中所能期待的最重要的信息了。
一些不那么重要的经验教训
1.别太早就要求调研,这会把别人吓跑的。
2.也不要忽视电话调研。尽管我们只得到了一小部分电话调研,但是他们拥有巨大的价值。我们强烈推荐这一调研方式。
3.随时准备修改你的调研问题。我们在获得第一批反馈时就意识到用户和我们对一些问题的理解并不一样,继而修改了他们。
4.定量问题的数量应该和参与者正相关。因为参与者数量和定量问题的有效性正相关。
总的来说,这次Beta绝对有大帮助。
先前提到,我们正在策划一次公开Beta(我们会9月底在全平台发布,你可以在下面申请加入测试计划)我们期待在公开Beta结束后再发贴总结。请把这一贴当成Sign的开发者日记之一吧。