1. 聚能聊>
  2. 话题详情

我们是谁?测试!快速迭代的互联网研发模式下测试如何突破?

测试同学的日常:
~每次出故障,老板总是会问,你这个怎么测的。
~交付延期,发布时间却不变,只能压缩的就是测试时间了。怎么办,加班来补吧。
~测试环境又挂啦。
~你就不能少重构几次?每次重构都要回归所有功能。
~功能急着上线,却没几个用户使用。
~说好的自动化,在经过无数个紧急项目后,仍然没有完成。
~哦弥陀佛,项目明天就要发布了,千万不要有故障。


IMG_4004

测试作为研发环节中不可缺少的角色存在着,但大多数中小型公司的测试团队却以最弱小的姿态生存。在互联网模式的冲击下,快速迭代、持续发布、不断试错成为研发部门的关键词,这一切不断冲击着传统软件测试中赖以生存的“流程”、“规范”等优势。
过去一段时间,跟业界的同仁做过很多交流,发现存在一些共性的问题,

  • 1、在小公司里做测试,每天都是搭环境,写用例,做手工测试,感觉自己只是打杂的。
  • 2、很难融入到真正的技术体系中,有些测试团队都不在技术部下面,没有技术含量,替代性很强。
    _new2_

那么,我们来讨论一下

- 1、作为测试管理者,你觉得测试团队如何面对新环境下的挑战?如何带领团队不断打造难以被代替的竞争力?

- 2、作为一名测试人员,你的焦虑是什么?你希望提升哪方面的能力?

- 3、测试如何融入到技术体系中,如何积累自己的工具平台,沉淀自己的技术能力。

- 4、对于市面上的大量测试工具,大家觉得普遍存在的问题是什么?在使用时,又遇到了哪些挑战?

参与话题

奖品区域 活动规则 已 结束

  • 奖品一

    淘公仔 x 3

  • 奖品二

    王坚新著《在线》 x 1

  • 奖品三

    免费套餐邀请码 x 1

82个回答

1

ykswang 已获得淘公仔 复制链接去分享

六年测试路过,感觉还是有很多有沉下去做

  • 接口测试,可以把开发起的 Server 完全 Mock 化在本地测,整个 Server 和外部的交互,和数据库的交互,都可以测试到,配合Docker自动编译和构建全套运行环境,自动化的效率可以非常高,快速的时候10-20分钟就可以迭代一个版本上线
  • 性能测试,然后 JVM 内存调优,前提是有权限拿到开发的代码,分析,给出改进建议
  • 基于用户的外部监控,用 UI 自动化,和接口测试用例,配合 Jenkins ,可以实现一个服务监控,和运维的监控互相弥补,然后把结果通过 MailGun, Slack, 钉钉等 API 做消息推送
  • 我们公司的服务有一些必要的测试接口是纯内网的,我们也搞了一些类似 websocket 转发服务配置在跳板机,然后用 cucumber 的语法自己重写了解析器可以发送测试指令去执行测试,把数据带回来

其实好的测试未必不如开发,行业上普遍觉得测试不如开发是因为测试的人自己都这么觉得,所以沉下去做的很少,但是真正能够沉下去的测试还是很受到开发尊重的,架构设计, Bug 修改,需求讨论,都会和你商量,而且自己自测也会加强,因为他觉得他自己一偷懒就会被你发现,这才是一个良性的循环。

傲野 回复

我也深刻感觉到,好的测试真正能够沉下去,即发现得了深度的质量问题,又能提出架构优化方案,还能做得了工具平台来解决系列问题,推动质量和效能的一点点改进。对了,针对于上述说的这些,阿里的云效平台有比较完整的思路,可以参考和试用。

云效平台 回复

欢迎体验阿里巴巴持续交付平台——云效,http://yunxiao.aliyun.com,涵盖单测、接口、UI、前端、性能、集成自动化等分层自动化测试,通过项目流程管理和专项自动化提效工具,能够很好地支持互联网敏捷项目的快速迭代发布,真正实现24小时持续集成、持续交付。

评论
2

shawn.ss 已获得免费套餐邀请码 复制链接去分享

不是专业的测试人员, 但是作为负责最终交付回款的人,基本也负责测试。。。

个人感觉,能用得起和开发一样贵的测试的公司,基本都得是搜狗新浪级别的吧
没到这个级别的公司,更多的情况是测试就是开发自己,写了功能,试试能不能跑,这就是上线内测前全部的测试了,
再好点就是交叉测试,A 开发测试B的代码,B开发测试A的代码,
之后呢,上线内测,提bug,改bug,弄几轮最终上线,基本小公司都是这个流程了。

工具什么的,gor算吗?fiddle算吗?bash里写一大堆curl算吗?还用了禅道的bug管理

至于技能啊,作为一枚开发工程师,测试就是写代码,

最焦虑的场景就是改了大面积代码,要回归测试了

傲野 回复

对于小型或者创业团队来说,确实开发就是测试。TA们考虑的是以最小的成本活下去。

评论
1

北方的郎 已获得淘公仔 复制链接去分享

我项目中测试工具主要是Jira进行缺陷跟踪,用LoadRunner做压力测试。
JIRA是Atlassian公司出品的项目与事务跟踪工具,被广泛应用于缺陷跟踪、客户服务、需求收集、流程审批、任务跟踪、项目跟踪和敏捷管理等工作领域。
LoadRunner,是一种预测系统行为和性能的负载测试工具。通过以模拟上千万用户实施并发负载及实时性能监测的方式来确认和查找问题,LoadRunner能够对整个企业架构进行测试。企业使用LoadRunner能最大限度地缩短测试时间,优化性能和加速应用系统的发布周期。 LoadRunner可适用于各种体系架构的自动负载测试,能预测系统行为并评估系统性能。
现在感觉的主要问题是一些场景LoadRunner模拟不出来,而且查找问题原因的时候LoadRunner监控比较弱,有的时候要自己写脚本来找原因。
我觉得快速迭代的研发模式下还是要想办法自动测试,否则每次的回归测试就要搞死。

傲野 回复

能在项目中考虑使用这些工具,已经是一个相对成熟的产品或团队了吧?LoadRunner,Jira这些商业化的工具最大的缺点是无法定制,当然你如果仅按照它们设计的功能来使用还是挺好的。
关于自动化,其实业界不乏有很多工具、框架。我觉得自动化一定要强调两点:场景和价值。
1、使用自动化的场景是什么?冒烟还是回归?自动化如何触发?如何维护。我们团队目前是把自动化真正系统化的嵌入到研发和发布流程中,自动触发,自动执行,已经自动响应(失败需要人工介入)。
2、自动化的价值?很多人会提自动化为了提高效率,还有人提出自动化是为了double check。这些是没有重视自动化。当前我们对自动化就一个要求,拦截了多少个预上线的故障,以及代替了多少人日(即多少变更的发布仅需要自动化,不需要人工测试)。
只有真正做到这些了,才能说团队是真正实现自动化了。

北方的郎 回复

说实话,其实我们现在做不到像你们那样自动化和细致的测试,就像你说的“交付延期,发布时间却不变,能压缩的就是测试时间了。”
其实我在自动测试作用认识最深的一次是多年前我写一个逻辑引擎的时候,那个时候我用JUNIT写的测试代码比正式的代码都要多。那次要不是我一开始就用自动测试代码覆盖了尽量多的案例,我肯定会被搞死的。

评论
0

佛无菩提 已获得淘公仔 复制链接去分享

公仔,来个公仔吧😊。 测试 ,在互联网企业快速开发中时间很短,不可能那么多全面测试。我的想法是完善的测试流程还是可以保证测试质量的,1 在业务开发过程中测试可以跟进了解业务逻辑,了解业务模型,需求。 2 同时,开发中开发人员也会自测功能,测试可以接触开发人员了解这部分测试过程,方便后续整体功能测试。 3 时间短,测试就要分出优先级,测试优先级高的部分,主体部分,正常使用没有问题,可以快速发布了,其他部分可以简单测试,后续出现bug也是影响很小的。测试工作多,时间短,要权衡一下选择个测试方案,时间上就要放到主要功能上测试,允许不完全测试,想测试用例覆盖100%是需要很多时间的。

傲野 回复

有个观点挺好,完整测试一定是需要更多时间和资源的,在可控的范围内做到更精准点的测试,分迭代的去达成质量目标。。那么,问题来了,精准和迭代又是做到呢?

评论
0

bentley_reg 已获得王坚新著《在线》 复制链接去分享

为了快速迭代,都是以发布时间为目标,根据测试时间和开发产品确认测试范围,明确压缩测试时间风险,然后在有限时间内尽量多测。
一直信奉严谨质量第一,但是近期渐渐发现公司风气变了,以前复杂的功能都有详细的流程图、思维导图分析需求,根据需求做出用例,不复杂的功能直接在用例上组织需求分析,然后扩展出用例,用例的条目步骤都是明确的,只有很简单的功能才会省略用例。
但是现在身边团队的用例还不如以前需求分析详细,只是列出了功能点,很多测试点都没覆盖到,没有步骤对新人不友好,用例的目的应该是防止漏测,明确测试步骤,并且后期复用,现在的这些用例明显不具备这些功能,很费解为什么团队一直坚持使用这种用例?
还有测试流程,跟进需求、编写用例、执行有明确的界限,但执行时却一通的来,新功能和回归没有区分,回归内容不明确,难道这些变化都是为了应对快速迭代?
测试管理工具从最初的只有邮件、ftp、bugzilla,后来有了wiki、svn,再到后来用了禅道,到现在公司有了根据自身流程自定义的管理系统,编译提测测试发布一体化。
服务端性能工具主要还是jmeter,其它lr、ab什么的大小工具也试用过一堆,客户端有自写的脚本、有自动化团队提供的各种监控工具,有windbg、verify、任务管理器、monkey等工具。
功能工具主要是自写脚本和一些系统内常用的工具,例如最好的伙伴wireshark,例如win平台的processxp、procmon等等
回归主要使用自动化团队开发的系统,但是稳定性、可扩展性待提高。

0

新蓝海 复制链接去分享

引入虚拟化,测试场景,模拟应用,故障在现,通通一键搞定

傲野 回复

很好的思路,有没有更明确一点的?

olymtech 回复

同上,能否稍详说下?

云效平台 回复

愿闻其详~

评论
0

巴洛克上校 复制链接去分享

软件测试就只知道一款LoadRunner,上学的时候做过黑盒测试老师让我们用LoadRunner来测试我们用Delphi开发的图书管理系统,记得好像测试的方法有边界值分析法、等价类化为法、场景法、因果图法,还有啥记不住了根据这些写出测试的详细步骤(一个简单的登录都测半天,最大几位,密码有没有变点,最少几位,特殊字符,正确输入多久进入,错误啥样,不填写直接点登录又啥样,界面设计是否合理,有没有错别字等等。。。。。),之后根据测试用例开始测试,每测试完的数据和资料,要用word画表格写出来,给我感觉测测每天干的工作大部分是在写文档,更烦的还有手机软件测试,摆一排手机搁那,塞班的好几种型号,还有安卓的好几种型号挨个测说白了就是全部功能全弄个遍,心想着怎样的操作可以把它弄崩溃就怎么试。。。。。

我的杀比 回复

加油加油

傲野 回复

测试是为了证伪,但如何高效的验证是要解决的问题。

评论
0

浮生递归 复制链接去分享

公仔~~公仔~~公仔~~

  • 1、作为测试管理者,你觉得测试团队如何面对新环境下的挑战?如何带领团队不断打造难以被代替的竞争力?
    流程规范、高效。除了做到高效测试,还要有高效沟通。特别是在沟通方面,如果做的好,是很难被代替的。
  • 2、作为一名测试人员,你的焦虑是什么?你希望提升哪方面的能力?
    质量和速度。怎么做到确保能测出所有存在的问题,不会出现用户反馈过来,才发现自己没测出来。怎么做到在最短的时间内,完成测试,并上报测试结果。因为很多时候,留给测试的时间都很短。
  • 3、测试如何融入到技术体系中,如何积累自己的工具平台,沉淀自己的技术能力。
    寻找行业交流平台、社区,互通有无。有好的东西,大家拿出来分享。完善自己的流程,形成一套东西,单位就容易将测试纳入到自己的技术系统。
  • 4、对于市面上的大量测试工具,大家觉得普遍存在的问题是什么?在使用时,又遇到了哪些挑战?
    功能不全,或者好的功能收费,以及测试准确性无法保证,最终还是要手工测一遍才安心。可能是基于技术原因,有些测试,无法用测试工具完成,只能手动来。还有一些应该就是运营成本的问题,开发工具的单位也要吃饭,所以对部分功能进行收费,那就限制了用户的数量和传播。
傲野 回复

这个回答,,太务虚了,公仔不太给得下手啊。能否给到测试小伙伴更明确一点的建议?

浮生递归 回复
回复@傲野:

很实在了啊,完全基于实际工作经验的总结。测试质量是一回事,团队沟通更是要当一回事。当沟通不畅的时候,导致的问题严重性远远大于测试结果本身。举个例子,有次协助百度一款安全产品做测试。最终发现问题的关键居然在于百度内部部门间的沟通问题上。账号中心那边修改了东西,没有告知该产品部门,结果导致该产品与账号有关的功能出现异常,无法正常推送报警消息。这次事件明显是测试人员上报了问题,但是相关人员压根没理会或某个环节有人推诿。然后测试人员估计也因为自己已经上报了就不管了,没有继续跟进,最终导致用户发现问题了,才倒逼团队进行紧急排查处理。

评论
0

1534903121077726 复制链接去分享

阿里云注定会覆盖全世界。

数云网络 回复

力挺

云效平台 回复

支持!

评论
0

1049003079562263 复制链接去分享

不知道怎么说

羽爷吉祥 回复

现在处于小白阶段

评论
0

1618342857759415 复制链接去分享

我们测试部确实每天都面临着最开始说的那些问题,
真心想请教大神能够帮忙分析一下,这种情况怎么才能有所改善呢?

0

丰盛的云 复制链接去分享

新人报道,谢谢😜

0

dandelion6952 复制链接去分享

测试好受气……

0

ljs2017 复制链接去分享

我想学习一下,团队在没有测试人员的情况下,如何保证产品质量和进度?
测试的工作是必不可少的,没有测试人员的情况,只能由产品经理、开发人员担任测试工作,这种情况下的测试肯定没有专业测试人员进行测试那么专业,质量会存在问题;同时由于要分出部分时间进行测试,本职工作时间要被压缩,进度经常受到影响。

0

幸福的天空 复制链接去分享

不认识自己了

0

1598503409542367 复制链接去分享

看不懂,求专人带路

0

1509303407864561 复制链接去分享

0

code_player 复制链接去分享

仰望大佬们...

0

jor2003 复制链接去分享

我就进来看看大侠们讨论什么

0

-_31623 复制链接去分享

能力差或者目的不明确

4
13450
浏览
0
收藏
邀请他人互动
关注
0
粉丝
57
话题
1

感兴趣or擅长的领域:

简介:

06年毕业于南昌大学,现就职于阿里巴巴,担任高级技术专家职务。曾就职于中兴通讯、支付宝等公司。在过去9年的工作中,经历了不同类型研发模式的变迁,善于站在质量角度来看待软件研发各环节的问题,利用技术的手段来拓展测试边界。在沉淀测试工具平台,搭建质量闭环等方面有着丰富的经验。