1. 聚能聊>
  2. 话题详情

拿什么来拯救焦头烂额的DBA?

DBA的一天

周四是发布高峰期,凌晨才填完坑的DBA,周五早上驮着电脑包来到工位还睡眼惺忪地…期望新的一天能够有时间投入到数据库性能优化的研发中…这是一个小目标!一点不比一个亿差![认真脸]
打开电脑的那一刻瞬间清醒了,99+的消息在跳动…
谁又在搞事情?!
QQ_20170815094036
研发A:
亲,昨天回滚的数据时间点不对啊,还需要再搞一下…
2分钟后…
亲,我们本来昨天就要上线的啦,麻烦支持下,否则这周又上不了啦…

研发B:
亲,昨天上线后发现,我的数据被同事误删了,麻烦帮忙恢复下呀…急急急,在线等!!
2分钟后…
​在不在?求大神尽快搞定…

研发C:
亲,我们今天有个重大发布,需要表结构变更、订正数据,麻烦支持一下啊!另外,这个SQL执行起来好慢,该如何优化下呀?

研发D:
亲,我们项目刚立项,辛苦帮忙建库建表并设计下表结构啊啊~

DBA支持群里面也是吵翻了天,慢SQL、索引、性能、回滚、建库建表、订正误操作等等…​
……
……
DBA哥哥内心其实已经很淡定了,每天都是这些事情,每周五要隆重上演一次…研发们都说要发布很急,这么多并行任务再急也搞不动,兄弟们不要燥啊…
DBA哥哥从认为最紧急的任务处理,可是处理过程中不断地有人来催…搞到一半的数据被一个个抖屏,一个个电话搞的间歇了十几次,本来5分钟的任务,硬是搞了半个小时,其他时间都用来安抚群众了…
不得不说,DBA 哥哥的脾气还真是好,这定力绝非一朝一夕能练就的。其实刚开始的时候脾气也是很暴躁啊,后来呢,就麻木了…

即便已经是多年的数据库管理员了,搞到下午也是焦头烂额的了,​自己内心想搞的数据库性能优化已经搁置好久了,什么时候能够有一刻的清净让DBA来实现他们的小目标呢?

老板来发话啦!

数据管理DMS企业版重磅来袭,中大企业数据库流程管控之利器,阿里巴巴十年沉淀输出!只要研发超过20人,你就值得拥有!
老板们,解放你们的DBA,实现研发自助,就等你来内测了!

点击进入数据管理DMS企业版内测>>

问题来啦,

1.你做过DBA吗?或者你的公司有DBA吗,一个DBA负责多少研发的数据库管理呢?
2.你所在的公司用过哪些软件管理数据库,研发流程管控需要多少人力介入?最需要解决的棘手问题是什么?
3.阿里巴巴沉淀十年的数据库管理平台iDB云上版本为数据管理DMS企业版,支持细粒度流程管控、操作审计、多环境库表发布等等。解放DBA,99%的数据库操作研发可自助完成,你还在等什么?

快来申请内测吧

附:数据管理DMS各版本对比矩阵

快来回答问题拿奖品吧!楼主期待你与数据库的故事,哈哈哈

参与话题

奖品区域 活动规则 已 结束

  • 奖品一

    优酷VIP月卡 x 3

  • 奖品二

    定制晴雨伞 x 2

  • 奖品三

    云栖定制电脑包 x 2

54个回答

3

佩恩六道 已获得定制晴雨伞 复制链接去分享

1.你做过DBA吗?或者你的公司有DBA吗,一个DBA负责多少研发的数据库管理呢?
之前公司做过类似DBA的工作,当时研发有3个组,大约40人左右,我主要是负责在线上数据库加字段

2.你所在的公司用过哪些软件管理数据库,研发流程管控需要多少人力介入?最需要解决的棘手问题是什么?
mysql命令行用的最多,navicat破解版也用过,主要都是用邮件来管控,测试数据库都是研发自己维护的,项目发布前会发邮件给我,我凌晨统一在线上执行,问题很多,如需求多,还会有重复和冲突,经常有遗漏和执行失败,每周光加字段就要熬夜2次,还有就是权限控制,每个研发都有数据库账号,不知道就上去跑个大SQL,我值班手机短信就爆了,事后在群里问,还没人承认,试过给每个研发建个账号,后面人员变动,加上账号流转,也没啥效果,所以干了不到1年,索性换了工作,安心做个码农。

3.阿里巴巴沉淀十年的数据库管理平台iDB云上版本为数据管理DMS企业版,支持细粒度流程管控、操作审计、多环境库表发布等等。解放DBA,99%的数据库操作研发可自助完成,你还在等什么?
希望这个能把数据库访问权限都收住,不允许通过其他方式访问数据库,如果试用后不错,我会考虑把几十台测试实例先用DMS管理,希望有更多实用功能,持续升级维护,我会逐步迁移过来。

雨伞、雨伞、雨伞,最近哈尔滨阴晴不定,就要你了,哈哈。

lyrewu 回复

亲,申请内测了吗,哈哈哈

修竹人 回复

广告?

评论
3

北方的郎 已获得定制晴雨伞 复制链接去分享

1.你做过DBA吗?或者你的公司有DBA吗,一个DBA负责多少研发的数据库管理呢?
很久之前做过类似DBA的工作。公司有DBA,主要是生产环境的维护、优化。研发阶段的数据设计什么的还主要是项目组自己。
2.你所在的公司用过哪些企业级数据库管理平台,研发流程管控需要多少人力介入?最需要解决的棘手问题是什么?
用过Oracle,RDS,DRDS等,研发流程对数据库的变动主要是走审批流程。现在比较棘手的问题就是研发效率和各种规范及审计之间的平衡。为了保证研发的效率,现在其实很多调整都是越过流程直接处理了的,很难避免文章里面列出的问题的发生。
3.阿里巴巴沉淀十年的数据库管理平台iDB云上版本为数据管理DMS企业版,支持细粒度流程管控、操作审计、多环境库表发布等等。解放DBA,99%的数据库操作研发可自助完成,你还在等什么?
好东西啊,希望能尽快用上。最好专有云上也能有这个功能。

数据管理dms 回复

DMS企业版在安全的基础上尽可能高的提升了研发效率,产品灵活支持按照业务的重要程度自行区分流程设置。

 对于核心业务可以设置严格流程,对于快速发展的新型业务可以设置轻流程;同时所有操作在线审批后自动调度全部操作可审计、可溯源,人员的权限也更可控。
 安全和效率的平衡即将到来:)

目前产品在公有云内测阶段,预计10月份产品开启公测后续再商业化。专有云这块需要在商业化之后才开始对接,详细诉求也可以随时反馈哈~

lyrewu 回复

研发阶段靠项目组自己,太有勇气啦!不知道审批流程是怎么走呢?通过平台管控还是邮件?

北方的郎 回复

呵呵,我不是说我做过类似DBA的工作码,项目组有人做相关的事。平台管控。

北方的郎 回复

谢了,期望能尽快用上。

评论
1

zhouzhenxing 已获得云栖定制电脑包 复制链接去分享

1.你做过DBA吗?或者你的公司有DBA吗,一个DBA负责多少研发的数据库管理呢?
做过,当时应该有十个左右DBA吧,一个DBA可能要负责几百个数据库。

2.你所在的公司用过哪些软件管理数据库,研发流程管控需要多少人力介入?最需要解决的棘手问题是什么?
Navicat,主要还是命令行用的比较多。

当时最棘手的问题是:

业务方的变更数据库变更发布。看起来很简单,但是为了保障数据库的稳定(不波动),另外MySQL的变更可能会锁表,可能会影响业务,所以数据库的变更发布都是安排在晚上或者凌晨。在业务发展很快的时候,各种数据库变更非常多,但是又不能影响核心业务的稳定性,导致DBA经常一周有好几天要熬夜变更,然后白天要和研发做数据库架构、审核SQL、优化业务等等,基本上,工作压力会非常大。

3.阿里巴巴沉淀十年的数据库管理平台iDB云上版本为数据管理DMS企业版,支持细粒度流程管控、操作审计、多环境库表发布等等。解放DBA,99%的数据库操作研发可自助完成,你还在等什么?
不等,求试用

lyrewu 回复

申请内测就可以试用啦 https://dms.aliyun.com/

评论
2

jackyliu 已获得优酷VIP月卡 复制链接去分享

1.你做过DBA吗?或者你的公司有DBA吗,一个DBA负责多少研发的数据库管理呢?

我没有做过DBA,我们公司也没有全职DBA,我们线上数据库就是使用的阿里云的ECS,有十几个ECS。我们这边的服务器开发兼职做运营和DBA,小公司。

2.你所在的公司用过哪些软件管理数据库,研发流程管控需要多少人力介入?最需要解决的棘手问题是什么?
平时本地查看数据库和创建表结构,一般使用navicat、mysql workbench、phpmyadmin;
DDL变更追踪,最初使用我写的一个工具,a php cli script which copy the ruby on rails database schema migration function[https://github.com/shapowang/msmt];
后来DDL变更管理使用了flyway,https://flywaydb.org/
最棘手的问题就是,本地,大家各自用各自的工具建表,在表里面加配置数据,某些时候会忘记将变更的sql语句记录下来,导致上线后,线上线下表结构不一致。理想状态,就是强制所有人采用一个WEB工具如phpmyadmin来修改数据库,自动记录表变更;或者禁止大家自行修改表结构,所有操作交由一个人负责。

3.阿里巴巴沉淀十年的数据库管理平台iDB云上版本为数据管理DMS企业版,支持细粒度流程管控、操作审计、多环境库表发布等等。解放DBA,99%的数据库操作研发可自助完成,你还在等什么?
a.等降价,高级版一个用户一个月128元,太贵了;
b.redis管理属于数据管理的一部分,啥时候增加导出下载某个key space或者某个集合key的功能?啥时候升级到redis 4.0?
c.建议阿里云ECS磁盘自动开启每天凌晨全量镜像的功能,我们自建的mongo被删库了,才发现那个ECS没有磁盘备份~

雨伞,快来~

lyrewu 回复

雨伞已经没了亲/(ㄒoㄒ)/~~下次再来!

评论
0

x_wy46 已获得云栖定制电脑包 复制链接去分享

1.你做过DBA吗?或者你的公司有DBA吗,一个DBA负责多少研发的数据库管理呢?
目前就是,但是属于全职开发DBA+半管理DBA,DB服务器管理有人专门负责,目前主要负责DB的design,sql优化,trouble shooting,发团队的DB相关的技术支持,复杂逻辑在DB里的实现。不负责数据的灾备管理,高可用管理,权限管理,这里所说的数据库是库还是实例?如果是库的话就多了,几百个吧,如果是实例的话,也有几十台了。

2.你所在的公司用过哪些软件管理数据库,研发流程管控需要多少人力介入?最需要解决的棘手问题是什么?
管理数据的软件的话就是自己写的,监控服务器的CPU,内存,IO,磁盘空间,TPS,QPS,网卡流量等等各种负载信息。
客观说我们公司再开发到DBA的衔接上做的非常好,几十号人开发人员的各种DDL,DML,存储过程,函数等等sql脚本写的溜溜的,任何一个开发任何一个数据库操作,都必须写成可重复执行的脚本,以兼容常见的意外情况,禁止使用图形界面操作,简单举例,比如建索引,仅仅是create index的话,很容易引起是吧,要求create index之前判断index是否存在,发布流程也是采用shell脚本半自动化发布的,基本上不需要什么额外的人力。目前最棘手的问题就是回滚了,如果全库回滚,可能会“误伤”到一些无辜的业务,如果个性化回滚,就涉及到DDL+DML+DCL的回滚等,DDL的回滚有SQL脚本的版本控制,DCL的回滚也可以自动化反向操作,但是DML的回滚,比如更新表更新数据等等,如果数据量很大的话,很难做到基于表的精确回滚。

3.阿里巴巴沉淀十年的数据库管理平台iDB云上版本为数据管理DMS企业版,支持细粒度流程管控、操作审计、多环境库表发布等等。解放DBA,99%的数据库操作研发可自助完成,你还在等什么?
支持细粒度流程管控指什么?一套sql源码,多环境库表发布我们目前已经做到了,可以在shell脚本中处理,期待自动化基于表的回滚方案。

另外,这和话题参与的人貌似不是很多,貌似没有真正的管理DBA参与啊,没有见过说上前台实例的管理流程和方法。

数据管理dms 回复

细粒度流程管控体现在2个大的方面:
1)【人员权限】支持库、表、列三种级别查询、变更、导出权限的组合,其中列是表上的敏感数据存储字段比如手机号码等;正常开通库权限会有库下所有表的非敏感数据权限(包括后续库内新建表),开通表权限只有表上非敏感数据权限,在拥有库和表权限的基础上需要使用敏感数据需要额外走流程申请。
2)【审批流程】平台内的各项操作均支持管理员和DBA在实例级别指定审批流程,比如核心库的权限申请可以指定一个非常严格的流程审批、涉及敏感数据的权限可以指定到部门甚至公司的安全负责人审批。数据订正等操作也是一样均可以灵活指定流程和审批人,对于开发环境追求效率也可以轻流程。但是所有操作在线可审计可溯源随时可查看。

另外关于表的DML回滚这个目前产品上没有做到完全自动化,但是在DML工单执行前对update和delete语法,我们会备份即将变更数据的全量insert脚本;如果不符合预期需要回滚的话可以用这份数据快速变更回去

欢迎有疑惑随时反馈讨论:)

x_wy46 回复

谢谢,实不相瞒,DML回滚的做法,一开始想法跟你们的做法一样,就是执行之前生成Insert脚本,但是我们能力有限,那个语法解析不了,比如delete a from tablea a inner join tableb b on a.id = b.id where a.createDate>'asd',或者是update也同理,复杂语法下,我们无法解析表,以及受影响的数据的行数,另外一个问题是即便是备份了当前的表,那么在新发布的逻辑发布之后到决定回滚期间,是新的逻辑在写入数据,靠事先insert脚本是会滚起来也是无法完全清理这部分数据的,意思说数据库中会遗留发布之后到回滚之前生成这个窗口期生成的数据。

说白了,如果有一个发布前的表级别的快照,就可以完美解决这个问题了。

数据管理dms 回复
回复@x_wy46:

语法解析和影响行数这些产品上都是cover到的:)

不过你说的这个发布之后到回滚之间生成的这份数据确实目前是一个难题,因为这里面会涉及一些正常业务操作数据也可能是发布引发的误操作数据,这个不是很好鉴定所以产品上目前在这个角度还没下钻

评论
0

定海神棍 已获得优酷VIP月卡 复制链接去分享

1.你做过DBA吗?或者你的公司有DBA吗,一个DBA负责多少研发的数据库管理呢?
我维护的是运营商的生产系统,当然也包括数据库啦。对于研发流程,我们公司都是dba给建立好实例,剩下的研发自己玩去吧。
2.你所在的公司用过哪些软件管理数据库,研发流程管控需要多少人力介入?最需要解决的棘手问题是什么?
不清楚,现在好像在搞私有云,要一键建库管理什么的。我维护过现网的数据库,dba大部分的事情我都是做过的。其实博客中提到的好多的事情,都是简单的可以自动化完成的。事情本身并没有多少难度,棘手的是这种被打断的工作状态。如果将这些操作封装起来,对研发提供统一操作接口,完全可以实现自主解决问题。我在维护生产环境时,也是顺着这个思路,常规操作都是封装了package或者存储过程,尽量做到一个语句完成操作。
3.阿里巴巴沉淀十年的数据库管理平台iDB云上版本为数据管理DMS企业版,支持细粒度流程管控、操作审计、多环境库表发布等等。解放DBA,99%的数据库操作研发可自助完成,你还在等什么?
好东西,让dba去做真正需要逻辑分析,实现价值的事情吧,不要仅仅只是打杂了。。。

lyrewu 回复

棘手的是这种被打断的工作状态,这也是DMS企业版的价值!

评论
1

zcywxy 复制链接去分享

数据库新手路过,求优酷vip月卡。不知道为什么奖品不是一些数据库优化的书或者什么的。哈哈

lyrewu 回复

说的有道理啊,不知道主办方能否提供相关书籍作为奖品呢~~

恍然间 回复
回复@lyrewu:

+1

评论
0

ajiwi 复制链接去分享

1.你做过DBA吗?或者你的公司有DBA吗,一个DBA负责多少研发的数据库管理呢?
做过,当时应该有十个左右DBA吧,一个DBA可能要负责几百个数据库。
2.你所在的公司用过哪些软件管理数据库,研发流程管控需要多少人力介入?最需要解决的棘手问题是什么?
Navicat,主要还是命令行用的比较多。
当时最棘手的问题是:
业务方的变更数据库变更发布。看起来很简单,但是为了保障数据库的稳定(不波动),另外MySQL的变更可能会锁表,可能会影响业务,所以数据库的变更发布都是安排在晚上或者凌晨。在业务发展很快的时候,各种数据库变更非常多,但是又不能影响核心业务的稳定性,导致DBA经常一周有好几天要熬夜变更,然后白天要和研发做数据库架构、审核SQL、优化业务等等,基本上,工作压力会非常大。
3.阿里巴巴沉淀十年的数据库管理平台iDB云上版本为数据管理DMS企业版,支持细粒度流程管控、操作审计、多环境库表发布等等。解放DBA,99%的数据库操作研发可自助完成,你还在等什么?
不等,求试用

数据管理dms 回复

申请内测就可以试用哦 https://dms.aliyun.com/

评论
0

丰盛的云 复制链接去分享

新人报道,谢谢😜

0

1686404160709245 复制链接去分享

DBA是何意?

0

xzmjw 复制链接去分享

DBA好牛逼的赶脚

0

crlandcrit 复制链接去分享

这就是dba地区日常啊!

0

寂灵山水a 复制链接去分享

1.制订好dba运维流程,纳入整个大的运维规范中,
2.结合公司业务特点开发自动化数据库运维管理平台的开发,将运维管理工作尽可能自动化

0

彼岸花美 复制链接去分享

数据库优化?

0

1628003693485691 复制链接去分享

真心不知道咋玩了

0

喵先生2 复制链接去分享

新手请赐教

0

iammotherfucker 复制链接去分享

在我看来阿里云应该是一个可以用来管理企业,让我们这些制造业小企业主解脱出来的,都是我仅仅只知道这些,还有其他的用处吗?怎么用我也不会

0

幸福的天空 复制链接去分享

不管怎么去做任何一件事,都会有晕头转向的时候关键就得去坚持去学习,去努力

   你所在的公司用过哪些软件管理数据库,研发流程管控需要多少人力介入?最需要解决的棘手问题是什么? 

mysql命令行用的最多,navicat破解版也用过,主要都是用邮件来管控,测试数据库都是研发自己维护的,项目发布前会发邮件给我,我凌晨统一在线上执行,问题很多,如需求多,还会有重复和冲突,经常有遗漏和执行失败,每周光加字段就要熬夜2次,还有就是权限控制,每个研发都有数据库账号,不知道就上去跑个大SQL,我值班手机短信就爆了,事后在群里问,还没人承认,试过给每个研发建个账号,后面人员变动,加上账号流转,也没啥效果,所以干了不到1年,索性换了工作,安心做个码农。

    阿里巴巴沉淀十年的数据库管理平台iDB云上版本为数据管理DMS企业版,支持细粒度流程管控、操作审计、多环境库表发布等等。解放DBA,99%的数据库操作研发可自助完成,你还在等什么?

希望这个能把数据库访问权限都收住,不允许通过其他方式访问数据库,如果试用后不错,我会考虑把几十台测试实例先用DMS管理,希望有更多实用功能,持续升级维护,我会逐步迁移过来。

0

1086402948970355 复制链接去分享

小公司一般没有。有规模的才会有DBA。小公司数据不大加上身兼数职。是这概念。

0

1053003446246120 复制链接去分享

你做过DBA吗?或者你的公司有DBA吗,一个DBA负责多少研发的数据库管理呢?
2.你所在的公司用过哪些软件管理数据库,研发流程管控需要多少人力介入?最需要解决的棘手问题是什么?
3.阿里巴巴沉淀十年的数据库管理平台iDB云上版本为数据管理DMS企业版,支持细粒度流程管控、操作审计、多环境库表发布等等。解放DBA,99%的数据库操作研发可自助完成,你还在等什么?

2