1. 聚能聊>
  2. 话题详情

阿里开发者招聘节 | 面试题15-20:当多个作业或用户访问存储系统时,如何保证优先级和公平性?

为帮助开发者们提升面试技能、有机会入职阿里,云栖社区特别制作了这个专辑——阿里巴巴资深技术专家们结合多年的工作、面试经验总结提炼而成的面试真题这一次将陆续放出(面试题官方参考答案将在专辑结束后统一汇总分享,点此进入答题并围观他人答案)。并通过这些笔试真题开放阿里巴巴工作机会,让更多的开发者加入到阿里这个大平台。

这一次,不仅是知识的收获,还将间接地与技术大牛们做了直观的沟通,了解他们的出题思路与考察要点,并加以消化吸收,这对自己技术能力本身就是一种极大的提升。走上编程之路,不断丰富自己方能与世接轨,努力做最优秀的自己。

5月15日,我们给开发者的第20道面试题。

20.在云计算大数据处理场景中,每天运行着成千上万的任务,每个任务都要进行IO读写。存储系统为了更好的服务,经常会保证高优先级的任务优先执行。当多个作业或用户访问存储系统时,如何保证优先级和公平性。

阿里巴巴出题专家:田磊磊

2010年加入阿里云存储团队,专注于分布式存储领域,NFS协议,数据一致性,高性能等;先后参与过分布式存储,kv系统,NFS协议相关的开发;目前为广大公共云用户提供稳定,高可靠,高可用,高性能的文件存储服务(NAS)。

_

招聘职位: 存储类技术岗位


5月14日,我们给开发者的第18~19道面试题。

19.你理解常见如阿里,和友商大数据平台的技术体系差异以及发展趋势和技术瓶颈,在存储和计算两个方面进行概述。

18.对大数据平台中的元数据管理是怎么理解的,元数据收集管理体系是怎么样的,会对大数据应用有什么样的影响。

阿里巴巴出题专家:映泉

阿里巴巴高级技术专家,在阿里云智能事业群-计算平台事业部-通用计算平台-生产力与对外输出负责人,负责阿里EB级大规模分布式数据处理平台-MaxCompute整个研发团队的生产力建设,产品发布,产品质量, 产品技术的对外输出等工作。 将阿里大数据平台旗舰产品MaxCompute以产品和技术方案输出的方式应用于数据分析、挖掘、商业智能等领域,已经形成对所有主要行业的输出覆盖并以重点产品支撑一些关键国计民生项目。所负责的领域包括产品技术输出,数据上云,计算开发者支持,部署架构演进,和更多开源系统进行融合,行业解决方案与大数据计算平台的整合,推动MaxCompute向普惠大数据发展,从而使得所有人用的起,用的上大数据计算并让数据发挥出其最大价值,为智能性社会建设做出贡献。诚招技术功底较好,对大数据技术和产品建设有热情,有推动力的优秀人才加盟。
_

招聘职位: MaxCompute技术岗位

5月13日,我们给开发者的第17道面试题。

17.请分析MaxCompute产品与分布式技术的关系、当前大数据计算平台类产品的市场现状和发展趋势。

阿里巴巴出题专家:云郎

阿里巴巴大数据计算服务MaxCompute高级产品专家,做为MaxCompute产品和运营团队带头人,和团队共同致力于提供基于阿里云的大数据计算平台,帮助企业构建云数据仓库和数据湖, 满足企业在大数据分析方面日益增长的数据量、计算量成为常态的情况下,对低成本、高性能、稳定、安全可靠和易用方面的要求,促进大数据普惠社会的实现。

_

招聘职位: MaxCompute高级产品专家

5月12日,我们给开发者的第16道面试题。

16.一颗现代处理器,每秒大概可以执行多少条简单的MOV指令,有哪些主要的影响因素?

阿里巴巴出题专家:子团

阿里云创新产品虚拟化&稳定性资深技术专家。2013年加入阿里云, 目前在负责创新平台的系统虚拟化业务, 阿里云历次虚拟化架构升级的核心贡献者之一。带领团队构建了一套性能、成本、稳定性都处于业界领先的虚拟化系统,从而完成了阿里云百万规模客户的支撑。 同时也是阿里巴巴电商、金融业务上云、SAP HANA认证等多个重大项目的虚拟化部分负责人。

_
招聘职位:阿里云-GPU虚拟化研发高级专家

5月10日,我们给开发者的第15道面试题。

15.请计算XILINX公司VU9P芯片的算力相当于多少TOPS,给出计算过程与公式。

阿里巴巴出题专家:隐达

FPGA异构计算资深专家,2007年即作为芯片架构师,成功开发两款规模分别超过3500万门的ASIC芯片,达到了当时最先进的45nm工艺的极限。在FPGA/ASIC以及硬件设计领域有超过20年的工作经验,对于超大规模FPGA设计开发、ASIC开发与原型验证以及FPGA在数据中心中的加速价值有着深刻的理解和丰富的经验。

_2

招聘职位:阿里云-GPU虚拟化研发高级专家

更多面试题等你参与解答:
阿里开发者招聘节 | 面试题01:如何实现一个高效的单向链表逆序输出?
阿里开发者招聘节 |面试题02-08:NAS(Network Attached Storage)协议NFS和SMB相关问题
阿里开发者招聘节 | 面试题09-14:为什么鹿晗发布恋情的时候,微博系统会崩溃,如何解决?

在下方回复你对以上面试题的答案吧!

参与话题

奖品区域 活动规则 已 结束

  • 奖品一

    运动手环 x 1

  • 奖品二

    福禄寿淘公仔 x 1

15个回答

1

北方的郎 复制链接去分享

在云计算大数据处理场景中,每天运行着成千上万的任务,每个任务都要进行IO读写。存储系统为了更好的服务,经常会保证高优先级的任务优先执行。当多个作业或用户访问存储系统时,如何保证优先级和公平性。
感觉这个问题和类似线程优先级别的处理方式应该差不多。
首先建立一个访问的优先级,以及中断机制。高优先级优先处理,低优先级等待。每个处理进程可以有多个优先级属性(当前优先级,最高优先级),以及其他一些属性(比如是否可以打断等)。在一个请求等待的时候,随着等待时间的增加,它的优先级不断提升,不过不能超过它的最高优先级(这是为了防止一些只在空闲阶段执行的任务抢占其他任务资源)。当它的优先级超过当前执行的任务的优先级的时候,它得到执行。
在确定优先级的时候可以有一些规则,比如请求量少的优先什么的。

1

王任平 复制链接去分享

用分布式存储系统。O(∩_∩)O哈哈~

0

10409060 复制链接去分享

再见IT 我要回家种地,伤自尊了

0

zijiejiang 复制链接去分享

在云计算大数据处理场景中,每天运行着成千上万的任务,每个任务都要进行IO读写。存储系统为了更好的服务,经常会保证高优先级的任务优先执行。当多个作业或用户访问存储系统时,如何保证优先级和公平性。
分布式存储系统接收到的用户请求,应该由统一的调度处理系统Master处理。
这样,Master可以根据请求的特点来设置请求的优先级。
比如小文件的读写占用IO资源较少,可以优先处理。大文件读写占用IO资源较多,可以设为低优先级。

当海量的请求同时到达Master时,不仅仅应该将请求划分优先级,还应将同一优先级的不同请求放入队列。
Master根据节点状态、任务特性从队列中拿出来合适的请求进行调度分配。

总结的话就是优先级和公平性都应该由一个统一的控制系统来完成。
__2019_05_23T05_21_22_086Z

0

江小白太白 复制链接去分享

求进阿里的正确方式。

0

游客5ciw7uuhpbyf2 复制链接去分享

UK啦KKK

0

游客phnfzgyyvhd6w 复制链接去分享

什么才是人生

0

游客2tvjvwgmao75w 复制链接去分享

数据分析????

0

游客hek5hafgefcrs 复制链接去分享

🙏🙏🙏🙏🙏🙏

0

游客skzob4z4u27ig 复制链接去分享

👍👍👍👍👍👍👍👍👍👍👍👍👍👍👍👍👍

0

1212112968801828 复制链接去分享

队列,分时机制

0

青龙剑 复制链接去分享

我是无源阿里职位了。不会。

0

benxtfb 复制链接去分享

元数据收集以及管理体系,对大数据应用的影响:
个人觉得在数据规模上去之后,元数据管理体系会成为整个大数据平台的中枢系统,一方面是元数据是管理大数据平台的依据,另一方面元数据体系是对用户服务的基础。
元数据可以分为核心的以及外围的:

  1. 核心的例如:

      1.1 数据库/表/字段的定义, 这个从各个存储系统收集
      1.2 表与表, 字段与字段之间的血缘关系, 从任务调度的角度收集
      1.3 物理方面的例如集群信息,应用信息,账号信息
  2. 外围的主要服务于业务:

      2.1 业务口径信息,例如字段代表的业务含义,以及相关的算法/负责人等等
      2.2 各业务线指标定义以及对应的数据源
      2.3 服务于权限的 数据源信息/调度资源信息/存储资源信息等
0

黄一刀 复制链接去分享

你看我行吗?????尤其擅长PHP。

0

wangccsy 复制链接去分享

我是无源阿里职位了。不会。