《中国人工智能学会通讯》——11.78 结束语

简介: 本节书摘来自CCAI《中国人工智能学会通讯》一书中的第11章,第11.78节, 更多章节内容可以访问云栖社区“CCAI”公众号查看。

11.78 结束语

特征选择和学习是大数据领域中数据降维与表示的重要方法。过去的工作往往只能适用于小规模数据或难于应用于体量大、复杂性高等特性的数据。设计通用性强、易于并行化或大规模化的高效特征选择和学习方法,是其能在实际大数据应用中发挥作用的关键所在。本文开展了并行大规模特征选择、复杂数据融合与高效学习、基于深度学习的特征表示模型、算法及应用研究。

● 特征选择是数据降维的典型方法,可以有效解决“维数灾难”,缓解“信息丰富、知识贫乏”现状,降低复杂度。我们构建了一个统一的并行大规模特征选择框架,进而提出了相应的模型 -数据双重并行方法。基于该框架,给出了四种典型的启发式特征选择算法的并行方法,并设计了相应的基于 Spark 的并行大规模特征选择算法。进而从方法层面运用粒计算理论对并行特征选择算法进行加速。

● 粗糙集理论,是继概率论、模糊集、证据理论之后又一个处理不确定性的数学工具。我们给出了复合信息系统的定义,进而扩展粗糙集模型,提出了复合粗糙集模型。该模型可以同时处理多种数据类型,为复杂数据融合提供了一个新的方法。概念近似集是基于粗糙集模型的特征选择算法的核心步骤,为有效计算概念近似集,提出了复合粗糙集模型中近似集的矩阵表示方法,并设计了基于矩阵的并行概念近似计算算法,同时实现了基于单 GPU和 Multi-GPU 的并行概念近似集计算算法。

● 实际大数据应用中标记数据不易获得,普遍存在标记数据稀少、标记数据昂贵等现象。为此,我们结合了生成式学习和判别式学习的优点,提出了一个新型混合网络结构 SUGAR。SUGAR 有主网络、辅助网络和桥组合而成,可以同时从无标记数据和有标记数据中学到更有意义的高层次特征。同时提出了基于 SUGAR 的深度网络模型。

● 在实际大数据应用中,如天文大数据中的恒星光谱识别问题,往往需要更加定制化的方法。我们回顾了恒星光谱的特点及传统处理方法,进而根据恒星光谱的特点,运用 Dropout、Maxout 等多种深度学习技术,提出了相应的基于深度学习的特征表示方法 LLDL。

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
机器学习/深度学习 人工智能 自然语言处理
搜狗翻宝Pro机再次开挂,智能翻译硬件成中国人工智能的新风口
第五届世界互联网大会正在如火如荼的举行。
搜狗翻宝Pro机再次开挂,智能翻译硬件成中国人工智能的新风口
|
机器学习/深度学习 人工智能 自然语言处理
阳过→阳康,数据里的时代侧影;谷歌慌了!看各公司如何应对ChatGPT;两份优质AI年报;本周技术高光时刻 | ShowMeAI每周通讯 #003-12.24
这是ShowMeAI每周通讯的第3期。本期内容关键词:新冠、ChatGPT、2022 AI 报告、腾讯·绝悟、阿里·AliceMind、小红书·全站智投、OpenAI·Point-E、Google·CALM、Wayve·MILE、AI2·MemPrompt、Stanford x MosaicML·PubMed GPT、腾讯全员大会、特斯拉裁员、图森未来裁员、AI 应用与工具大全。
463 0
阳过→阳康,数据里的时代侧影;谷歌慌了!看各公司如何应对ChatGPT;两份优质AI年报;本周技术高光时刻 | ShowMeAI每周通讯 #003-12.24
|
机器学习/深度学习 人工智能 自然语言处理
与世界同行 2017中国人工智能大会有感
与世界同行 2017中国人工智能大会有感
1540 0
与世界同行 2017中国人工智能大会有感
|
人工智能 自动驾驶
2019年上半年收集到的中国人工智能发展详情文章
2019年上半年收集到的中国人工智能发展详情文章
|
人工智能 芯片
中国人工智能计划,我来说几句
中国人工智能计划,我来说几句
|
机器学习/深度学习 人工智能 自然语言处理
2022 年中国人工智能行业发展现状与市场规模分析 市场规模超 3000 亿元
人工智能产业是智能产业发展的核心,是其他智能科技产品发展的基础,近年来,中国人工智能产业在政策与技术双重驱动下呈现高速增长态势。
1564 0
2022 年中国人工智能行业发展现状与市场规模分析 市场规模超 3000 亿元
|
数据采集 人工智能 智能设计
Nat. Biotechnol. | 人工智能药物研发在中国蓬勃发展
Nat. Biotechnol. | 人工智能药物研发在中国蓬勃发展
631 0
Nat. Biotechnol. | 人工智能药物研发在中国蓬勃发展
|
机器学习/深度学习 人工智能 监控
中国95后流行色是什么?人工智能给出的答案是它
中国 95 后的流行色是什么?人工智能说是 RGB 值为 22/20/24 的「黑色」。
507 0
中国95后流行色是什么?人工智能给出的答案是它
|
机器学习/深度学习 人工智能 自然语言处理
机器之心选出全球最值得关注的100家人工智能公司(中国27家),同时这是一个开源项目
机器之心和 Comet Labs 联合发布了影响全球人工智能公司的榜单。我们选取了基础研究、技术和产品、行业潜力、公司运营能力、资本实力等五个维度,甄选出了全球范围内最具前途的 100 家人工智能公司,它们包括那些我们已经熟知的科技巨头,垂直行业独角兽,也有尚在萌芽的初创公司。 当然,这份榜单肯定没有做到尽善尽美,也存在 100 家的名额限制,但我们坚信,这份基于我们诚意、内容经验和专业判断的不存在任何商业利益的榜单可以为大家总结和精炼出一些有价值的信息,带给大家灵感和启发。
440 0
机器之心选出全球最值得关注的100家人工智能公司(中国27家),同时这是一个开源项目
|
机器学习/深度学习 人工智能 自然语言处理
AI 2000人工智能全球最具影响力学者揭晓,中国正在快速追赶美国
AI 2000人工智能全球最具影响力学者揭晓,中国正在快速追赶美国
AI 2000人工智能全球最具影响力学者揭晓,中国正在快速追赶美国

热门文章

最新文章