您现在的位置: 公务员期刊网 >> 论文范文 >> 工业论文 >> 数据挖掘论文 >> 正文

        大数据时代的数据挖掘及应用

        摘要:结合大数据时代的基本内容,从大数据的特征出发,笔者探讨了数据挖掘的功能及应用,并在此基础上重点分析了大数据的数据挖掘发展应用以及前景,希望能够推动信息社会快速发展。

        关键词:大数据;信息时代;数据挖掘;发展前景

        1大数据的概念

        大数据是数字化时代发展的必然产物,其并非产品,也无所谓技术范畴内容。对于大数据的理解,不应仅仅理解为非常巨大的数据量,结合战略眼光来看,还应该包括数据的专业化处理方式。根据基维百科的解释,规模巨大到无法用当前软件处理的数据资料量则是大数据,并能在一定的时间内进行管理和处理,有利于实现经营目标。而结合麦肯锡研究所的定义,大数据则可以看作为数据的集合体,并能够在特定时间范围内,没有方法利用传统软件来实现数据管理、存储、采集等操作。在上述定义中,能看到大数据的特点,但具有一定的狭义性。从广义角度来分析,所谓的大数据,不仅包括大数据技术,还涉及整体的大数据科学以及相关的工程内容。在信息化时代,大数据时代则是必然的发展趋势,如何进一步深化对于大数据的理解,并充分利用好相关服务能力,则是体现出未来社会竞争力的必然趋势。

        2大数据的特征

        在信息化时代,数据可谓无所不在、无处不在,大数据已经超越了“云计算”“物联网”等,已经开辟了崭新的大数据时代,其主要的特征主要表现在以下几个方面。第一,高度流动。相比于传统的数据流动,其流动速度主要涉及数据的获取、存储以及分析并处理有价值数据的速度,而对于大数据来说,考虑到其具有非常庞大的数据数量,其数据流自然具有快速变动的特点,其必将获得高速的数据处理速度,传统的处理方式已经表现出很大的问题,现在已经从TB级上升到PB级。第二,大数据的种类非常多。在信息社会的快速发展过程中,传感器的应用范围越来越广,人们的生活也越来越依赖社交网络、智能设备,从而自然会出现多种类型的数据。当前,在大数据类型中,除了传统的音频、网页、文档、视频以及邮件等,正在出现多种多样的数据类型,其往往包括板结构模式、不具备结构模式等类型。第三,数量巨大。所谓的大数据往往涉及超过10TB规模的数据量,在新时代,随着信息技术的快速发展,这必然是大势所趋。当前,随着集成电路成本不断降低,仪器智能化水平不断上升,出现了大量的存储数据。在不断认识新事物的过程中,各种仪器层出不穷,并通过相应的存储数据来描述事物的部分或者全部。为了能够实现信息传递的即时性,大量的通信工具,特别是在机器影响机器传递方式的情况下,必然会产生大量的数据。第四,低价值密度。在大数据时代,有意义的数据信息所占比例越来越低,不断增加了获取有效信息的难度。比如,对于“4V”来说,不仅意味着巨大的数据量,也必然会产生更加复杂的数据分析结果,难以实现预期的效率。

        3数据挖掘的功能及应用

        在大数据时代,数据挖掘具有非常明显的意义,是挖掘有用信息的过程,这部分数据往往具有随机、模糊、海量以及非完整的特点。一般来说,对于数据挖掘来讲,主要涉及预测以及描述等方面。在开展数据挖掘的过程中,目标数据的类型则是关注的重点,应该从实际出发,选择合适的数据类型,才能充分发挥好数据挖掘的作用。数据挖掘能进一步体现出数据的价值,因而在很多领域得到了广泛应用[1-2]。

        3.1数据挖掘在金融业中的应用

        考虑到金融业的的特点,其必将涉及大量的数据信息,通过应用数据挖掘技术,能够发现内在的发展规律,进而能结合实际的组织信息、目标客户情况,掌握金融市场的发展动态。可见,在金融业的数据挖掘过程中,主要包括市场预测、分类账号、数据清理、市场分析以及信誉评估等方面。

        3.2数据挖掘在市场中的应用

        在市场的发展过程中,充分利用数据挖掘的优势,能够对市场进行准确定位,能进一步掌握消费者群体的需求以及规律性内容,据此制订有利于市场营销的计划。与传统营销模式相比,大数据的数据挖掘能进一步降低企业成本,实现预期的市场目标,获得更高的利润。

        3.3大数据挖掘在医学中的应用

        部分疾病是由于单一基因所致,部分则是由于多种基因共同影响的结果。在基因研究工作中,为了寻找治疗疾病的方法,特别是当涉及编码序列和非编码序列的区分问题时,则必然涉及大量的实验和演算内容,从而应该充分发挥数据挖掘的优势来解决分类问题。

        3.4遥感大数据挖掘的应用

        对于遥感大数据进行相应的数据挖掘处理,具体表现形式如下。第一,获取数据,并提出相应的存储方式,结合实际需求从不同传感器上获得多源、海量的遥感数据,并进行数据的预处理,组成有效的数据集。第二,分析处理相应的数据集,通过数学统计学方法进行分类,寻找数据间以及数据类别等相互关系。第三,对于分类后的数据进行数据挖掘,进一步采用多样化的方法探索数据间的隐含信息以及内在联系,利用深度学习、云模型、决策树、神经网络等方式寻找模式关系。第四,进一步对模式以及知识进行可视化处理,便于用户更好地理解,便于后续的分析和利用。

        4大数据的数据挖掘发展前景

        在大数据时代,数据库技术获得了突飞猛进的发展,并具有数据变换、连接、共享的特点。在此背景下,企业应充分发挥大数据挖掘技术的优势,充分利用多种类型的数据,进一步提升数据的价值。由此可见,结合大数据的特征以及数据挖掘发展特点,大数据的数据挖掘必将拥有广阔的发展前景[3]。

        4.1大数据的数据挖掘将成为企业及教育机构的转折点

        在当前的企业管理发展中,大数据的数据挖掘技术具有明显的优势,能为企业发展带来更多的经济效益,是企业保持自身竞争力的有效方式,也应该据此重新制定管理模式,进一步在企业管理中发挥大数据的数据挖掘作用,从而才能跟上时代发展的步伐。同时,大数据也必将影响企业的人力资源管理,对于信息化技术人才会提出更高的要求,只有符合新时代背景下的数据管理人才、数据分析人才以及技术型人才才能帮助企业实现可持续发展。

        4.2大数据的数据挖掘将成为信息安全发展的契机

        当前,随着信息技术的快速发展,能够进一步提升数据价值,对于社会发展具有积极的意义。但是,数据的安全性问题则是人们关注的重点。对于大数据来说,往往都具有集中存储于云端的特点,难以实现有效的集中管理,并在确定用户的合法性方面存在一定的不足之处,容易出现窃取、非法入侵以及篡改数据的问题。因此,如何保障信息安全问题尤为重要,对于大数据技术和产品也是如此,所以大数据的数据挖掘发展对于信息安全进步具有重要的影响。

        4.3大数据的数据挖掘将成为创造价值的核心

        相比于传统数据,大数据挖掘则具有广泛的应用范围和较高的商业价值,对于政府以及企业发展至关重要。另外,大数据中还蕴藏着6000多亿美元的个人信息价值,从而大数据的数据挖掘能从多方面创造社会价值。

        5结语

        新时代,大数据挖掘技术将能够推动经济快速发展,我国应该顺应时代发展的潮流,积极开展大数据挖掘技术的培训以及教育工作,才能为社会培养更多的大数据人才。

        参考文献

        [1]覃兵文.大数据的分类挖掘优化技术[J].现代电子技术,2017(24):45.

        [2]蒋洁.AI图景下大数据挖掘的风险评估与应对策略[J].现代情报,2018,5.

        [3]李平荣.大数据时代的数据挖掘技术与应用[J].重庆三峡学院学报,2014(6):23-26.

        作者:印小冬 单位:中国电子科技集团公司第二十八研究所

        阅读次数:人次