亿信ABI

一站式数据分析平台

ABI(ALL in one BI)是亿信华辰历经17年匠心打造的国产化BI工具,技术自主可控。它打通从数据接入、到数据建模与处理、再到数据分析与挖掘整个数据应用全链路,可满足企业经营中各类复杂的分析需求,帮助企业实现高效数字化转型。

在线免费试用 DEMO体验 视频介绍

亿信ABI

一站式数据分析平台

亿信华辰深耕商业智能十多年,
打造一体化的填报、处理、可视化平台。

免费试用 产品详情

大数据建模需要学习哪些?

时间:2019-07-10来源:今日头条浏览数:1932

大数据一般指在数据量在10TB以上的数据集, 通常有以下5个特点:

1. 容量(Volume):数据量大,数据量的大小决定所考虑的数据的价值和潜在的信息;

2. 种类(Variety):

数据类型多,包括但不仅限于文本,音频,视频以及图片;

3. 速度(Velocity):指数据产生和获取的速度快;

4. 低价值密度(Value):数据中的有价值数据量级较小;

5. 真实性(Veracity): 数据质量因数据来源以及记录方式等影响因素的不同,会出现较大的差异,而这种差异性会极大程度地影响数据分析的精确性;

简单说来,大数据建模就是指利用相关的计算机技术从大数据中挖掘数据特征,并用量化理论数学化数据特征关系以描述业务需求和模式的一种方法体系。

回到题主的问题上,我们要如何学习并掌握这个方法体系呢?

首先是丰富的理论知识储备

必须掌握和了解:计算机基础;数据分析软件;机器学习算法基础/进阶; 统计分析基本方法;计量模型体系以及数据库基础。

建模数据的抽取,清洗和加工以及建模算法的训练和优化会涉及大量的计算机语言和技术。比如:数据查询语言SQL;数据环境Hadoop和Spark;数据操作系统Linux; 数据分析软件R、Python、SAS、Matlab等。

特征工程涉及到统计/数学/信息论/计量等学科的基本概念。比如:变量的均值;分位数;峰度;谱;信息熵;cosi;衰退速率以及马氏距离等。

建模阶段涉及多种量化模型,比如:统计模型;计量模型;机器学习模型;复杂网络等。比较常见的模型有:回归分析模型;随机森林;时间序列;神经网络;SVM等。

想要在实际的项目中自如的运用这些模型算法,不仅仅需要了解基本的数学原理,还需要深入掌握对应的计算机语言实现。至少要会在主流的分析软件中调用算法包,更高阶的要求是能自己实现算法的编写和精进。只有这样才能相对正确地设计并依据实际数据结构优化算法,得到各方面表现都相对优异的模型。

其次是积累实战技能

实战是将理论和现实结合重要一环,对于那些无法在实际工作中积累大数据建模经验的同学来说,参加各平台的数据建模竞赛也许是个不错的选择。

已被谷歌收入旗下的美国著名大数据建模竞赛平台Kaggle、Analytics Vidhya平台上的Hackatons、国内天池大数据竞赛、DataCastle等都是比较不错的竞赛平台。

最后来说一说那些恐怕书本上较少能够直接获取,需要大量实践以及项目经验中获取知识。

比如特征工程中缺失值处理、特征构建、变换等等,取决于模型方法、数据、业务目标等。除了基于之前提到过的量化指标构造的特征,最后对模型表现贡献最多的特征往往是那些构造逻辑和业务逻辑挂钩非常紧密的特征。

这里举两个例子来说明。

例1:异常的交易风险,通常表明客户存在违约或者欺诈的风险,那么如何去构造特征来描述异常交易风险呢?

可以是统计指标方差、变异度、数学指标马氏距离;

也可以是业务逻辑“过去3天的交易金额相较于历史水平涨幅大于100%”。

后者显然不专属于任何一门学科,它来自于对业务的理解和消化。

例2:在构建线性模型时通常会对变量间的非线性关系做线性数学变换(Log),而在实际的操作中,需不需要做变换以及如何变换是与具体的模型形式挂钩的。

神经网络,随机森林等模型,是不需要做线性变换的,反而会倾向于对特征做离散化处理。

模型训练调整参数,需要在心中有一杆bias variance的秤,揣着一把奥卡姆剃刀,方能建一手好模。

同样,模型算法的选择需要考虑的不仅仅是模型表现,还需要考虑成本

因为建模是一方面,模型能够实施生产是另一方面。结构复杂和特征量大的模型往往意味着背后需要大量的计算资源,人力资源和时间资源支持。模型的现有表现和未来可能的衰减速度值不值得耗费大量人力物力去生产部署,部署后模型带来的效益是否能在长期内冲销成本也是建模人员需要去考虑的事情。

最最重要的是,需要意识到大数据建模只是解决问题的一种方法,与其他任何一种解决问题的途径手段在本质上并无不同。

建模前对业务目标的了解,对建模必要性的分析,对模型目标变量的刻画以及对建模样本的选取等问题反而比建模本身更值得引人关注。

以前端风控业务中的反欺诈识别为例,如何精确地定义欺诈行为是建模前需要解决的第一要事。如果对欺诈的定义有偏差,即使后续的算法表现优良,模型也无法最大程度地服务需求,基于不准确的定义识别出的“欺诈行为”不再符合对业务的定义,整个建模工作在某种程度上也失去了本来的意义。

就像是本来要找脸上有斑的人,由于错误的认为“斑”就是“痣”,最后找了脸上有痣的人,虽然脸上都有东西,但却再也不是对的人。

对于专业的modeler来说,真正花费在建模上时间恐怕不会超过他们日常工作的40%。

毕竟建模技术的实现容易,而让模型最大程度地的满足业务需求,发挥商业价值则需要花费非常多的心血。

(部分内容来源网络,如有侵权请联系删除)
立即申请数据分析/数据治理产品免费试用 我要试用

上一篇: 财务报表分析的主要意义体现在哪里...

下一篇: 数据分析的三大框架:底层技术、分析建模、工具选择...

  • 相关主题
  • 相关大数据问答
  • 相关大数据知识
财务维度指标有哪些 描述共享交换平台的基本使用流程 什么是大数据智能决策技术 知识数据平台 数据中心管理平台 自动生成统计报表 电子税务局系统 税务指标 大屏大数据可视化 光伏大数据分析预测 大数据管理与应用专业就业方向 统计分析方法 财务报表数据 大数据采集器 数字化解决方案零售数字化商城

1 2022数据治理领域十大关键词!

2 什么是数字文化?

3 bi商业智能数据分析

4 商业智能软件

5 商业智能、大数据与数据分析有何区别?

1 大数据治理包括哪些内容

2 智能数据分析软件BI在企业信息化建设中的地位如何?

3 数据分析软件哪个最好用?

4 元数据和主数据的区别

5 智慧交通大数据分析的特点及应用

ABI一站式数据分析平台
产品功能
数据填报

对分析表中的数据进行补录或修改

数据处理

在可视化建模的同时同步完成ETL流程设计

大屏可视化

可任意制作酷炫灵动的图标和大屏

自助式分析

只需简单拖拽维度和指标即可生成相应的分析图表

预测挖掘

让繁琐复杂的数据挖掘过程变得简单易用

ABI一站式数据分析平台
相关产品
i@Report

数据采集汇总平台

EsDataFactory

数据工厂系统

EsPowerIndex

指标管理平台

亿信报表

专业高效的企业级报表工具

豌豆BI

自助式数据分析平台

酷屏

大屏可视化平台

智问

智能数据问答平台

豌豆DM

可视化数据挖掘平台

推荐文章
一劳永逸的日报月报制作方法,还不快来get
一劳永逸的日报月报制作方法,还不快来get

2023-05-17

亿信华辰全力打造金融统一监管报送平台,你值得拥有
亿信华辰全力打造金融统一监管报送平台,你值得拥有

2023-04-04

企业部署BI软件的意义及方法
企业部署BI软件的意义及方法

2023-03-07

怎么在不同部门之间统一数据指标?
怎么在不同部门之间统一数据指标?

2023-01-14

企业的指标怎么管理,这份指南讲明白了
企业的指标怎么管理,这份指南讲明白了

2022-10-17

最近文章

从数据治理到数据资产管理,释放新质生产力

数据确权与数字资产:新经济时代的权益保障与价值实现

数据要素集聚对企业就业的影响——基于就业规模与就业结构的双重视角

新质生产力形成中建设高标准数据要素市场的框架与路径研究

数据流图详解:用途、绘制步骤与数据中台实例应用

customer

在线咨询

深圳SEO优化公司成都市优化公司重庆关键词排名报价安庆关键词排名推荐黄冈市关键词排名上饶seo多少钱通辽市网站建设公司黑河建网站价格佛山网站设计价格嘉兴市seo按天计费哪家好永州网站推广哪家好贵阳seo按天扣费平湖seo排名多少钱大连市网站建设推荐沈阳网站优化价格南京网站开发多少钱上饶市定制网站价格深圳市网站制作价格台州市营销网站建设哪家好信阳市定制网站报价成都关键词排名价格保定市seo优化哪家专业昭通市网页设计推荐随州市关键词排名哪家好乌海网页制作哪家专业丽水市优化推荐榆林网站推广安顺市网站制作哪家好龙岩市seo哪家专业沧州市模板网站建设哪家好临汾市网络推广歼20紧急升空逼退外机英媒称团队夜以继日筹划王妃复出草木蔓发 春山在望成都发生巨响 当地回应60岁老人炒菠菜未焯水致肾病恶化男子涉嫌走私被判11年却一天牢没坐劳斯莱斯右转逼停直行车网传落水者说“没让你救”系谣言广东通报13岁男孩性侵女童不予立案贵州小伙回应在美国卖三蹦子火了淀粉肠小王子日销售额涨超10倍有个姐真把千机伞做出来了近3万元金手镯仅含足金十克呼北高速交通事故已致14人死亡杨洋拄拐现身医院国产伟哥去年销售近13亿男子给前妻转账 现任妻子起诉要回新基金只募集到26元还是员工自购男孩疑遭霸凌 家长讨说法被踢出群充个话费竟沦为间接洗钱工具新的一天从800个哈欠开始单亲妈妈陷入热恋 14岁儿子报警#春分立蛋大挑战#中国投资客涌入日本东京买房两大学生合买彩票中奖一人不认账新加坡主帅:唯一目标击败中国队月嫂回应掌掴婴儿是在赶虫子19岁小伙救下5人后溺亡 多方发声清明节放假3天调休1天张家界的山上“长”满了韩国人?开封王婆为何火了主播靠辱骂母亲走红被批捕封号代拍被何赛飞拿着魔杖追着打阿根廷将发行1万与2万面值的纸币库克现身上海为江西彩礼“减负”的“试婚人”因自嘲式简历走红的教授更新简介殡仪馆花卉高于市场价3倍还重复用网友称在豆瓣酱里吃出老鼠头315晚会后胖东来又人满为患了网友建议重庆地铁不准乘客携带菜筐特朗普谈“凯特王妃P图照”罗斯否认插足凯特王妃婚姻青海通报栏杆断裂小学生跌落住进ICU恒大被罚41.75亿到底怎么缴湖南一县政协主席疑涉刑案被控制茶百道就改标签日期致歉王树国3次鞠躬告别西交大师生张立群任西安交通大学校长杨倩无缘巴黎奥运

深圳SEO优化公司 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化