当前位置:首页 > 经验 >

机器学习场景建模(各类机器学习模型适用场景)

来源:原点资讯(m.360kss.com)时间:2022-10-30 05:51:30作者:YD166手机阅读>>

实时离线一体化数仓架构

从架构来看,化繁为简之后的架构从左到右,可以直接通过Datahub数据总线把数据写入到 MaxCompute ,也通过实时计算(实时计算Flink版)消费数据总线(DataHub)实时数据写入Hologres提供分析服务。这一套架构有两条链路,如果业务响应时间要求非常高,可以走实时数仓链路,Datahub数据通过Flink完成实时数据计算写入实时数仓Hologres,提供数据给数据产品或者是实时大屏。如果对业务响应时间要求不高的,可以通多Datahub直接写入数据到 MaxCompute。

在实时计算Flink消费实时在线数据时,也有不同的计算指标需要呈现到离线数仓 MaxCompute 中,跟 MaxCompute中的一些数据做聚合计算,可以通过Hologres 直读的方式读取到MaxCompute聚合后的数据。通过Hologres 对外提供在线数据分析服务能力,底层数据可以是Hologres中的数据,也可以是MaxCompute中的数据。当前架构主要体现出的是实时离线一体化,但湖仓一体是在这一套架构中。不管是离线数仓还是实时数仓都可以跟数据湖中的数据互通。

基于当前架构主要提供了三个维度的服务能力

实时链路:通过实时计算(实时计算Flink版)消费数据总线(DataHub)实时数据写入Hologres提供分析服务。

低延时或手动触发:Flink/DataHub通过流式写入MaxCompute,应用物化视图进行预计算提供业务聚合数据基于查询加速的分析服务。消除了对作业和调度的管理。

批处理:MaxCompute支持多种数据来源的数据,进行大量同步和处理的数据计算。

机器学习场景建模,各类机器学习模型适用场景(5)

实时离线一体化数仓数据建模

那实时离线一体化怎么使用呢? 可以看下图示例。

电信运营商流量采集业务分析:根据对流量采集业务分析,比较适合数据仓库常用建模方法——雪花模型。依据业务特征和雪花模型建模原则,完成数仓建模。

机器学习场景建模,各类机器学习模型适用场景(6)

实时离线一体化数仓分层

此示例中,运营商流量表为实时数据表,针对流量表关联了采集机维度表和地域维度表,构建了基于实时流量数据的雪花模型。模型做完后,基于数仓的分层是,ods层为采集的流量表数据和采集机规则表,同步到MaxCompute或Hologres做相应规则处理。在dwd明细数据这一层,主要针对清洗完之后数据形成采集流量明细表和采集机规则事件明细表。如果是实时离线相结合的架构,dwd层数据可以汇总到Hologres中。如果是汇总到MaxCompute,可以用分区表来实现,在分区表内计算时间或者事件规则相符合的数据,在分区表内做轻度汇总。针对汇总表再去完成采集规则事件的统计包括流量数据平均值的统计分析。

机器学习场景建模,各类机器学习模型适用场景(7)

实时离线一体化案例场景

商家用户下单总数

比如商家要根据用户历史下单数给用户优惠,商家需要看到历史下了多少单,历史T 1的数据要有,今天实时的数据也要有,这种场景是典型的实时离线一体化架构。我们可以在Hologres里设计一个分区表,一个是历史分区,一个是今日分区,历史分区可以通过离线的方式生产,今日指标可以通过实时的方式计算,写到今日分区里,查询的时候进行一个简单的汇总。

机器学习场景建模,各类机器学习模型适用场景(8)

栏目热文

机器学习模型选型(机器学习模型思路)

机器学习模型选型(机器学习模型思路)

隐私计算作为一个快速发展的领域,其技术复杂发展快,其技术和应用还不被很多期望采用隐私计算的机构和个人熟知,而隐私计算技术...

2022-10-30 05:41:11查看全文 >>

机器学习建模的步骤(机器学习建模的一般流程)

机器学习建模的步骤(机器学习建模的一般流程)

机器之心转载来源:知乎作者:蒋铮尧本文将简单谈谈基于序列建模的强化学习方法。大规模生成模型在近两年为自然语言处理甚至计算...

2022-10-30 05:22:05查看全文 >>

如何自己创建机器学习模型(机器学习的一般过程建立一个模型)

如何自己创建机器学习模型(机器学习的一般过程建立一个模型)

作者:Eryk Lewinson 翻译:张睿毅校对:张睿毅 本文约4200字,建议阅读10分钟本文我们主要使用非常知名的...

2022-10-30 05:35:47查看全文 >>

机器学习模型的流程图(机器学习模型建模步骤)

机器学习模型的流程图(机器学习模型建模步骤)

作者 | 陆春晖责编 | Carol出品 | AI科技大本营(ID:rgznai100)背景时间序列类问题是数据分析领域...

2022-10-30 05:59:41查看全文 >>

机器学习模型国内实例(机器学习模型评价实例)

机器学习模型国内实例(机器学习模型评价实例)

据合肥晚报报道 近日,记者从中国科学技术大学获悉,该校化学与材料科学学院罗毅、江俊教授团队与自动化系尚伟伟等合作,成功开...

2022-10-30 05:51:07查看全文 >>

机器学习建模环境是什么(机器学习的模型是什么)

机器学习建模环境是什么(机器学习的模型是什么)

人工智能技术作为产业数字化转型的新兴动力和重点产业,被 《“十四五”数据经济发展规划》列为未来五年推动数字经济发展的重要...

2022-10-30 05:48:59查看全文 >>

途乐5.6省油还是4.0省油(途乐4.0哪个模式最省油)

途乐5.6省油还是4.0省油(途乐4.0哪个模式最省油)

日产途乐这款车进入国内市场的时间并不长,虽然说在名气上不如霸道、陆巡,但途乐的历史并不短。途乐Y2,已经是途乐的第六代车...

2022-10-30 05:46:42查看全文 >>

途乐4.0真实油耗论坛(途乐4.0真实油耗小熊油耗)

途乐4.0真实油耗论坛(途乐4.0真实油耗小熊油耗)

日产途乐Y62是平行进口车市场上非常热门的一款车型,2018年平行进口途乐在全国共销售了2.28万辆,一举超越了丰田普拉...

2022-10-30 05:54:37查看全文 >>

途乐5.6真实油耗是多少(途乐5.6 v8真实油耗)

途乐5.6真实油耗是多少(途乐5.6 v8真实油耗)

不久前河南一位车友晒出了他自己的爱车,就是这辆日产途乐4.0L版本的,车主提车一周后就将爱车开了1千公里了,毕竟新车买到...

2022-10-30 06:01:35查看全文 >>

途乐4.0和5.6油耗差距大吗(途乐5.6 v8真实油耗)

途乐4.0和5.6油耗差距大吗(途乐5.6 v8真实油耗)

汽车元宇宙从日产中国获悉,2023款途乐北美版将于6月24日开启预售,新车全系仅提供5.6L V8版本。不少老款4.0L...

2022-10-30 05:56:23查看全文 >>

文档排行