-
人工智能需要大数据
所属栏目:[动态] 日期:2021-05-04 热度:176
然而神经网络包含这么多的节点,每个节点包含非常多的参数,整个参数量实在是太大了,需要的计算量实在太大,但是没有关系啊,我们有大数据平台,可以汇聚多台机器的力量一起来计算,才能在有限的时间内得到想要的结果。 人工智能可以做的事情非常多,例如可[详细]
-
人工智能的经济学解释
所属栏目:[动态] 日期:2021-05-04 热度:60
这让我想到了经济学,于是比较容易理解了。 我们把每个神经元当成社会中从事经济活动的个体。于是神经网络相当于整个经济社会,每个神经元对于社会的输入,都有权重的调整,做出相应的输出,比如工资涨了,菜价也涨了,股票跌了,我应该怎么办,怎么花自己的[详细]
-
模拟大脑的工作方式
所属栏目:[动态] 日期:2021-05-04 热度:137
于是人类开始从机器的世界,反思人类的世界是怎么工作的。 人类的脑子里面不是存储着大量的规则,也不是记录着大量的统计数据,而是通过神经元的触发实现的,每个神经元有从其他神经元的输入,当接收到输入的时候,会产生一个输出来刺激其他的神经元,于是大[详细]
-
让机器学会推理
所属栏目:[动态] 日期:2021-05-04 热度:140
怎么才能做到这一点呢?人们就想:我首先要告诉计算机人类的推理的能力。你看人重要的是什么呀,人和动物的区别在什么呀,就是能推理。我要是把我这个推理的能力啊告诉机器,机器就能根据你的提问,推理出相应的回答,真能这样多好。推理其实人们慢慢的让机器[详细]
-
人工智能拥抱大数据
所属栏目:[动态] 日期:2021-05-04 热度:74
虽说有了大数据,人的欲望总是这个不能够满足。虽说在大数据平台里面有搜索引擎这个东西,想要什么东西我一搜就出来了。但是也存在这样的情况,我想要的东西不会搜,表达不出来,搜索出来的又不是我想要的。例如音乐软件里面推荐一首歌,这首歌我没听过,当[详细]
-
大数据需要云计算,云计算需要大数据
所属栏目:[动态] 日期:2021-05-04 热度:167
说到这里,大家想起云计算了吧。当想要干这些活的时候,需要好多好多的机器一块做,真的是想什么时候要,想要多少就要多少。例如大数据分析公司的财务情况,可能一周分析一次,如果要把这一百台机器或者一千台机器都在那放着,一周用一次对吧,非常浪费。那[详细]
-
大数据时代,众人拾柴火焰高
所属栏目:[动态] 日期:2021-05-04 热度:173
当数据量很小的时候,很少的几台机器就能解决。慢慢的当数据量越来越大,最牛的服务器都解决不了问题的时候,就想怎么办呢?要聚合多台机器的力量,大家齐心协力一起把这个事搞定,众人拾柴火焰高。 对于数据的收集,对于IoT来讲,外面部署这成千上万的检测设[详细]
-
数据如何升华为智慧
所属栏目:[动态] 日期:2021-05-04 热度:111
数据的处理分几个步骤,完成了才最后会有智慧。 第一个步骤叫数据的收集。首先得有数据,数据的收集有两个方式,第一个方式是拿,专业点的说法叫抓取或者爬取,例如搜索引擎就是这么做的,它把网上的所有的信息都下载到它的数据中心,然后你一搜才能搜出来。[详细]
-
大数据拥抱云计算
所属栏目:[动态] 日期:2021-05-04 热度:194
一开始这个大数据并不大,你想象原来才有多少数据?现在大家都去看电子书,上网看新闻了,在我们80后小时候,信息量没有那么大,也就看看书,看看报,一个星期的报纸加起来才有多少字啊,如果你不在一个大城市,一个普通的学校的图书馆加起来也没几个书架,是[详细]
-
云计算不光管资源,也要管应用
所属栏目:[动态] 日期:2021-05-04 热度:136
有了IaaS,实现了资源层面的弹性就够了吗?显然不是。还有应用层面的弹性。这里举个例子,比如说实现一个电商的应用,平时十台机器就够了,双十一需要一百台。你可能觉得很好办啊,有了IaaS,新创建九十台机器就可以了[详细]
-
IaaS,资源层面的灵活性
所属栏目:[动态] 日期:2021-05-04 热度:117
随着OpenStack的技术越来越成熟,可以管理的规模也越来越大,并且可以有多个OpenStack集群部署多套,比如北京部署一套,杭州部署两套,广州部署一套,然后进行统一的管理。这样整个规模就更大了。在这个规模下,对于普通用户的感知来讲,基本能够做到想什么[详细]
-
云计算的赚钱与情怀
所属栏目:[动态] 日期:2021-05-04 热度:62
公有云的第一名亚马逊过得很爽,第二名Rackspace过的就一般了。没办法,这就是互联网行业的残酷性,多是赢者通吃的模式。所以第二名如果不是云计算行业的,很多人可能都没听过了。第二名就想,我干不过老大怎么办呢?开源吧。如上所述,亚马逊虽然使用了开源[详细]
-
云计算的私有与公有
所属栏目:[动态] 日期:2021-05-04 热度:52
云计算大致分两种,一个是私有云,一个是公有云,还有人把私有云和公有云连接起来称为混合云,我们暂且不说这个。私有云就是把虚拟化和云化的这套软件部署在别人的数据中心里面,使用私有云的用户往往很有钱,自己买地建机房,自己买服务器,然后让云厂商部[详细]
-
虚拟化的半自动和云计算的全自动
所属栏目:[动态] 日期:2021-05-04 热度:63
虚拟化软件似乎解决了灵活性问题,其实不全对。因为虚拟化软件一般创建一台虚拟的电脑,是需要人工指定这台虚拟电脑放在哪台物理机上的,可能还需要比较复杂的人工配置,所以使用Vmware的虚拟化软件,需要考一个很牛的证书,能拿到这个证书的人,薪资是相当[详细]
-
虚拟世界的赚钱与情怀
所属栏目:[动态] 日期:2021-05-04 热度:127
在虚拟化阶段,最牛的公司是Vmware,是实现虚拟化技术比较早的一家公司,可以实现计算,网络,存储的虚拟化,这家公司很牛,性能也做得非常好,然后虚拟化软件卖的也非常好,赚了好多的钱,后来让EMC(世界五百强,存储厂商第一品牌)给收购了。 但是这个世界[详细]
-
虚拟化灵活多了
所属栏目:[动态] 日期:2021-05-04 热度:51
有人就想办法了。第一个办法就是虚拟化。用户不是只要一个很小的电脑么?数据中心的物理设备都很强大,我可以从物理的CPU,内存,硬盘中虚拟出一小块来给客户,同时也可以虚拟出一小块来给其他客户,每个客户都只能看到自己虚的那一小块,其实每个客户用的是[详细]
-
物理设备不灵活
所属栏目:[动态] 日期:2021-05-04 热度:88
首先第一个阶段就是物理机,或者说物理设备时期。这个时期相当于客户需要一台电脑,我们就买一台放在数据中心里。物理设备当然是越来越牛,例如服务器,内存动不动就是百G内存,例如网络设备,一个端口的带宽就能有几十G甚至上百G,例如存储,在数据中心至少[详细]
-
灵活就是想啥时要都有,想要多少都行
所属栏目:[动态] 日期:2021-05-04 热度:117
管理的目标就是要达到两个方面的灵活性。哪两个方面呢?比如有个人需要一台很小很小的电脑,只有一个CPU,1G内存,10G的硬盘,一兆的带宽,你能给他吗?像这种这么小规格的电脑,现在随便一个笔记本电脑都比这个配置强了,家里随便拉一个宽带都要100M。然而如[详细]
-
云计算最初是实现资源管理的灵活性
所属栏目:[动态] 日期:2021-05-04 热度:191
首先来说云计算,云计算最初的目标是对资源的管理,管理的主要是计算资源,网络资源,存储资源三个方面。 管数据中心就像配电脑 什么叫计算,网络,存储资源呢?就说你要买台笔记本电脑吧,你是不是要关心这台电脑什么样的CPU啊?多大的内存啊?这两个我们称为[详细]
-
常用缓慢变化维的处理方式
所属栏目:[动态] 日期:2021-05-04 热度:176
常见的方式是使用快照来处理缓慢变化维。离线数仓按T+1计算,处理维度变化的方式就是每天一份全量快照。比如商品维度,每天保留一份全量商品快照数据。任意一天的事实均可以取到当天的商品信息,也可以取到最新的商品信息,通过限定日期,采用自然键进行关联[详细]
-
维表
所属栏目:[动态] 日期:2021-05-04 热度:185
注意问题 尽可能包含丰富的维度属性 丰富的维度属性可以为数据分析统计提供更多的分析角度 编码与文字描述共存 尽可能多给出包括一些富有意义的文字性描述,除此之外,为了保持扩展性,需要将编码code与文字描述同时保留,方便以后新增加属性时导致错误的计[详细]
-
典型的数据仓库建模方法
所属栏目:[动态] 日期:2021-05-04 热度:65
数仓建模的典型方法有:实体建模(ER模型)、维度建模法、Data Vault 模型、Anchor 模型。目前使用较多的当属维度建模,而维度建模中,又分为星型模型和雪花模型两大类,一般星型模型使用较多。 星型模型:维度建模非常直观,紧紧围绕着业务模型,可以直观的反[详细]
-
数据模型设计原则
所属栏目:[动态] 日期:2021-05-04 热度:86
高内聚和低耦合 一个逻辑和物理模型由哪些记录和字段组成,应该遵循最基本的软件设计方法论的高内聚和低耦合原则。主要从数据业务特性和访问特性两个角度来考虑:将业务相近或者相关的数据、粒度相同数据设计为一个逻辑或者物理模型;将高概率同时访问的数据[详细]
-
DWS层
所属栏目:[动态] 日期:2021-05-04 热度:141
以分析的主题对象作为建模驱动,基于上层的应用和产品的指标需求,构建公共粒度的汇总指标表。以宽表化手段物理化模型,构建命名规范、口径一致的统计指标,为上层提供公共指标,建立汇总宽表。如:形成日,周,月粒度汇总明细,或者基于某一个维度,如商品[详细]
-
ODS层的概念主要体现
所属栏目:[动态] 日期:2021-05-04 热度:170
操作型系统的集成,用于当前、历史以及其它细节查询(业务系统的一部分) 为决策支持提供当前细节数据(数据仓库的一部分) ODS是用于支持企业日常的全局应用的数据集合,ODS的数据具有面向主题、集成的、可变的以及数据是当前的或是接近当前的特点。同样也可以[详细]
