etl与大数据库
⑴ 数据库与数据仓库的区别
数据库是面向事务的设计，数据仓库是面向主题设计的。数据库一般存储回在线交易数答据，数据仓库存储的一般是历史数据。
“与时间相关”：数据库保存信息的时候，并不强调一定有时间信息。数据仓库则不同，出于决策的需要，数据仓库中的数据都要标明时间属性。决策中，时间属性很重要。同样都是累计购买过九车产品的顾客，一位是最近三个月购买九车，一位是最近一年从未买过，这对于决策者意义是不同的。
“不可修改”：数据仓库中的数据并不是最新的，而是来源于其它数据源。数据仓库反映的是历史信息，并不是很多数据库处理的那种日常事务数据（有的数据库例如电信计费数据库甚至处理实时信息）。因此，数据仓库中的数据是极少或根本不修改的；当然，向数据仓库添加数据是允许的。
拓展资料：
数据仓库的出现，并不是要取代数据库。数据仓库，是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它决不是所谓的“大型数据库”。
目前，大部分数据仓库还是用关系数据库管理系统来管理的。可以说，数据库、数据仓库相辅相成、各有千秋。
这几个职位都是跟数据有关的工作。
BI 是商业智能，职位包括etl,数据仓库，数据展示工作。
数据仓库，是按设定好的一种数据库模型
ETL，负责清洗原始数据的一个过程，清洗完之后将数据加载至数据仓库。
大数据开发，数据量较大，上千万乃至亿级的数据量开发
⑶ 大数据ETL开发是做什么的
也是科研人员的锥心之痛，实事求是
⑷ 大数据存储系统 用etl用什么方式 清洗数据
一、ODS区的数据采集：最主要作用为了尽量减少对业务系统的影响。表结构可以不必和DW一致。根据具体业务需求和数据量情况，将数据源的数据放入ODS有各种不同的方法，比如Oracle的数据库链路，表复制，SQL*LOADER，Teradata的Fastload，Sysbase的BCP等等。 需要解决的问题包括： a、数据的时间差异性问题 在抽取旧有数据时，要将不同时期的数据定义统一，较早的数据不够完整或不符合新系统的数据规范，一般可以根据规则，在存入中转区的过程中予以更新或补充。 b、数据的平台多样性问题 在抽取旧有数据时，大部分数据都可采用表复制方式直接导入数据中转区集中，再做处理，但有部分数据可能需要转换成文本文件或使用第三方工具如Informatica等装载入数据中转区。这部分数据主要是与数据中转区数据库平台不一致的数据库数据，或非存储于数据库内的文本、excel等数据。 c 、数据的不稳定性问题 对于重要信息的完整历史变更记录，在抽取时可以根据各时期的历史信息，在抽取需要信息等基本属性的旧有数据时，要与相应时段的信息关联得到真实的历史属性。 d 、数据的依赖性问题 旧有业务系统的数据关联一般已有约束保证，代码表和参照表等数据也比较准确，但仍有少量数据不完整，对这部分数据，需根据地税的需求采取清洗策略，保证数据仓库各事实表和维表之间的关联完整有效。 数据仓库各事实表和维表的初始装载顺序有先后关系，要有一个集中的数据装载任务顺序方案，确保初始数据装载的准确。这可以通过操作系统或第三方工具的任务调度机制来保证。
⑸ bi工程师,数据仓库工程师,etl工程师有什么区别
BI工程师、数据仓库工程师、ETL工程师都属于大数据工程技术人员，三种的主要区别如下：
一、工作内容不同
1、BI工程师：主要是报表开发，负责开发工作。
2、数据库工程师：主要负责业务数据库从设计、测试到部署交付的全生命周期管理。
3、ETL工程师：从事系统编程、数据库编程与设计。
二、要求不同
1、BI工程师：要有一定的数据库经验，掌握SQL查询优化方法，精通Oracle、SQLServer、MySQL等主流数据库的应用设计、性能调优及存储过程的开发。
2、数据库工程师：理解数据备份/恢复与灾难恢复；工具集的使用。
3、ETL工程师：要掌握各百种常用的编程语言。
三、特点不同
1、BI工程师：熟悉ETL逻辑、OLAP设计和数据挖掘相关算法。
2、数据库工程师：凡是关系到数据库质量、效率、成本、安全等方面的工作，及涉及到的技术、组件，都在数据库工程师的技术范畴里。
3、ETL工程师：海量数据的ETL开发，抽取成各种数据需求。
⑹ ETL针对大数据的存储类型CLOB应该怎么映射
相同的数据库还是不同数据库，如果没有的话看有没有text 类型
⑺ 大数据可以用传统的etl工具吗
可以的。etl工具还是用的很多的，毕竟数据转换是一个常见的需求，越是大数据时代，对这一块的需求越多
⑻ 有哪位大虾知道数据库方面有关ETL和EL的区别谢谢！
E L 是Expression Language的缩写,目的是为了使JSP写起来更加简单。表达式语言的灵感来自于 ECMAScript 和 XPath 表达式语言，它提供了在 JSP 中简化表达式的方法。它是一种简单的语言，基于可用的命名空间（PageContext 属性）、嵌套属性和对集合、操作符（算术型、关系型和逻辑型）的访问符、映射到 Java 类中静态方法的可扩展函数以及一组隐式对象。EL 提供了在 JSP 脚本编制元素范围外使用运行时表达式的功能。脚本编制元素是指页面中能够用于在 JSP 文件中嵌入 Java 代码的元素。它们通常用于对象操作以及执行那些影响所生成内容的计算。JSP 2.0 将 EL 表达式添加为一种脚本编制元素。
ETL
ETL：Extract-Transform-Load的缩写，数据抽取（Extract）、转换（Transform）、装载（Load）的过程。
DW：Data Warehousing，根据Bill.Inmon的定义，“数据仓库是面向主题的、集成的、稳定的、随时间变化的，主要用于决策支持的数据库系统”。
Metadata：元数据。描述数据的数据，指在数据仓库建设过程中所产生的有关数据源定义，目标定义，转换规则等相关的关键数据。
2、 ETL是数据仓库建立的核心过程
数据仓库系统先天不足，是在业务系统的基础上发展而来的，其内部存储的数据来自于事务处理的业务系统和外部数据源。而企业内各源数据缺少统一的标准，因企业的业务系统是在不同时期、不同背景、面对不同应用、不同开发商等各种客观前提下建立的，其数据结构、存储平台、系统平台均存在很大的异构性。因而其数据难以转化为有用的信息，原始数据的不一致性导致决策时其可信度的降低。
ETL是BI/DW的核心和灵魂，按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库的重要步骤。如果说数据仓库的模型设计是一座大厦的设计蓝图，数据是砖瓦的话，那么ETL就是建设大厦的过程。在整个项目中最难部分是用户需求分析和模型设计，而ETL规则设计和实施则是工作量最大的，其工作量要占整个项目的60%-80%，这是国内外从众多实践中得到的普遍共识。
3、 ETL过程的主要目的
就是以最小代价(包括对日常操作的影响和对技能的要求) 将针对日常业务操作的数据转化为针对数据仓库而存储的决策支持型数据。
⑼ 【转载or抄袭】数据库:什么是BI，ETL和OLAP
ETLETL即数据抽取（Extract）、转换（Transform）、装载（Load）的过程。它是构建数据仓库的重要环节。数据仓库是面向主题 的、集成的、稳定的且随时间不断变化的数据集合，用以支持经营管理中的决策制定过程。数据仓库系统中有可能存在着大量的噪声数据,引起的主要原因有：滥用 缩写词、惯用语、数据输入错误、重复记录、丢失值、拼写变化等。即便是一个设计和规划良好的数据库系统，如果其中存在着大量的噪声数据，那么这个系统也是 没有任何意义的，因为“垃圾进，垃圾出”（garbage in, garbage out），系统根本就不可能为决策分析系统提供任何支持。为了清除噪声数据，必须在数据库系统中进行数据清洗。目前有不少数据清洗研究和ETL研究，但是 如何在ETL过程中进行有效的数据清洗并使这个过程可视化，此方面研究不多。 联机事务处理OLTP 联机分析处理 (OLAP) 的概念最早是由关系数据库之父E.F.Codd于1993年提出的，他同时提出了关于OLAP的12条准则。OLAP的提出引起了很大的反响，OLAP作为一类产品同联机事务处理 (OLTP) 明显区分开来。 当今的数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支 持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。 OLAP是使分析人员、管理人员或执行人员能够从多角度对信息进行快速、一致、交互地存取,从而获得对数据的更深入了解的一类软件技术。