服务热线：（0755）88305813
设为首页加入收藏
Oracle大数据机（BDA）介绍
来源: | 作者:oracle中国 | 发布时间: 2018-12-20 | 6229 次浏览 | 分享到:
       Oracle BDA是一款灵活的, 高性能的, 安全的平台, 在Hadoop和NoSQL系统运行不同的工作负载。Oracle Big Data SQL, Oracle BDA扩展了甲骨文行业领先的SQL在Hadoop和NoSQL系统的实现。将Hadoop生态系统的最新技术和强大的Oracle SQL 功能结合在一起, 安装在一个预先装配的平台上, Oracle BDA是唯一能够支持新的大数据产品的快速开发并且与现有的关系型数据紧密集成的设备。



Oracle提供的一个集成的大数据解决方案

Oracle Big Dat Appliance X6-2

本文以BDA X6-2为例, Oracle BDA是一个开放的 , 多用途的集成系统, 用于Hadoop和NoSQL的处理Oracle BDA被设计成用于运行不同的工作负载 – 从单一的Hadoop工作负载（YARN, Spark, Hive
etc.）到交互式的, 全范围的使用Oracle Big Data SQL的SQL交互查询。这些功能既可以在本地部署也可以部署在Oracle大数据云上。

Oracle BDA提供了一个开放的环境, 用于革新的同时保持紧密的集成以及企业级的技术支持。组织可以部署外部软件来支持新功能 – 像图形分析, 自然语言处理以及欺诈监测。非Oracle组件的支持由各自的支持渠道提供, 而不是由Oracle提供。


BDA软件高阶概览

BDA X6-2包括软件:

操作系统：

  • Oracle Linux 5 或者Oracle Linux 6
集成软件： 
Cloudera Enterprise 5 – 数据中心版支持:
  • Cloudera’s Distribution including Apache Hadoop (CDH)
  • Cloudera Impala
  • Cloudera Search
  • Apache HBase and Apache Accumulo
  • Apache Spark
  • Apache Kafka
  • Cloudera Manager with support for: 
    Cloudera Navigator and Cloudera Back - up and Disaster Recovery (BDR)
Oracle Perfect Balance Oracle Table Access for Hadoop


其他：

Oracle Java JDK 8

MySQL Database Enterprise
Server - Advanced Edition*

Oracle Big Data Appliance Enterprise Manager Plug-In

Oracle R Distribution

Oracle NoSQL Database
Community Edition (CE)**

* 受限的使用许可

** Oracle NoSQL数据库CE版本的支持不包含在BDA中。一个单独的Oracle NoSQL 数据库CE版本的支持订阅是必须的。

BDA X6-2 – 可选软件

Oracle Big Data SQL

Oracle Big Data Connectors:

  • Oracle SQL Connector for Hadoop
  • Oracle Loader for Hadoop
  • Oracle XQuery for Hadoop
  • Oracle R Advanced Analytics for Hadoop
  • Oracle Data Integrator

Oracle Audit Vault and
Database Firewall for Hadoop Auditing

Oracle Data Integrator

Oracle GoldenGate

Oracle NoSQL Database Enterprise Edition

Oracle Big Data Spatial and Graph

Oracle Big Data Discovery


硬件细节及规格：


满配：18个计算/存储节点

font face="arial,helvetica,sans-serif" size="2"> 

标配： 6个计算/存储节点

*每个节点配有：

  • 2 x 22核(2.2GHz) Intel Xeon E5-2699 v4 CPU
  • 8 x 32GB DDR4-2400内存(每个节点最大可扩展至768GB)
  • 12x 8TB 7200转高容量SAS硬盘
  • 2 x QDR 40 Gb/s InfiniBand端口
  • 4 x 10 Gb以太网端口
  • 1 x ILOM以太网端口

每台机器配有：

2 x 32端口QDR InfiniBand Leaf交换机

  • 32 x InfiniBand端口
  • 8 x 10Gb以太网端口

1 x 36端口QDR InfiniBand Spine交换机

  • 36 x InfiniBand端口

额外的硬件组件包括：

  • 以太网管理交换机
  • 2 x 冗余电源适配器
  • 42U机柜包装

备件包括：

  • 1 x 8TB高容量SAS硬盘
  • InfiniBand网线

完整的安全性

数据安全是企业级大数据解决方案最关键的；BDA自身提供了强大的身份认证, 授权以及hadoop的数据审计。

强大的身份认证由kerberos提供。 这样确保了所有用户和系统的双向身份确认, 并且确保了欺诈服务被添加到系统中。

BDA利用Apache Sentry (一个Oracle开发人员作为创始人的开源项目) 去授权通过工具访问的SQL, 像Hive和Impala。通过交付和开发Sentry, Oracle交付了Hadoop可用的最高数据安全级别的BDA。

网络加密和静态数据加密都被包含在了BDA中并且有Oracle提供支持。BDA支持最新的静态数据创新加密, 并且通过一秘钥管理设施支持原始的HDFS加密。这个实现给HDFS所有数据开启了最牢固的安全保证。网络加密阻止了受保护的数据被嗅探并且可以通过BDA一键开启。

为了确保安全和数据访问合规, BDA集成了Oracle Audit Vault和数据库防火墙。Oracle Audit Vault代理预先安装在BDA里用于跟踪和审计Hadoop System上的数据访问。通过利用Oracle Audit Vault和数据库防火墙, 跨组织的所有审计被合并为一个单一的审计库来确保对所有数据全面的观察。

除了保证Hadoop系统的安全, Oracle Big Data SQL使组织可以在查询Hdaoop和NoSQL数据时利用数据库安全功能。结合了Oracle Big Data SQL的BDA交付了一个在所有大数据系统中最安全的系统。

简化的运维

Oracle Enterprise
Manager提供了一个入口点来管理整个系统 – 软件和硬件 – 提供了在组织中跨产品的连续性。为了给Hadoop提供更深入的管理能力, Enterprise Manager使用了上下文感知来与Cloudera Manager来集成。

BDA通过一键式的安装, 更新, 打补丁以及扩展工具 - Mammoth来进行简化的日常维护, 可以通过Mammoth快速部署更新 (通常每季度一次) 而不需要宕机时间。Mammoth同时还在Hadoop版本和自动服务管理进行Oracle测试的, 无缝的升级, 这样可以确保Hadoop主节点和数据节点最大的平衡。

Oracle为BDA提供了相关的支持, 给组织提供了一站式的硬件及软件 (包括所有的Cloudera软件) 以及任何额外的安装Oracle软件的服务。

灵活的配置

BDA设计为可以支持随着数据和增长的扩展。最初的大数据实施可能从BDA的初始版本开始。包含六个服务器的机柜完全的安装了整套的交换机以及电源适配器, 这是和BDA全配完全一致的。初始化版本的BDA以及交换机使得机器可以非常简单高效的进行扩展, 可以从一个单节点通过Oracle BDA的高容量节点加上InfiniBand设施扩展到更多个节点。

模块儿化的硬件构建块

除了在同一个机柜进行扩展以外, 多个机柜可以通过集成的InfiniBand组件构建更大的配置。可以通过连接InfiniBand线无阻碍的扩展到18个机柜, 而且不需要任何外部交换机, 并且更大块儿网络配置也是支持的而且不需要额外的交换机。InfiniBand的使用通过���少机柜转换构造需要从而极大的降低了大配置的花费成本。

BDA是多组织的, 它可以配置成一个单集群或者多集群。这样可以更好的根据客户的需要来部署开发, 测试和生产环境。

连通性和性能增强

Hadoop的表访问特性也是Oracle BDA的特性, 它可以将Oracle的数据库表转化到Hadoop中并且Spark数据源使用了从Oracle数据库到BDA的查询检查。

Hadoop的数据访问使用了Hive SQL, Spark SQL还有Hadoop以及Spark APIs在Oracle数据库进行直接的以及一致性的数据访问, 他们支持HCatalog, InputFormat, SerDes以及Storage Handler (外部表)。Oracle数据库中的数据通过安全连接被平行访问 (Kerberos, SSL, Oracle Wallet) 。

完善的平衡也是BDA的一个特性，它使得BDA的MapReduce jobs更好的处理偏离的数据。虽然默认的Hadoop分布式方法可以适当的减少大工作量的负载，但是它不能均匀的分配数据偏离的jobs的负载。完美的平衡是针对这个问题来进行发现和优化数据偏离。