手机站:/m

网站建设_cd大数据时代的特点-n产品前景_促销

时间:2021-09-08 06:30编辑:淘客樊里来源:淘客樊里当前位置:主页 > 服务器 >

(日文版)

在这个博客里,我将把大量的数据从本地SAP-HANA传输到SAP-HANA-Cloud。我将使用智能数据集成(SDI),这是SAP HANA Cloud的ETL功能来传输数据。

请参阅本博客如何为SAP HANA Cloud设置SDI。

环境:

SAP HANA 2.0版本42:内部部署、在AWS us east上运行Data Provisioning Agent 2.0 SP04 Patch24:在AWS us east上运行SAP云平台Cloud Foundry上的SAP HANA云:在AWS Frankfurt上运行

我使用了TPC-H的"LINEITEM"表,生成了50GB的TPC-H数据

记录数:300005811CSV文件大小:36.8GB表大小(内部SAP HANA):7.8GB

我参考了以下信息以优化SDI流程图。

SAP Note 2459953–SDI调优指南SAP HANA Smart Data Integration和SAP HANA Smart Data Quality的最佳实践

创建一个简单的流程图,返利怎么使用,仅将数据从本地传输到云。

执行作业而不更改任何设置。但是,它失败了。

根据控制台消息,显示发生了内存不足错误。似乎发生在DP代理端。

检查跟踪文件,/log/框架.trc. 我显示获取数据时出现内存不足错误。

首先,请参考《最佳实践指南》的"6.1.1示例数据提供代理优化"更改DP代理的JAVA堆大小。

打开INI文件(/dpagent.ini文件)将Xmx的值改为16GB.

默认为4GB.

改为16GB。(DP代理服务器内存32GB)

重新启动DP代理,再次执行下图。很遗憾,又失败了

似乎取了更多的数据,但仍然不够,需要采取其他措施,什么叫云,因为增加堆内存大小是有限制的

接下来,参照《最佳实践指南》中的"6.1.3任务分区"为流程图创建任务分区,作业不会一次获取并加载所有数据,但会重复获取并加载分割后的数据。

打开流程图,单击"属性"图标(右上角的齿轮图标)。

转到"分区"选项卡以配置分区设置。由于LINEITEM表有一个序号列"L\u PARTKEY",网云服务器,因此可以使用它来创建一个范围分区。创建20个分区,生态环境大数据,并将"Values"设置为分区的最大值"L\u PARTKEY"。(因为表有300M条记录,每个分区有15M条记录)

您可以并行处理分区,但这次我将串行处理。选择"手动"到"任务分区",设置"1"到"并行分区数"。

现在,执行流程图。成功完成!

300M数据从本地SAP HANA传输到SAP HANA云。

根据最佳实践指南的"6.1.4目标表分区",它还提到了对目标表进行分区。如果表数据的数量很大,则有必要考虑对目标表进行分区。通过设置分区,对每个分区执行增量合并过程,因此,什么是大数据,可以使用较少的资源执行增量合并过程。

您可以使用.hdbtable文件创建分区,如下所示。

数据存储在每个分区中。

我描述了我使用SDI将大量数据传输到SAP HANA Cloud的工作。

您可能需要在较短的时间内移动更多的大数据项目。在这种情况下,请尝试其他优化工作,如作业优化(分区、并行等)、DP代理优化(获取大小、堆内存等)、源系统和网络优化等

上一篇数据库服务器_dnf连大数据专业怎么样-接不上服务器_便宜的

下一篇阿里云_公司专业网服务器云-站建设_企业0元试用

云市场知识本月排行

云市场知识精选