手机站:/m

CDN_k8s负载大量数据-均衡_免费

时间:2021-07-22 03:38编辑:淘客樊里来源:淘客樊里当前位置:主页 > 云存储 >

CDN_k8s负载均衡_免费

随着越来越多的企业将目光投向云来存储和管理数据,越来越多的企业将BigQuery作为无服务器、高度可扩展的企业数据仓库。领先的企业、敏捷的初创公司和全球规模的互联网公司都同样轻松地采用了BigQuery,客户来自零售、金融服务、医疗保健等不同行业,游戏公司正在利用它从数据中发掘有价值的见解,海淘客,所有这些都是以令人印象深刻的性价比进行的。

随着分析公司Forrester最近承认谷歌在其云数据仓库行业报告中处于领先地位,我与工程总监Jordan Tigani坐下来讨论了数据仓库的发展,当前的技术状况,以及BigQuery如何适应。以下是我们谈话的简短摘录

萨普塔希:乔丹,你亲眼见证了BigQuery的成长。您和您的团队为使BigQuery更易于我们的客户采用而做出的一些关键工程选择是什么?

Jordan:我们构建BigQuery作为云原生数据仓库。BigQuery的无服务器拓扑允许任何规模的客户将其数据带入数据仓库,并开始使用标准SQL分析其数据,而无需担心数据库操作和系统工程。存储和计算是解耦的,个人网站建站,可以按需独立扩展。这种结构为我们的客户提供了极大的灵活性和成本控制,因为他们不需要一直保持昂贵的计算资源正常运行。这与传统的基于节点的云数据仓库解决方案或内部大规模并行处理(MPP)系统有很大不同。

我认为这是我们能够为大量客户提供服务的一些根本原因,这些客户在管理大规模数据仓库系统方面拥有不同的专业知识。不管规模大小,它们都可以采用BigQuery.

Saptarshi:用你的话说,"无服务器"数据仓库是什么意思?

Jordan:Serverless是一个简单但强大的概念,用于千兆字节到千兆字节的数据分析。这是一个相对困难的工程问题。BigQuery的按需分析引擎是根据特定查询的计算需求动态配置的。客户不需要定义节点或集群。BigQuery还根据需要处理的数据量自动管理查询性能。这是一种根本不同的方法。

Saptarshi:我们从客户、合作伙伴和行业分析师那里听说,他们很欣赏BigQuery处理千兆字节到千兆字节级数据分析的速度。在最近的Forrester Wave for Cloud Data Warehouse中,谷歌在性能和规模标准方面的得分为5分,是所有供应商中得分最高的。是什么让BigQuery的分析引擎这么快?

乔丹:其实都是基础设施。Google的基础设施,特别是网络基础设施,允许BigQuery在不依赖缓存层的情况下进行扩展。如果你在几周内没有查询过一个表,它的性能将和你整天查询的一样好。BigQuery存储的独特之处是什么?它的一些新功能是什么?

乔丹:我是仓库出身,所以我喜欢听这个问题。我们最近添加了集群,它允许用户通过读取更少的数据来更快、更便宜地进行查询。聚类可以让你在大海捞针的时候很快找到一根针,你基本上是为针而不是大海捞针付出代价的。这个特性使数据管理更容易,因为您不需要将表拆分成小块以节省时间或金钱。

Saptarshi:许多采用BigQuery的企业正在从传统的内部系统迁移数据仓库。这是否为您的团队创建了一组新的需求?您的团队如何解决这些差异?

Jordan:处理从on-prem系统迁移的能力对于企业采用至关重要。BigQuery支持标准的SQL方言符合ANSI:2011,这减少了代码重写的需要,并允许您利用高级SQL特性。我们提供免费的ODBC和JDBC驱动程序,以确保您当前的应用程序可以与BigQuery强大的查询引擎进行交互。BigQuery支持与企业商务智能(BI)工具(如Tableau和Looker)以及ETL工具(如Informatica、Talend和Stitch)的本机集成,以在很大程度上减少企业客户的变更管理,我越来越多地听说数据的安全性和可靠性是人们最关心的问题。我们如何解决这些关键需求?

Jordan:安全也是我们的首要任务,我们正在大力投资,使BigQuery成为客户的安全和关键数据仓库。BigQuery通过提供用于灾难恢复的自动数据复制和无需额外收费的高可用性处理,消除了数据操作负担。BigQuery提供99.9%的SLA,并遵守隐私保护原则。BigQuery还提供了细粒度的身份和访问管理控制,使维护强大的安全性变得更容易。另外,BigQuery数据总是加密的,无论是在静态还是在传输过程中。

Saptarshi:传统的数据仓库是为批量分析范式设计的。BigQuery支持批处理和流式数据插入。我们计划用BigQuery支持实时分析吗?

Jordan:我们的很多客户都试图在数据仓库中获取"新鲜"的数据,而不准备等待数小时或数天来获取最新的业务数据。我们发现,这一趋势主要适用于金融服务、电子商务、游戏和媒体客户。BigQuQuice的高速流插入API为实时分析提供了强大的基础。BigQuery允许客户通过使最新的业务数据立即可用于分析来分析当前发生的事情。例如,Zully使用BigQuery从他们的web应用程序流式处理数十亿个事件,并执行实时分析。我们正在使云数据流中的流式数据直接插入BigQuery变得容易,拥有物联网、电子商务和移动游戏应用程序的客户已经在利用这一功能分析BigQuery中的近实时数据了。

上一篇谷歌云_3322域名大数据分析软件有哪些-注册_最新活动

下一篇腾讯云_腾讯企业物联网是什么意思-邮箱收费吗_返现

云市场知识本月排行

云市场知识精选