手机站:/m

企业网站_有品味的她百度云_限时特惠

时间:2020-11-02 20:43编辑:淘客樊里来源:淘客樊里当前位置:主页 > 云存储 >

引入融合平台5.4

我很高兴地宣布Confluent Platform 5.4的发布。就像任何新发布的融合平台一样,它也有很多特性。为了使它们更容易消化,我想把它们分成三类。首先,基于角色的访问控制、结构化审核日志、多区域群集和代理级别的模式验证等功能都是准备好的事件流平台部署的先决条件。当在规模上高效运行时,您将需要汇合的控制中心来帮助您管理和监视所有这些功能以及更多功能。您还需要预览访问分层存储等创新。最后,当您实际在融合平台上构建应用程序时,您将需要开发人员生产力工具,如KSQL pull querys和KSQL REST API,以及Apache Kafka®2.4中的许多新功能。下载Confluent Platform 5.4使用apachekafka构建一个事件驱动的体系结构,可以让开发人员从传统的竖井和单片应用程序过渡到更现代的微服务和事件流应用程序,这些应用程序从根本上提高了他们的灵活性并加快了上市时间。然而,除了Kafka之外,大型企业还需要安全性、弹性和法规遵从性等基础架构属性,这些属性被认为是生产阶段的先决条件。他们还需要额外的工具和功能,使他们能够在非常大的范围内高效地运行Kafka。一如既往,发行说明有完整的故事,但这篇博文有最高点的总结。请继续阅读。生产阶段先决条件企业规模越大,存在的时间越长,其it环境就越复杂。这种复杂性会滋生风险和脆弱性,因为遗留系统的层层增加了一个不断增长的攻击面,这些攻击面可以被恶意行为体利用,受到质量控制不善的影响,或者完全被内部错误或外部力量破坏。任何此类事件都可能导致运营中断、收入流受损,并在最终客户和业务合作伙伴面前无限期、无可挽回地玷污组织的声誉。没人想那样。这就是为什么Confluent Platform 5.4以基于角色的访问控制(RBAC)和结构化审核日志的形式加强了其企业级安全支持。基于角色的访问控制(RBAC)早在7月份,我们就宣布了RBAC的预览,作为融合平台5.3版本的一部分。在收集了反馈并向每个试用过RBAC的人学习之后,我们现在很高兴地宣布,RBAC可以在conferent platform5.4中使用。现在,您可以在生产环境中使用此功能,并获得Confluent的完全支持。RBAC提供了一个集中化的安全实现,允许以适当的粒度在整个融合的平台上访问资源。您可以控制授予用户和组对特定平台资源的权限,从集群级别开始,一直向下移动到各个主题、使用者组甚至单个连接器。您可以通过将用户或组分配给角色来实现这一点。这使您摆脱了管理大量主体的单个权限的游戏,这对于大型企业部署来说是一个真正的问题。RBAC提供了通过所有用户界面(融合的controlcenter UI、CLI和api)以及所有融合平台组件(controlcenter、Schema Registry、REST Proxy、MQTT Proxy、Kafka Connect和KSQL)实施的全面授权。考虑到Apache-Kafka的分布式架构,以及Connect和KSQL等其他平台组件的分布式架构,一个单一的框架来集中管理和执行所有组件的安全授权,总而言之,对于大规模地管理安全性至关重要。结构化审核日志5.4中另一个与安全相关的新特性是结构化审计日志。当然,卡夫卡的一切都是一个日志,但是卡夫卡并没有记录卡夫卡对卡夫卡做了什么,只记录了你对主题所做的事情。但是创建主题、更改权限和修改访问控制列表(acl)呢?这些都是非常重要的操作,可能会影响集群的安全和整体功能。最好保留它们的记录,这正是结构化审计日志在Confluent平台中所做的工作。结构化审核日志允许在本地或远程群集上的一组专用Kafka主题中捕获授权日志,包括:审核与管理相关的低容量活动的日志,例如创建或删除ACL或主题(默认情况下启用)大容量活动的审核日志,例如代理间通信或生成/使用事件(可以根据需要启用)有了主题中所有这些事件的安全性,您就可以使用Kafka本地工具,如Kafka Streams API或KSQL来处理和分析它们。您还可以使用合流提供的sink连接器将它们卸载到外部系统进行分析,如Splunk或amazons3。为了提供行业支持的标准化,结构化审计日志使用CloudEvents规范来定义日志的格式。CloudEvents是一个与供应商无关的规范,它定义了事件数据的格式,并且正在迅速成为描述事件数据的行业标准。我们很高兴成为事件流空间中第一个支持CloudEvents的供应商,我们希望它能在未来获得巨大的吸引力。多区域集群早在9月份,我们就宣布了Confluent Platform 5.4的预览版,其中包括对多区域集群的支持。随着融合平台5.4的普遍可用性,多区域集群现在可以用于生产环境。从历史上看,跨数据中心运行一个集群(所谓的"拉伸集群")涉及到重大的权衡,以至于有些运营商实际上建议根本不要使用这种拓扑。现在,Confluent Platform 5.4提供了跨数据中心异步复制主题的能力,因此数据可以通过高延迟链接传递到另一个数据中心,而不会让生产商等待复制发生,从而使其生产操作被视为成功。与自动化客户端故障转移相结合,这使您能够运行一个扩展群集,而不需要在过去。这个此功能提供了四大好处,彻底改变了多站点部署和灾难恢复(DR)操作的游戏规则:通过使用观察者和副本放置启用异步复制,您可以跨较慢和较高延迟的链路进行复制,而不会牺牲写入吞吐量和延迟。这为您提供了更高的耐用性和更高的可用性,而不会对应用程序性能造成重大损失。通过利用Kafka 2.4中的Follower Fetching(KIP-392)功能允许用户直接从观察者处读取,多区域集群消除了不必要的跨广域网流量,从而大大降低了带宽成本并提高了读取吞吐量。通过利用Kafka的内部复制,多区域群集大大简化了灾难恢复操作。Kafka管理员不再需要与多个客户机团队协调来处理故障转移或更改DNS,监视和安全等事项集中在单个群集上。由于自动化的客户端故障切换功能,您应该能够对恢复时间目标(RTO)进行有意义的改进。您不再需要将宝贵的故障转移时间(或自动化投资)用于偏移转换、交换DNS或重新启动客户端。长期以来,跨多个区域运行单个扩展集群一直是一种理想的体系结构,在历史上充满了一定的操作复杂性。由于在性能、成本和操作复杂性方面的妥协,它实际上只在少数情况下可行。融合平台5.4中的多区域集群极大地扩展了这些场景,因此拉伸集群不再是一个冒险的选择。架构验证Confluent Platform长期以来包括Confluent Schema Registry,这是一个帮助团队围绕模式更改进行协作的组件,并确保在客户端级别,从一个模式版本到下一个版本的转换不会破坏一个正在使用的应用程序。然而,模式注册要求每个人都是一个好公民。如果生产者在没有根据注册表验证消息的情况下写入集群,它可以向主题写入任意数量的无效消息,从而打破了消费者代码异常处理能力的限制。当然,您的所有使用者代码都完全针对无效输入进行了强化,并且能够优雅地处理所有这些无效消息,但是其他许多团队如何针对您汇合的集群编写应用程序呢?显然,我们必须做得更好。现在我们可以选择在主题级别启用模式验证。以这种方式配置,模式验证将确保为特定主题生成的每一条消息都验证为键和值模式是否符合模式注册表中的相应策略,而不管生成和使用客户端是否费心检查。任何发现无效的消息都将从批处理中删除,并且代理将错误指示发送回使用者。使用模式验证,您现在可以更好地控制写入系统的数据质量。要求客户端级模式验证的策略仍然是非常可取的,但是代理级别的验证是针对恶意或疏忽应用程序的最后也是最好的防御措施。规模化高效运作一旦企业为稳定、持久的操作奠定了技术基础,下一步就是寻求更高效的操作,使事件流基础设施能够以尽可能少的痛苦进行规模化。控制中心提供对融合平台5.4功能的管理RBAC、多区域集群和模式验证等新功能的引入需要新的接口来管理它们。rema控制中心

上一篇百度云_win服务器系统_优惠券

下一篇企业网站_腾讯云服务器端口_免费领

云市场知识本月排行

云市场知识精选