如果您已经在使用Kubernetes了,则可能有一个简单的原因:它使您的生活更轻松毕竟,这是基于容器编排的整个前提它让基础设施变得可支配,在需要时将其旋转,完成后将其丢弃,因此您不必考虑太多至少,这就是应该起作用的方式
如你所知,如果你已经建立起一个依赖于持久性数据的工作,你会马上遇到一个大问题mdash,mdash,存储。
尽管Kubernetes完全抽象了计算和网络基础架构,但是当您的应用程序是有状态的并且数据是持久的时,它需要合适的方式进行存储您仍必须了解底层存储基础架构的全部知识,才能找到所需数据的方式
不仅是数据的位置,还有其他类型的存储基础结构附带的所有其他细粒度的考虑因素,大多数数据科学家都不想考虑。前面我们课程中的集群是单master的集群,对于生产环境风险太大了,非常有必要做一个高可用的集群,这里的高可用主要是针对控制面板来说的,比如kube-apiserver,etcd,kube-controller-manager,kube-scheduler这几个组件,其中kube-controller-manager于kube-scheduler组件是Kubernetes集群自己去实现的高可用,当有多个组件存在的时候,会自动选择一个作为Leader提供服务,所以不需要我们手动去实现高可用,apiserver和etcd就需要手动去搭建高可用的集群的。高可用的架构有很多,比如典型的haproxy+keepalived架构,或者使用nginx来做代理实现。。
为什么在云原生世界中,我们已经自动化了对这么多底层硬件复杂性的管理,所以存储仍然如此痛苦原因是两个词:数据孤岛
只要我们继续通过其赖以生存的不同基础架构来管理数据,而不是只关注数据本身,我们将不可避免地最终要花费大量的存储孤岛幸运的是,这不是一个棘手的问题通过将我们对数据管理的思考方式从以基础架构为中心的方法转变为以数据为中心的方法,我们可以使用Kubernetes首先给我们提供承诺:制作存储SEP
当您需要的数据散布在不同的存储孤岛上时,每个存储孤岛都有自己的独特属性,根本无法抽象出基础架构注意事项仍然有人必须回答所有有关性能,成本和数据治理的问题,才能建立您的管道则无需确切说明操作方法
3. 使数据管理实现自助服务:数据科学家无需担心比较不同存储类型的成本,启用数据保护或确保每次建立管道时都满足安全性和合规性要求一旦将元数据和数据的管理分开,所有消失了存储管理员可以通过配置一次基本策略来设置防护栏然后,用户可以从此开始自助满足其大多数数据管理需求,而无需打开票证,并且不会在每次建立管道时手动进行这些调用时出现错误
4. 不断丰富您的数据:当系统支持可自定义的,可扩展的元数据时,您现在可以进行各种有趣的事情例如,您可以构建递归流程,在其中通过系统运行数据,获取一些结果,将这些结果添加回元数据,然后再次运行作业您可以开始对数据周围的数据建立深入的上下文理解处理和使用的数据越多,将来用于其他作业的数据就越丰富而且,对于要使用它的任何其他应用程序或数据科学家来说,现在,智能总是随处可见它并不局限于一个副本,而是藏在某个地方的一个存储孤岛上
当您虚拟化数据时,所有这些事情都是可能的,因为与孤立的存储基础架构相比,元数据的使用更加灵活设置和编排数据管道所伴随的存储注意事项现在可以为您解决您的存储资源将变为可编程的,自助服务的并且自动合规,通常不需要手动干预
突然之间,您实际上生活在这样一个现实,即Kubernetes和软件定义的存储始终应该交付无论基础架构如何,存储都是软件定义的,可编程的并且在混合云环境中保持一致您的数据更丰富,更灵活您的IT团队不再将ID卡上的爆炸照片留在墙上扔镖最重要的是,您实际上在处理数据上花费了更多时间,而不用担心数据的存放位置
。郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。