kubernetes中有状态应用的优雅缩容

将有状态的应用程序部署到Kubernetes是棘手的。 StatefulSet使它变得容易得多，但是它们仍然不能解决所有问题。最大的挑战之一是如何缩小StatefulSet而不将数据留在断开连接的PersistentVolume成为孤立对象上。在这篇博客中，我将描述该问题和两种可能的解决方案。

通过StatefulSet创建的每个Pod都有自己的PersistentVolumeClaim（PVC）和PersistentVolume（PV）。当按一个副本按比例缩小StatefulSet的大小时，其Pod之一将终止，但关联的PersistentVolumeClaim和绑定到其的PersistentVolume保持不变。在随后扩大规模时，它们会重新连接到Pod。

imgScaling a StatefulSet

现在，想象一下使用StatefulSet部署一个有状态的应用程序，其数据在其pod中进行分区。每个实例仅保存和处理一部分数据。当您缩小有状态应用的规模时，其中一个实例将终止，其数据应重新分配到其余的Pod。如果您不重新分配数据，则在再次进行扩展之前，它仍然不可访问。

imgRedistributing data on scale-down

在正常关机期间重新分发数据

您可能会想："既然Kubernetes支持Pod正常关闭的机制，那么Pod是否可以在关闭过程中简单地将其数据重新分配给其他实例呢？"事实上，它不能。为什么不这样做有两个原因：

  • Pod（或更确切地说，其容器）可能会收到除缩容以外的其他原因的终止信号。容器中运行的应用程序不知道为什么终止该程序，因此不知道是否要清空数据。
  • 即使该应用程序可以区分是缩容还是由于其他原因而终止，它也需要保证即使经过数小时或数天也可以完成关闭程序。 Kubernetes不提供该保证。如果应用程序进程在关闭过程中死掉，它将不会重新启动，因此也就没有机会完全分发数据。

因此，相信在正常关闭期间Pod能够重新分发（或以其他方式处理其所有数据）并不是一个好主意，并且会导致系统非常脆弱。

使用 tear-down 容器?

如果您不是Kubernetes的新手，那么你很可能知道什么是初始化容器。它们在容器的主要容器之前运行，并且必须在主要容器启动之前全部完成。

如果我们有tear-down容器（类似于init容器），但是在Pod的主容器终止后又会运行，该怎么办？他们可以在我们的有状态Pod中执行数据重新分发吗？

img

假设tear-down容器能够确定Pod是否由于缩容而终止。并假设Kubernetes（更具体地说是Kubelet）将确保tear-down容器成功完成（通过在每次返回非零退出代码时重新启动它）。如果这两个假设都成立，我们将拥有一种机制，可确保有状态的容器始终能够按比例缩小规模重新分配其数据。

但是？

可悲的是，当tear-down容器本身发生瞬态错误，并且一次或多次重新启动容器最终使它成功完成时，像上述的tear-down容器机制将只处理那些情况。但是，在tear-down过程中托管Pod的集群节点死掉的那些不幸时刻又如何呢？显然，该过程无法完成，因此无法访问数据。

现在很明显，我们不应该在Pod关闭时执行数据重新分配。相反，我们应该创建一个新的Pod（可能安排在一个完全不同的集群节点上）以执行重新分发过程。

这为我们带来了以下解决方案：

缩小StatefulSet时，必须创建一个新的容器并将其绑定到孤立的PersistentVolumeClaim。我们称其为"drain pod"，因为它的工作是将数据重新分发到其他地方（或以其他方式处理）。Pod必须有权访问孤立的数据，并且可以使用它做任何想做的事情。由于每个应用程序的重新分发程序差异很大，因此新的容器应该是完全可配置的-用户应该能够在drain Pod内运行他们想要的任何容器。

StatefulSet Drain Controller

由于StatefulSet控制器当前尚不提供此功能，因此我们可以实现一个额外的控制器，其唯一目的是处理StatefulSet缩容。我最近实现了这种控制器的概念验证。您可以在GitHub上找到源代码：

luksa/statefulset-scaledown-controllergithub.com图标

下面我们解释一下它是如何工作的。

在将控制器部署到Kubernetes集群后，您只需在StatefulSet清单中添加注释，即可将drain容器模板添加到任何StatefulSet中。这是一个例子：

apiVersion: apps/v1kind: StatefulSetmetadata: name: datastore annotations: statefulsets.kubernetes.io/drainer-pod-template: |  {  "metadata": {   "labels": {   "app": "datastore-drainer"   }  },  "spec": {   "containers": [   {    "name": "drainer",    "image": "my-drain-container",    "volumeMounts": [    {     "name": "data",     "mountPath": "/var/data"    }    ]   }   ]  }  }spec: ...

该模板与StatefulSet中的主要Pod模板没有太大区别，只不过它是通过注释定义的。您可以像平常一样部署和扩展StatefulSet。

当控制器检测到按比例缩小了StatefulSet时，它将根据指定的模板创建新的drain容器，并确保将其绑定到PersistentVolumeClaim，该PersistentVolumeClaim先前已绑定至因按比例缩小而删除的有状态容器。

Drain容器获得与已删除的有状态容器相同的身份（即名称和主机名）。这样做有两个原因：

  • 一些有状态的应用程序需要稳定的身份-这也可能在数据重新分发过程中适用。
  • 如果在执行drain过程时再次扩容StatefulSet，则这将阻止StatefulSet控制器创建重复的容器并将其附加到同一PVC。

如果drain pod或其主机节点崩溃，则drain pod将重新安排到另一个节点上，在该节点上可以重试/恢复其操作。Drain pod完成后， Pod和PVC将被删除。备份StatefulSet时，将创建一个新的PVC。

示例

首先部署drain控制器：

$ kubectl apply -f https://raw.githubusercontent.com/luksa/statefulset-drain-controller/master/artifacts/cluster-scoped.yaml

接着部署示例StatefulSet:

$ kubectl apply -f https://raw.githubusercontent.com/luksa/statefulset-drain-controller/master/example/statefulset.yaml

这将运行三个有状态的Pod。将StatefulSet缩小为两个时，您会看到其中一个Pod开始终止。然后，删除Pod后，drain控制器将立即创建一个具有相同名称的新drain Pod：

$ kubectl scale statefulset datastore --replicas 2statefulset.apps/datastore scaled$ kubectl get poNAME   READY  STATUS  RESTARTS AGEdatastore-0 1/1  Running  0   3mdatastore-1 1/1  Running  0   2mdatastore-2 1/1  Terminating 0   49s$ kubectl get poNAME   READY  STATUS RESTARTS AGEdatastore-0 1/1  Running 0   3mdatastore-1 1/1  Running 0   3mdatastore-2 1/1  Running 0   5s <-- the drain pod

当drain pod 完成其工作时，控制器将其删除并删除PVC：

$ kubectl get poNAME   READY  STATUS RESTARTS AGEdatastore-0 1/1  Running 0   3mdatastore-1 1/1  Running 0   3m$ kubectl get pvcNAME    STATUS VOLUME    CAPACITY ...data-datastore-0 Bound  pvc-57224b8f-... 1Mi  ...data-datastore-1 Bound  pvc-5acaf078-... 1Mi  ...

控制器的另一个好处是它可以释放PersistentVolume，因为它不再受PersistentVolumeClaim约束。如果您的集群在云环境中运行，则可以降低存储成本。

总结

请记住，这仅是概念验证。要成为StatefulSet缩容问题的正确解决方案，需要进行大量工作和测试。理想情况下，Kubernetes StatefulSet控制器本身将支持这样的运行drain容器，而不是需要一个与原始控制器竞争的附加控制器（当您缩容并立即再次扩容时）。

通过将此功能直接集成到Kubernetes中，可以在StatefulSet规范中用常规字段替换注释，因此它将具有模板，volumeClaimTemplates和rainePodTemplate，与使用注释相比，一切都变得更好了。









原文转载：http://www.shaoqun.com/a/504685.html

跨境电商：https://www.ikjzd.com/

宝付：https://www.ikjzd.com/w/539

华翰物流：https://www.ikjzd.com/w/1799


将有状态的应用程序部署到Kubernetes是棘手的。StatefulSet使它变得容易得多，但是它们仍然不能解决所有问题。最大的挑战之一是如何缩小StatefulSet而不将数据留在断开连接的PersistentVolume成为孤立对象上。在这篇博客中，我将描述该问题和两种可能的解决方案。通过StatefulSet创建的每个Pod都有自己的PersistentVolumeClaim（PVC）和P
米兰网：米兰网
一淘比价网：一淘比价网
母亲节这一习俗是怎么来的？：母亲节这一习俗是怎么来的？
长期稳定的获取Review，你还有很多可以做！：长期稳定的获取Review，你还有很多可以做！
口述：老公被小三甩了我还怎么接受他(2/2)：口述：老公被小三甩了我还怎么接受他(2/2)

Comments

Post a Comment

Popular posts from this blog

指纹浏览器定制开发全面助力企业安全与智能升级

在数字化时代，企业信息安全和智能化管理愈发成为商务发展的两大支柱。为适应这一趋势，指纹浏览器定制开发成为了企业安全和智能升级的最佳选择。让我们一同探索，如何通过指纹浏览器的二次开发、私有部署和AI智能等关键功能，助力企业迎接未来的挑战。 指纹浏览器二次开发：保障身份识别的极致体验 随着科技的不断进步，传统身份验证方式显得越来越脆弱。指纹浏览器的二次开发为企业带来了身份识别的极致体验，通过精准的生物特征验证，极大地提高了安全性。企业无需担忧密码泄漏或仿冒风险，真正实现了信息安全的无忧管理。 私有部署：数据安全掌握在自己手中 数据是企业最重要的资产之一，而私有部署则是最为可靠的数据保护手段之一。通过将指纹浏览器定制开发系统私有部署，企业能够完全掌握对敏感数据的访问和存储。这一层级的掌控，不仅提升了数据的安全性，同时也避免了因为云服务的共享带来的潜在风险。 原文转载： https://fashion.shaoqun.com/a/1585172.html 深圳巴厘岛海景酒店 ：https://www.vstour.cn/t/深圳巴厘岛海景酒店.html 深圳巴厘岛旅行团 ：https://www.vstour.cn/t/深圳巴厘岛旅行团.html 深圳巴厘岛旅游 ：https://www.vstour.cn/t/深圳巴厘岛旅游.html 深圳巴厘岛旅游报价 ：https://www.vstour.cn/t/深圳巴厘岛旅游报价.html 深圳巴厘岛旅游价格 ：https://www.vstour.cn/t/深圳巴厘岛旅游价格.html 深圳巴厘岛旅游团 ：https://www.vstour.cn/t/深圳巴厘岛旅游团.html 红海堵塞，海湾受益？ ：https://www.kjdsnews.com/a/1743053.html 一篇文章带你了解商标注册：尼加拉瓜 ：https://www.kjdsnews.com/a/1743054.html
Read more

跨境电商资讯：一文带你走进亚马逊19大海

Image
随着全球电商行业的迅速发展，许多品牌逐渐将目光投向海外市场，寻找新的业务增长点。亚马逊作为全球最大的电商平台之一，拥有众多海外站点，为卖家提供了广阔的发展空间和优质的服务。然而，当卖家们面对海外众多不同的站点，它们的区别是什么？该选红海站点还是蓝海站点？如何才能选择适合自己的平台？这些都让许多卖家感到非常迷惑，不知所措。 别着急！接下来就让小编带大家一起了解亚马逊各大海外站点的机会优势，并分享几位卖家的实战经验，助您选好出海站点，赢在起跑线！ 目前，亚马逊在全球拥有19大海外站点，覆盖北美、拉丁美洲、欧洲、亚洲、大洋洲等多个地区，帮助卖家触达数亿消费者。这些站点各有"特长"，您可以结合自身业务、资金情况和发展需求等因素，Pick适合自己的出海站点，及时把握海外商机！ 01老牌成熟站点，新手出海首选！ 目前，亚马逊在北美地区拥有美国站和加拿大站两大站点。北美站的整体成熟度和服务完善性让许多卖家将它作为开拓生意的首站。 从宏观环境来看，北美站可谓实力超群： ●体量庞大，消费潜力高 作为亚马逊全球最大海外站点，消费实力强劲，两大站点囊括3.7亿+人口，人红利充足，Prime会员占比高； ●品类齐全，细分赛道机会多 加拿大站选品文化接近美国，选品空间广阔，有利于卖家挖掘不同品类商机! 对于新手来说，亚马逊北美站拥有多重优势助力启航： ●配套完善，服务齐全 作为最早开设的站点，亚马逊服务支持齐全，新卖家上手更轻松 ●物流便捷，配送无阻 您可使用亚马逊远程物流配送计划(NARF)，将美国站FBA库存直接配送给加拿大买家，无需将库存事先运送到加拿大，助您轻松拓展北美地区商业版图! 该计划具有以下4大优势： ●利用美国FBA库存，为加拿大的Prime买家提供免费配送服务； ●由亚马逊处理跨境配送事宜，让配送流程更简单便捷； ●进口税费和相关费用由买家支付，无需卖家承担； ●退货直接退回美国，省心省力。 如果您想坐拥巨大流量，触达更多、更广泛的消费者；如果您的选品种类丰富齐全，希望同时布局多种品类赛道……那么北美站是您不该犹豫的首选! 02高潜消费增长能力，业务拓展不二之选！ 在拉丁美洲，除了已对卖家开放的墨西哥站之外，亚马逊巴西站也于2023年12月正式对中国卖家开放，不少北美站卖家已抢先拓展生意版图，吃到了"第一只螃蟹"! 结合宏观发展趋势...
Read more

利用 Google 购物广告促进销量的初学者指南

您需要更多客户。 并且，您需要 以可接受的成本获取它们 。因为，如果你不能做这两件事呢？ ……好吧， 我们别去那里了 。 首先，如何获得更多客户？ 嗯，一种行之有效的方法是 Google Shopping 。 这一领先的电子商务流量来源 占 电子商务 网站整体销售额的 16% 以上。 那是 巨大的。 但是，当您考虑到Google每秒处理超过 40,000 个搜索查询 时，这也就不足为奇了。 不过，这还不是全部…… 2018 年，在美国电子商务领域，Google 购物广告占 零售搜索广告支出的 76.4% ，占所有付费搜索点击次数的 85.3%。 另一方面，文字广告仅吸引了 23.6% 的零售搜索广告支出和 14.7% 的付费搜索点击次数。 由于 Google 努力通过富媒体广告格式提高知名度，投资 Google Shopping 广告系列已成为零售搜索行业的主要趋势。 但是，您能否使用 Google 购物以可接受的成本获取客户，从而为您带来利润？ 一言以蔽之？ 是的 。 OMG Commerce首席执行官 Brett Curry 去年 管理的广告活动平均 广告支出回报率 (ROAS) 为 300-600% 。 您愿意花 1美元获得 3 至 6 美元的销售额吗？ 我愿意打赌你会的。 你是怎么做到的？ 在本文中，您将准确了解 Google 购物是什么、它的工作原理以及如何开始您的第一个广告系列。 好吧，系好安全带 。 Fansgurus是一个社交媒体营销在线平包含了Facebook，Instagram，Twitter，Pinterest，YouTube，Tiktok，telegram，虾皮等等海外社交媒体，并提供增粉、点赞、转发、评论浏览量直播间在线，网站引流等数据服务。快速体验： zllp.myyfrs.ciwi._okgyw?fyuokfj 什么是谷歌购物？ Google 购物广告也称为产品详情广告或 PLA。而且，当用户在 Google 上搜索产品时，它们就会显示。 它们出现 在搜索结果的顶部或页面的右上角： Google 购物广告也可以 在"购物"标签下找到。 这些广告如此有效的 部分原因 是它们位于搜索结果顶部的显着位置。 那么，Google 购物广告包含哪些内容？ 简而言之， 消费者熟悉的5 个关键组件： 产品图片 产品名称 价格 卖家姓...
Read more