一名云计算从业者的思考

大家都在搜：

热搜词1 热搜词2 热搜词3

当前位置：首页 > 日常方案 > 正文内容

在AWS EKS上安装Karpenter的完整指南

anycodes12个月前 (07-08)日常方案5620

## 引言

Karpenter是一个开源的Kubernetes自动扩展工具，它能够根据工作负载的需求自动配置和管理节点。与传统的Cluster Autoscaler相比，Karpenter更加灵活，能够根据Pod的具体需求快速提供恰当规格的节点，从而优化集群资源利用率和成本。本文将为您提供在AWS EKS上安装和配置Karpenter的详细步骤。

## Karpenter的主要功能

Karpenter主要提供以下功能：
- 监控无法调度的Pod
- 评估这些Pod的调度需求（资源请求、节点选择器、亲和性、容忍度等）
- 根据这些需求自动配置新节点
- 在节点不再需要时自动移除节点

## 前提条件

在开始安装Karpenter之前，请确保您已经准备好以下工具和资源：

1. **AWS CLI** - 已配置具有足够权限的用户
2. **kubectl** - Kubernetes命令行工具
3. **eksctl** (>= v0.202.0) - AWS EKS命令行工具
4. **helm** - Kubernetes的包管理器
5. **已创建的EKS集群** 或准备创建新集群

## 步骤一：设置环境变量

首先，我们需要设置一些环境变量，这些变量将在后续命令中使用：

```bash
export KARPENTER_NAMESPACE="kube-system"
export KARPENTER_VERSION="1.5.2"
export K8S_VERSION="1.32"  # 您的Kubernetes版本
export CLUSTER_NAME="${USER}-karpenter-demo"
export AWS_DEFAULT_REGION="us-west-2"  # 设置为您的首选区域
export AWS_ACCOUNT_ID="$(aws sts get-caller-identity --query Account --output text)"
export TEMPOUT="$(mktemp)"
export ALIAS_VERSION="$(aws ssm get-parameter --name "/aws/service/eks/optimized-ami/${K8S_VERSION}/amazon-linux-2023/x86_64/standard/recommended/image_id" --query Parameter.Value | xargs aws ec2 describe-images --query 'Images[0].Name' --image-ids | sed -r 's/^.*(v[[:digit:]]+).*$/\1/')"
```

## 步骤二：创建集群（如果尚未有集群）

如果您还没有EKS集群，可以使用以下命令创建一个集群：

```bash
# 创建CloudFormation堆栈，为Karpenter提供必要的基础设施
curl -fsSL https://raw.githubusercontent.com/aws/karpenter-provider-aws/v"${KARPENTER_VERSION}"/website/content/en/preview/getting-started/getting-started-with-karpenter/cloudformation.yaml > "${TEMPOUT}" \
&& aws cloudformation deploy \
  --stack-name "Karpenter-${CLUSTER_NAME}" \
  --template-file "${TEMPOUT}" \
  --capabilities CAPABILITY_NAMED_IAM \
  --parameter-overrides "ClusterName=${CLUSTER_NAME}"

# 使用eksctl创建集群
eksctl create cluster -f - <<EOF
---
apiVersion: eksctl.io/v1alpha5
kind: ClusterConfig
metadata:
  name: ${CLUSTER_NAME}
  region: ${AWS_DEFAULT_REGION}
  version: "${K8S_VERSION}"
  tags:
    karpenter.sh/discovery: ${CLUSTER_NAME}
iam:
  withOIDC: true
  podIdentityAssociations:
  - namespace: "${KARPENTER_NAMESPACE}"
    serviceAccountName: karpenter
    roleName: ${CLUSTER_NAME}-karpenter
    permissionPolicyARNs:
    - arn:${AWS_PARTITION}:iam::${AWS_ACCOUNT_ID}:policy/KarpenterControllerPolicy-${CLUSTER_NAME}
iamIdentityMappings:
- arn: "arn:${AWS_PARTITION}:iam::${AWS_ACCOUNT_ID}:role/KarpenterNodeRole-${CLUSTER_NAME}"
  username: system:node:{{EC2PrivateDNSName}}
  groups:
  - system:bootstrappers
  - system:nodes
managedNodeGroups:
- instanceType: m5.large
  amiFamily: AmazonLinux2023
  name: ${CLUSTER_NAME}-ng
  desiredCapacity: 2
  minSize: 1
  maxSize: 10
addons:
- name: eks-pod-identity-agent
EOF

# 获取集群端点和IAM角色ARN
export CLUSTER_ENDPOINT="$(aws eks describe-cluster --name "${CLUSTER_NAME}" --query "cluster.endpoint" --output text)"
export KARPENTER_IAM_ROLE_ARN="arn:${AWS_PARTITION}:iam::${AWS_ACCOUNT_ID}:role/${CLUSTER_NAME}-karpenter"
```

## 步骤三：创建EC2 Spot服务相关角色

如果您计划使用EC2 Spot实例，需要创建Spot服务相关角色：

```bash
aws iam create-service-linked-role --aws-service-name spot.amazonaws.com || true
```

## 步骤四：安装Karpenter

使用Helm安装Karpenter：

```bash
# 从helm registry注销，以便对公共ECR执行未经身份验证的拉取
helm registry logout public.ecr.aws

# 安装Karpenter
helm upgrade --install karpenter oci://public.ecr.aws/karpenter/karpenter --version "${KARPENTER_VERSION}" --namespace "${KARPENTER_NAMESPACE}" --create-namespace \
  --set "settings.clusterName=${CLUSTER_NAME}" \
  --set "settings.interruptionQueue=${CLUSTER_NAME}" \
  --set controller.resources.requests.cpu=1 \
  --set controller.resources.requests.memory=1Gi \
  --set controller.resources.limits.cpu=1 \
  --set controller.resources.limits.memory=1Gi \
  --wait
```

## 步骤五：创建NodePool

NodePool是Karpenter的核心资源，它定义了节点配置和扩展策略。以下是一个基本的NodePool配置示例：

```bash
cat <<EOF | envsubst | kubectl apply -f -
apiVersion: karpenter.sh/v1
kind: NodePool
metadata:
  name: default
spec:
  template:
    spec:
      requirements:
        - key: kubernetes.io/arch
          operator: In
          values: ["amd64"]
        - key: kubernetes.io/os
          operator: In
          values: ["linux"]
        - key: karpenter.sh/capacity-type
          operator: In
          values: ["on-demand"]
        - key: karpenter.k8s.aws/instance-category
          operator: In
          values: ["c", "m", "r"]
        - key: karpenter.k8s.aws/instance-generation
          operator: Gt
          values: ["2"]
      nodeClassRef:
        group: karpenter.k8s.aws
        kind: EC2NodeClass
        name: default
      expireAfter: 720h # 30 * 24h = 720h
  limits:
    cpu: 1000
  disruption:
    consolidationPolicy: WhenEmptyOrUnderutilized
    consolidateAfter: 1m
---
apiVersion: karpenter.k8s.aws/v1
kind: EC2NodeClass
metadata:
  name: default
spec:
  role: "KarpenterNodeRole-${CLUSTER_NAME}" # 替换为您的集群名称
  amiSelectorTerms:
    - alias: "al2023@${ALIAS_VERSION}"
  subnetSelectorTerms:
    - tags:
        karpenter.sh/discovery: "${CLUSTER_NAME}" # 替换为您的集群名称
  securityGroupSelectorTerms:
    - tags:
        karpenter.sh/discovery: "${CLUSTER_NAME}" # 替换为您的集群名称
EOF
```

## 步骤六：测试Karpenter

现在我们可以部署一个测试应用程序来验证Karpenter是否正常工作：

```bash
# 创建一个测试部署
cat <<EOF | kubectl apply -f -
apiVersion: apps/v1
kind: Deployment
metadata:
  name: inflate
spec:
  replicas: 0
  selector:
    matchLabels:
      app: inflate
  template:
    metadata:
      labels:
        app: inflate
    spec:
      terminationGracePeriodSeconds: 0
      securityContext:
        runAsUser: 1000
        runAsGroup: 3000
        fsGroup: 2000
      containers:
      - name: inflate
        image: public.ecr.aws/eks-distro/kubernetes/pause:3.7
        resources:
          requests:
            cpu: 1
        securityContext:
          allowPrivilegeEscalation: false
EOF

# 扩展部署以触发Karpenter创建新节点
kubectl scale deployment inflate --replicas 5

# 监控Karpenter控制器日志
kubectl logs -f -n "${KARPENTER_NAMESPACE}" -l app.kubernetes.io/name=karpenter -c controller
```

## 最佳实践

在生产环境中使用Karpenter时，请考虑以下最佳实践：

1. **锁定生产集群中的AMI版本**：不要使用`@latest`标签，而是明确指定经过测试的AMI版本。

2. **对于有变化容量需求的工作负载使用Karpenter**：Karpenter非常适合处理需求高峰期或计算需求多样化的工作负载。

3. **在EKS Fargate或管理节点组上运行Karpenter控制器**：不要在Karpenter管理的节点上运行Karpenter本身。

4. **排除不适合工作负载的实例类型**：使用`node.kubernetes.io/instance-type`键排除特定实例类型。

5. **在使用Spot实例时启用中断处理**：使用Karpenter的中断处理功能处理Spot实例中断事件。

6. **创建多个NodePool**：当不同团队共享集群或需要不同的操作系统和实例类型时，创建多个NodePool。

7. **使用计时器（TTL）自动删除节点**：利用节点过期机制进行升级和资源管理。

8. **使用`karpenter.sh/do-not-disrupt`注解防止Karpenter停用关键节点**。

9. **为所有工作负载设置准确的资源请求**：这有助于Karpenter为您的工作负载找到最佳的节点类型。

## 清理资源

当您不再需要Karpenter和测试资源时，可以使用以下命令进行清理：

```bash
# 卸载Karpenter
helm uninstall karpenter --namespace "${KARPENTER_NAMESPACE}"

# 删除CloudFormation堆栈
aws cloudformation delete-stack --stack-name "Karpenter-${CLUSTER_NAME}"

# 删除启动模板
aws ec2 describe-launch-templates --filters "Name=tag:karpenter.k8s.aws/cluster,Values=${CLUSTER_NAME}" |
    jq -r ".LaunchTemplates[].LaunchTemplateName" |
    xargs -I{} aws ec2 delete-launch-template --launch-template-name {}

# 删除集群
eksctl delete cluster --name "${CLUSTER_NAME}"
```

## 总结

通过本文，我们学习了如何在AWS EKS上安装和配置Karpenter。Karpenter提供了一种高效的方法来管理Kubernetes集群的节点生命周期，可以根据实际需求自动扩展和收缩节点，优化资源利用率和成本。

## 参考文档

1. [Karpenter官方文档 - Getting Started with Karpenter](https://karpenter.sh/docs/getting-started/getting-started-with-karpenter/)
2. [AWS EKS最佳实践 - Karpenter](https://docs.aws.amazon.com/eks/latest/best-practices/karpenter.html)
3. [Karpenter GitHub仓库](https://github.com/aws/karpenter-provider-aws)
4. [Amazon EKS用户指南](https://docs.aws.amazon.com/eks/latest/userguide/getting-started.html)
5. [Karpenter NodePool API文档](https://karpenter.sh/docs/concepts/nodepools/)

----
> 额外的，Github还有几个比较可靠的案例，可供参考：
> https://github.com/aws-samples/cloud-native-airflow-solution-on-amazon-eks/blob/51a61d09d4b3b3621f0e81e7f172e93bb9bbf15a/02-setup-karpenter.sh#L5
> https://github.com/aws-samples/aws-do-eks/tree/51c2c80fb8873706b75203374174c26a4f4ac9c7/Container-Root/eks/deployment/karpenter

扫描二维码推送至手机访问。

本文链接：https://runor.cn/?id=23

标签: Karpenter Kubernetes AWS

分享给朋友：

返回列表

上一篇：管理AWS Kinesis Video Streams：理解流生命周期与自动化清理

下一篇：AWS EC2自定义主机名管理系统

刘博说云

大家都在搜：

在AWS EKS上安装Karpenter的完整指南

“在AWS EKS上安装Karpenter的完整指南” 的相关文章

AWS S3接入点查询与分析方法

使用Amazon S3与CloudFront搭建静态网站，确保内容仅通过CDN访问

AWS账号分账的悖论：为什么"最佳实践"总是失效

在Windows WSL上安装Amazon Q开发者CLI的完整指南

OpenSearch向量搜索实践：使用Flow Framework快速部署

发表评论

Powered By Z-BlogPHP. Theme by TOYEAN.

刘博说云

大家都在搜：

在AWS EKS上安装Karpenter的完整指南

“在AWS EKS上安装Karpenter的完整指南” 的相关文章

AWS S3接入点查询与分析方法

使用Amazon S3与CloudFront搭建静态网站，确保内容仅通过CDN访问

AWS账号分账的悖论：为什么"最佳实践"总是失效

在Windows WSL上安装Amazon Q开发者CLI的完整指南

OpenSearch向量搜索实践：使用Flow Framework快速部署

发表评论取消回复

Powered By Z-BlogPHP. Theme by TOYEAN.

发表评论