ac119a3559
openmetadata 실패의 진짜 원인은 참조 오류가 아니라 docker.getcollate.io(Docker Hub 프록시)의 익명 pull rate limit(TOOMANYREQUESTS)였음. 인증 config 에 getcollate 를 추가(Docker Hub 자격증명)하고, 대용량 이미지 분석을 위해 trivy 타임아웃 기본값을 10m→15m(TRIVY_TIMEOUT). 로컬 검증: 인증+타임아웃으로 openmetadata server SBOM 생성 성공(655 comp). Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
151 lines
6.7 KiB
YAML
151 lines
6.7 KiB
YAML
name: helm-catalog-sbom
|
|
|
|
# manifests/helm 카탈로그의 컨테이너 이미지 SBOM(CycloneDX) + 취약점 리포트 생성.
|
|
# 상세: doc/sbom-pipeline.md
|
|
#
|
|
# 실행 컨테이너: vars.SBOM_PIPELINE_IMAGE 에 helm + trivy + python3 + bash + git 가 설치된
|
|
# 이미지를 지정해야 한다. (Settings > Secrets and variables > Actions > Variables)
|
|
|
|
on:
|
|
workflow_dispatch:
|
|
inputs:
|
|
limit:
|
|
description: '대상 이미지 수 상한 (0=전체). 테스트 시 예: 3'
|
|
required: false
|
|
default: '0'
|
|
pull_request:
|
|
paths:
|
|
- 'manifests/helm/**'
|
|
schedule:
|
|
- cron: '0 18 * * 0' # 매주 일요일 18:00 UTC — 전체 스캔(신규 CVE 반영)
|
|
|
|
permissions:
|
|
contents: read
|
|
|
|
jobs:
|
|
sbom:
|
|
runs-on: ubuntu-latest
|
|
timeout-minutes: 120
|
|
container:
|
|
# helm+trivy+python3+bash+git 보유 이미지. doc/scripts/Dockerfile 로 빌드해 푸시한 뒤
|
|
# Repo Variable SBOM_PIPELINE_IMAGE 에 그 태그를 지정한다. (예: docker.io/wbsong111/sbom-pipeline:latest)
|
|
image: ${{ vars.SBOM_PIPELINE_IMAGE }}
|
|
env:
|
|
OUT_DIR: ${{ github.workspace }}/sbom-out
|
|
TRIVY_CACHE_DIR: ${{ github.workspace }}/sbom-out/cache
|
|
PARALLEL: '3'
|
|
steps:
|
|
- name: Preflight — 도구 확인
|
|
run: |
|
|
set -e
|
|
for t in helm trivy python3 bash git; do
|
|
command -v "$t" >/dev/null || { echo "::error::컨테이너에 $t 없음 (vars.SBOM_PIPELINE_IMAGE 확인)"; exit 1; }
|
|
done
|
|
helm version --short; trivy --version | head -1
|
|
|
|
- uses: actions/checkout@v4
|
|
with:
|
|
fetch-depth: 0 # PR 증분 diff 용
|
|
|
|
- name: git safe.directory
|
|
run: git config --global --add safe.directory "$GITHUB_WORKSPACE"
|
|
|
|
# 사설 레지스트리 인증: 시크릿으로 docker config.json 을 만들어 trivy 가 읽게 한다.
|
|
- name: 레지스트리 인증 구성
|
|
env:
|
|
DOCKERHUB_USER: ${{ secrets.DOCKERHUB_USER }}
|
|
DOCKERHUB_TOKEN: ${{ secrets.DOCKERHUB_TOKEN }}
|
|
NGC_API_KEY: ${{ secrets.NGC_API_KEY }}
|
|
run: |
|
|
mkdir -p "$OUT_DIR/.docker"
|
|
python3 - <<'PY'
|
|
import os, json, base64
|
|
auths={}
|
|
def add(reg,user,secret):
|
|
if user and secret:
|
|
auths[reg]={"auth":base64.b64encode(f"{user}:{secret}".encode()).decode()}
|
|
add("https://index.docker.io/v1/", os.environ.get("DOCKERHUB_USER"), os.environ.get("DOCKERHUB_TOKEN"))
|
|
# docker.getcollate.io(openmetadata)는 Docker Hub 프록시 → 익명 pull 시 Docker Hub rate
|
|
# limit(TOOMANYREQUESTS)에 걸린다. Docker Hub 자격증명으로 인증해 해소.
|
|
add("docker.getcollate.io", os.environ.get("DOCKERHUB_USER"), os.environ.get("DOCKERHUB_TOKEN"))
|
|
add("nvcr.io", "$oauthtoken", os.environ.get("NGC_API_KEY"))
|
|
out=os.path.join(os.environ["OUT_DIR"],".docker","config.json")
|
|
json.dump({"auths":auths}, open(out,"w"))
|
|
print("configured registries:", list(auths.keys()) or "(none)")
|
|
PY
|
|
echo "DOCKER_CONFIG=$OUT_DIR/.docker" >> "$GITHUB_ENV"
|
|
|
|
- name: 이미지 인벤토리 추출
|
|
run: bash doc/scripts/extract-helm-images.sh "$GITHUB_WORKSPACE/manifests/helm" "$OUT_DIR"
|
|
|
|
- name: PR 증분 — 변경 차트만 대상 축소
|
|
if: github.event_name == 'pull_request'
|
|
run: |
|
|
changed=$(git diff --name-only "origin/${{ github.base_ref }}...HEAD" -- manifests/helm/ \
|
|
| awk -F/ 'NF>=3{print $3}' | sort -u)
|
|
if [ -z "$changed" ]; then echo "변경 차트 없음 — 스캔 생략"; : > "$OUT_DIR/images_scan.tsv"; else
|
|
echo "변경 차트:"; echo "$changed"
|
|
awk -F'\t' -v c="$(echo "$changed" | paste -sd'|' -)" '$1 ~ ("^("c")$")' \
|
|
"$OUT_DIR/images_final.tsv" > "$OUT_DIR/images_scan.tsv"
|
|
fi
|
|
wc -l "$OUT_DIR/images_scan.tsv"
|
|
|
|
- name: 스캔 대상 결정 (스케줄/수동=전체)
|
|
if: github.event_name != 'pull_request'
|
|
run: cp "$OUT_DIR/images_final.tsv" "$OUT_DIR/images_scan.tsv"
|
|
|
|
- name: SBOM 생성 (CycloneDX)
|
|
env:
|
|
LIMIT: ${{ github.event.inputs.limit || '0' }} # workflow_dispatch 테스트용 상한
|
|
run: |
|
|
if [ -s "$OUT_DIR/images_scan.tsv" ]; then
|
|
bash doc/scripts/generate-sbom.sh "$OUT_DIR/images_scan.tsv" "$OUT_DIR"
|
|
else
|
|
echo "대상 이미지 없음 — SBOM 생성 생략"; mkdir -p "$OUT_DIR/sbom"
|
|
fi
|
|
|
|
- name: 취약점 스캔 (SBOM 입력, 오프라인)
|
|
run: |
|
|
if ls "$OUT_DIR/sbom/"*.cdx.json >/dev/null 2>&1; then
|
|
bash doc/scripts/scan-sbom.sh "$OUT_DIR"
|
|
else
|
|
echo "SBOM 없음 — 스캔 생략"
|
|
fi
|
|
|
|
- name: Job Summary
|
|
if: always()
|
|
run: |
|
|
if [ -f "$OUT_DIR/trivy-summary.md" ]; then cat "$OUT_DIR/trivy-summary.md" >> "$GITHUB_STEP_SUMMARY"; fi
|
|
|
|
# 아티팩트 레이아웃 정리: 요약·인덱스는 최상위, 이미지별 상세 SBOM 은 sbom/ 하위.
|
|
# (절대경로로 업로드하면 v4 가 전체 경로트리를 보존하므로, 스테이징 후 상대경로로 업로드)
|
|
- name: 아티팩트 레이아웃 정리
|
|
if: always()
|
|
run: |
|
|
mkdir -p "$GITHUB_WORKSPACE/report/sbom"
|
|
cd "$OUT_DIR" 2>/dev/null || exit 0
|
|
# 최상위: 요약(md/tsv)·인덱스·병합 SBOM·실행 로그
|
|
for f in trivy-summary.md trivy-summary.tsv sbom-index.tsv catalog.cdx.json; do
|
|
[ -f "$f" ] && cp -f "$f" "$GITHUB_WORKSPACE/report/"
|
|
done
|
|
cp -f ./*.log "$GITHUB_WORKSPACE/report/" 2>/dev/null || true
|
|
# 하위 sbom/: 이미지별 CycloneDX 상세 (.err 제외)
|
|
cp -f sbom/*.cdx.json "$GITHUB_WORKSPACE/report/sbom/" 2>/dev/null || true
|
|
echo "=== report/ 최상위 ==="; ls -1 "$GITHUB_WORKSPACE/report"
|
|
echo "=== report/sbom 개수: $(ls -1 "$GITHUB_WORKSPACE/report/sbom" 2>/dev/null | wc -l) ==="
|
|
|
|
- name: 아티팩트 업로드
|
|
if: always()
|
|
uses: actions/upload-artifact@v4
|
|
with:
|
|
name: sbom-and-vuln-report
|
|
path: report # 상대경로 → 아티팩트 루트 = report/ 내용 (깔끔한 구조)
|
|
if-no-files-found: warn
|
|
|
|
# 선택: PR 에서 CRITICAL 발견 시 실패 게이트 (필요 시 주석 해제)
|
|
# - name: CRITICAL 게이트
|
|
# if: github.event_name == 'pull_request'
|
|
# run: |
|
|
# crit=$(awk -F'\t' '{s+=$3} END{print s+0}' "$OUT_DIR/trivy-summary.tsv" 2>/dev/null || echo 0)
|
|
# echo "CRITICAL 합계: $crit"; [ "$crit" -eq 0 ] || { echo "::error::CRITICAL $crit 건"; exit 1; }
|