#!/usr/bin/env bash # ============================================================================= # generate-sbom.sh # extract-helm-images.sh 가 만든 이미지 인벤토리(images_final.tsv)의 각 이미지에 # 대해 **컨테이너 내부에 설치된 `trivy` 바이너리**로 CycloneDX SBOM 을 생성한다. # # 실행 환경: helm/trivy/python3 가 설치된 리눅스 컨테이너 내부(직접 호출). # 이미지는 trivy 가 원격 pull → 분석 후 SBOM 작성. 취약점 스캔은 이후 scan-sbom.sh # 가 이 SBOM 을 입력으로 오프라인 수행한다(이미지 재pull 불필요). # # 사용: # bash doc/scripts/extract-helm-images.sh . . # 선행: images_final.tsv 생성 # bash doc/scripts/generate-sbom.sh images_final.tsv . # SBOM 생성 # # 인자: # $1 이미지 소스. images_final.tsv(TSV 3열: chart⇥version⇥image) 또는 이미지 1줄씩 텍스트. # $2 출력 디렉토리 (기본: 현재 디렉토리) # # 환경변수: # PARALLEL 1차 동시 생성 개수 (기본 3) # RETRY_PARALLEL 재시도 동시 개수 (기본 1) # RETRIES 실패 이미지 재시도 횟수 (기본 1) # LIMIT 대상 이미지 수 상한 (기본 0 = 전체) # TRIVY_CACHE_DIR trivy 캐시 디렉토리 (미설정 시 trivy 기본 ~/.cache/trivy) # TRIVY_TIMEOUT 이미지당 분석 타임아웃 (기본 15m — 대용량 이미지 여유) # MERGE=1 cyclonedx CLI 가 있으면 catalog.cdx.json 병합 생성 (선택) # 사설 레지스트리 인증: trivy 네이티브 방식 사용 — # - 단일 레지스트리: TRIVY_USERNAME / TRIVY_PASSWORD # - 다중 레지스트리: DOCKER_CONFIG(=docker config.json 이 있는 디렉토리) 또는 ~/.docker/config.json # # 산출물 ($2 기준): # sbom/.cdx.json 이미지별 CycloneDX SBOM # sbom-index.tsv chart⇥version⇥image⇥status⇥seconds⇥sbom_file # sbom-gen.log 실행 로그 # catalog.cdx.json (MERGE=1 + cyclonedx CLI 존재 시) 전체 병합 SBOM # # 요구사항(컨테이너 내부): trivy, python3, bash. (선택) cyclonedx # ============================================================================= set -uo pipefail command -v trivy >/dev/null || { echo "!! trivy 바이너리가 없습니다 (컨테이너에 설치 필요)" >&2; exit 127; } command -v python3 >/dev/null || { echo "!! python3 가 없습니다" >&2; exit 127; } PARALLEL="${PARALLEL:-3}" RETRY_PARALLEL="${RETRY_PARALLEL:-1}" RETRIES="${RETRIES:-1}" LIMIT="${LIMIT:-0}" TRIVY_TIMEOUT="${TRIVY_TIMEOUT:-15m}" # 대용량 이미지(예: openmetadata) 분석 여유 [ -n "${TRIVY_CACHE_DIR:-}" ] && export TRIVY_CACHE_DIR # trivy 가 네이티브로 인식 ts() { date -u +%Y-%m-%dT%H:%M:%SZ; } # --- 내부 모드: 이미지 1개 SBOM 생성 (xargs 병렬 워커가 재귀 호출) --------------- # 인자: --gen-one if [ "${1:-}" = "--gen-one" ]; then img="$2"; sbomdir="$3"; log="${4:-/dev/null}" safe="$(printf '%s' "$img" | tr '/:@' '___')" out="$sbomdir/$safe.cdx.json" t0=$(date +%s) # --cache-backend memory : 분석 캐시를 메모리에 두어 공유 캐시 디렉토리의 bolt 잠금 충돌 방지(병렬 안전). # --skip-db-update : DB 는 메인 모드에서 1회 워밍했으므로 읽기만. if trivy image --quiet --cache-backend memory --skip-db-update \ --format cyclonedx --timeout "$TRIVY_TIMEOUT" --output "$out" "$img" 2>"$out.err"; then dur=$(( $(date +%s) - t0 )) if [ -s "$out" ]; then line="$(printf '%s\tOK\t%s\t%s' "$img" "$dur" "$out")" else rm -f "$out"; line="$(printf '%s\tERROR:empty-sbom\t%s\t' "$img" "$dur")"; fi else dur=$(( $(date +%s) - t0 )) reason="$(tr '\n' ' ' < "$out.err" | grep -oiE '(unauthorized|not found|no such|manifest unknown|denied|timeout|unexpected eof|failed to)[^.]*' | head -1)" [ -z "$reason" ] && reason="sbom failed" rm -f "$out" line="$(printf '%s\tERROR:%s\t%s\t' "$img" "${reason:0:50}" "$dur")" fi printf '%s\n' "$line" st="$(printf '%s' "$line" | cut -f2)" printf '%s %-6s %5ss %s\n' "$(ts)" "${st%%:*}" "$dur" "$img" >> "$log" exit 0 fi # --- 메인 모드 -------------------------------------------------------------- SRC="${1:?이미지 소스 파일(images_final.tsv 또는 이미지 목록)을 지정하세요}" OUT_DIR="${2:-$(pwd)}" SELF="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)/$(basename "${BASH_SOURCE[0]}")" SBOM_DIR="$OUT_DIR/sbom" INDEX="$OUT_DIR/sbom-index.tsv" LOG="$OUT_DIR/sbom-gen.log" RESULTS="$OUT_DIR/.sbom-results.tsv" mkdir -p "$SBOM_DIR"; : > "$RESULTS" fmt_elapsed() { printf '%dm %02ds' $(($1/60)) $(($1%60)); } if awk -F'\t' 'NR==1{exit !(NF>=3)}' "$SRC"; then IMAGES="$(cut -f3 "$SRC" | sed -E 's/^["'"'"']+|["'"'"']+$//g' | grep -vE '^$' | sort -u)" else IMAGES="$(sed -E 's/^["'"'"']+|["'"'"']+$//g' "$SRC" | grep -vE '^$' | sort -u)" fi [ "$LIMIT" -gt 0 ] && IMAGES="$(printf '%s\n' "$IMAGES" | head -n "$LIMIT")" N="$(printf '%s\n' "$IMAGES" | grep -c .)" RUN_START=$(date +%s) { echo "===================================================================" echo "SBOM GEN START : $(ts)" echo "trivy : $(trivy --version 2>/dev/null | head -1) format: cyclonedx" echo "parallel: $PARALLEL (retry: $RETRY_PARALLEL x$RETRIES)" echo "images : $N cache: ${TRIVY_CACHE_DIR:-~/.cache/trivy}" echo "===================================================================" } | tee "$LOG" >&2 # DB 1회 사전 다운로드(워밍). 이후 워커는 --skip-db-update 로 읽기만 하여 동시 갱신 충돌 방지. echo ">> [$(ts)] DB 워밍 중..." | tee -a "$LOG" >&2 DB_START=$(date +%s) trivy image --download-db-only >>"$LOG" 2>&1 \ || { echo "!! DB 다운로드 실패" | tee -a "$LOG" >&2; exit 1; } echo ">> [$(ts)] DB 워밍 완료 ($(fmt_elapsed $(( $(date +%s) - DB_START ))))" | tee -a "$LOG" >&2 echo ">> [$(ts)] SBOM 1차 생성 (parallel=$PARALLEL)" | tee -a "$LOG" >&2 P1=$(date +%s) printf '%s\n' "$IMAGES" \ | xargs -P "$PARALLEL" -I{} bash "$SELF" --gen-one {} "$SBOM_DIR" "$LOG" \ >> "$RESULTS" echo ">> [$(ts)] 1차 완료 ($(fmt_elapsed $(( $(date +%s) - P1 ))))" | tee -a "$LOG" >&2 attempt=0 while [ "$attempt" -lt "$RETRIES" ]; do attempt=$((attempt+1)) FAILED="$(comm -23 \ <(awk -F'\t' '$2!="OK"{print $1}' "$RESULTS" | sort -u) \ <(awk -F'\t' '$2=="OK"{print $1}' "$RESULTS" | sort -u))" nf="$(printf '%s\n' "$FAILED" | grep -c .)" [ "$nf" -eq 0 ] && { echo ">> [$(ts)] 재시도할 실패 없음" | tee -a "$LOG" >&2; break; } echo ">> [$(ts)] 재시도 $attempt/$RETRIES — 실패 ${nf}개 (parallel=$RETRY_PARALLEL)" | tee -a "$LOG" >&2 printf '%s\n' "$FAILED" \ | xargs -P "$RETRY_PARALLEL" -I{} bash "$SELF" --gen-one {} "$SBOM_DIR" "$LOG" \ >> "$RESULTS" done # --- 인덱스 확정: images_final.tsv(chart,version,image) 와 조인 -------------- python3 - "$RESULTS" "$SRC" > "$INDEX" <<'PY' import sys, os results, src = sys.argv[1], sys.argv[2] best={} for l in open(results): p=l.rstrip("\n").split("\t") if len(p)<3: continue img=p[0] if p[1]=="OK" or img not in best or best[img][0]!="OK": best[img]=(p[1], p[2] if len(p)>2 else "", p[3] if len(p)>3 else "") rows=[]; seen=set() try: for l in open(src): c=l.rstrip("\n").split("\t") if len(c)>=3 and c[2]: img=c[2].strip('"\'' ) st,sec,f=best.get(img,("MISSING","","")) rows.append((c[0],c[1],img,st,sec,os.path.basename(f))); seen.add(img) except Exception: pass for img,(st,sec,f) in best.items(): if img not in seen: rows.append(("","",img,st,sec,os.path.basename(f))) for r in sorted(rows): print("\t".join(r)) PY TOTAL=$(( $(date +%s) - RUN_START )) printf '%s' "$TOTAL" > "$OUT_DIR/.sbom-gen-seconds" 2>/dev/null || true # scan-sbom 요약에서 단계별 시간 표시용 OKN=$(awk -F'\t' '$4=="OK"' "$INDEX" | wc -l | tr -d ' ') ERRN=$(awk -F'\t' '$4!="OK" && $4!=""' "$INDEX" | wc -l | tr -d ' ') # --- 선택: catalog.cdx.json 병합 (cyclonedx CLI 존재 시) --------------------- if [ "${MERGE:-0}" = "1" ]; then if command -v cyclonedx >/dev/null; then echo ">> [$(ts)] catalog.cdx.json 병합" | tee -a "$LOG" >&2 files=$(cd "$SBOM_DIR" && ls *.cdx.json 2>/dev/null) if [ -n "$files" ]; then ( cd "$SBOM_DIR" && cyclonedx merge --input-files $files --output-file "$OUT_DIR/catalog.cdx.json" ) >>"$LOG" 2>&1 \ && echo ">> catalog.cdx.json 생성" | tee -a "$LOG" >&2 \ || echo "!! 병합 실패(선택 단계) — 개별 SBOM 은 정상" | tee -a "$LOG" >&2 fi else echo "!! MERGE=1 이나 cyclonedx CLI 없음 — 병합 생략" | tee -a "$LOG" >&2 fi fi { echo "===================================================================" echo "SBOM GEN END : $(ts) TOTAL: $(fmt_elapsed "$TOTAL") 성공/실패: $OKN / $ERRN" echo "SBOM: $SBOM_DIR/ 인덱스: $INDEX" echo "===================================================================" } | tee -a "$LOG" >&2 rm -f "$RESULTS"