Question 1

클라이언트 요청이 없는 유휴 클러스터에서 RustFS가 지속적인 네트워크 트래픽과 CPU 부하를 발생시키는 이유는 무엇인가요?

Accepted Answer

이 문제는 tier 프리 버전 복구 스캐너로 인해 발생합니다: 원격 tier가 구성되어 있지 않은 경우에도(`admin/v3/tier`가 `[]`를 반환) 선출된 복구 리더가 루트부터 모든 버킷을 재귀적으로 순회하면서 모든 피어로부터 `xl.meta`(인라인 객체 데이터 포함)를 스트리밍합니다. 증상: 리더 노드가 피어로부터 10-15 MB/s의 트래픽을 수신하고 약 1개의 CPU 코어를 사용하며, 각 버킷에 대해 `GET /rustfs/rpc/walk_dir` 호출(`recursive: true`, `base_dir: ""`)이 반복됩니다. 이 부하는 `tier-free-version-recovery/leader.lock` 선출을 따라다니며 파드가 재시작되면 다른 노드로 이동합니다.

우회 방법(RustFS 1.0.3에서 검증됨): 다음 환경 변수를 설정하여 복구 스윕을 비활성화합니다:

```
RUSTFS_TIER_FREE_VERSION_RECOVERY_ENABLED=false
```

리더 노드에서 측정된 결과: 인바운드 트래픽이 9.3 MB/s에서 0.28 MB/s로 감소했고 rustfs CPU가 0.77 코어에서 0.05 코어로 감소했습니다. 참고: `RUSTFS_HEAL_OBJECT_SELECT_PROB=0`은 힐링에만 영향을 미치므로 이 부하를 중단시키지 않습니다. 프리 버전은 원격 tier 없이는 존재할 수 없으므로, 실제로 원격 tier를 구성하는 경우에만 스윕을 다시 활성화하십시오.

Question 2

RustFS에서 S3 버킷 정책을 적용할 때 발생하는 "invalid key name: 's3:ObjectCreationOperation'" 오류를 해결하는 방법

Accepted Answer

이 오류는 PR #8671 이전의 RustFS 버전이 AWS 조건 키 `s3:ObjectCreationOperation`을 인식하지 못하기 때문에 발생하며, 이 키가 포함된 모든 정책은 파싱에 실패합니다. PR #8671이 포함된 빌드로 RustFS를 업그레이드하세요. 해당 PR은 모든 `s3:PutObject` 권한 부여 시 이 키를 서버에서 파생된 Bool 값으로 추가합니다. 멀티파트 스테이징 작업(CreateMultipartUpload, UploadPart, UploadPartCopy)의 경우 `false`이고, 실제 객체 쓰기(PutObject, CopyObject, CompleteMultipartUpload, POST Object)의 경우 `true`입니다. 서버에서 파생된 값이므로 어떤 요청 헤더나 자격 증명 클레임도 이 값을 제공하거나 재정의할 수 없습니다. 업그레이드 후에는 AWS 문서에 설명된 정책 형태를 사용하여 멀티파트 업로드를 계속 허용하면서도 조건부 쓰기(`If-None-Match: *`, 즉 생성 전용, 덮어쓰기 불가)를 강제할 수 있습니다:

[
  {
    "Effect": "Allow",
    "Action": "s3:PutObject",
    "Resource": "arn:aws:s3:::bucket/*",
    "Condition": { "Null": { "s3:if-none-match": "false" } }
  },
  {
    "Effect": "Allow",
    "Action": "s3:PutObject",
    "Resource": "arn:aws:s3:::bucket/*",
    "Condition": { "Bool": { "s3:ObjectCreationOperation": "false" } }
  }
]

참고: 전체 조건부 쓰기 예제에는 `s3:if-none-match` 조건 키도 필요하며, 이 키는 PR #8615를 통해 별도로 추가됩니다.

Question 3

버전 관리가 활성화된 버킷에서 Multi-Object Delete(DeleteObjects)가 성공적으로 수행된 후에도 DeleteBucket이 BucketNotEmpty 오류로 실패하는 이유는 무엇인가요?

Accepted Answer

근본 원인: 명시적 `VersionId`를 사용하여 **삭제 마커**를 대상으로 한 `DeleteObjects`가 해당 삭제를 버전 삭제가 아닌 마커 쓰기로 처리하는 버그. API는 성공을 반환했지만 마커는 그대로 남았으며, 삭제 마커는 콘텐츠로 간주되므로 `DeleteBucket`이 `The bucket you tried to delete is not empty` 오류와 함께 실패합니다. 이 버그는 (a) 하나의 배치에 동일한 키의 삭제 마커 버전이 여러 개 포함된 경우(첫 번째 이후의 마커는 무시됨), 또는 (b) 대기 중인 버전 삭제 복제로 인해 마커가 소스에 유지되는 경우에 발생합니다.

**수정:** PR #8854가 포함된 RustFS 빌드로 업그레이드하세요. 이 PR은 명시적 마커 `VersionId` 삭제를 AWS S3 `DeleteObjects` 사양에 따라 일반 버전 삭제 경로를 통해 처리합니다. 회귀 테스트(즉시 목록 조회 + 버킷 삭제, 중복 ID, 크래시 복구)가 수정 후 통과했습니다.

**패치되지 않은 버전에서의 해결 방법:**
1. 삭제 재전송: 마커의 `VersionId`를 사용해 `POST /bucket?delete`를 재시도하거나, 개별 `DELETE /bucket/object?versionId=<marker-id>` 요청을 보내세요.
2. 삭제 마커가 남아 있지 않을 때까지 `ListObjectVersions`를 폴링한 다음(비동기 정리로 인해 마커가 지연 후 사라질 수 있음) `DeleteBucket`을 호출하세요.
3. 동일한 키에 대한 중복 삭제 마커 버전이 포함된 배치는 피하고, 이를 별도의 `DeleteObjects` 호출로 분할하세요.
4. 복제 환경에서는 버킷을 삭제하기 전에 버전 삭제 복제가 완료될 때까지 기다리세요.

Question 4

DeleteObjects가 객체별 ETag 매칭(PreconditionFailed)을 사용한 S3 조건부 삭제를 지원하나요?

Accepted Answer

네, S3 DeleteObjects API에 대한 ETag 기반 조건부 대량 삭제가 구현되었으며, 10월 15일 PR #8535를 통해 main 브랜치에 병합되었습니다. 그러나 이 기능은 1.0.4 정식 릴리스에는 포함되어 있지 않으며, 해당 릴리스는 main의 모든 변경 사항을 포함하고 있지 않습니다. 지금 사용하려면 main 브랜치에서 빌드하거나 배포해야 합니다. 유지 관리자들은 테스트 라운드를 거친 후 다음 정식 릴리스(1.0.4 이후)에 이 기능을 출시할 계획입니다. 이 기능이 제공되면 객체의 ETag가 조건과 일치하는 경우에만 객체가 삭제되며, 그렇지 않으면 API는 PreconditionFailed를 반환합니다. 이는 AWS S3의 조건부 삭제 동작과 일치하며 안전한 동시 삭제를 가능하게 합니다.

Question 5

REST catalog를 통해 Iceberg rewrite_manifests를 실행할 때 발생하는 'row-level snapshot operation requires deleted data files or added delete files' 오류를 해결하는 방법

Accepted Answer

이것은 REST 카탈로그 v1.0.1-preview.5의 서버 측 버그로, rewrite_manifests 커밋을 행 수준 작업으로 잘못 검증하여 거부합니다. 해결 방법: 카탈로그 서버를 v1.0.2로 업그레이드하면 `CALL catalog.system.rewrite_manifests(table => 'db.table')`이 성공합니다. v1.0.3은 피하세요 — 회귀(regression)로 인해 데이터가 변경되지 않았더라도 rewrite_manifests가 'manifest referenced data file is missing' 오류로 다시 실패합니다. 이 프로시저에 의존한다면 v1.0.2를 유지하세요. 대안으로, 이 커밋 검증 버그가 없는 Lakekeeper와 같은 다른 REST 카탈로그 구현을 사용하세요.

rustfs

주요 기능

할 수 없는 것

사용 사례

태그

시작하기

유사한 프로젝트