의견 보내기
DataprocFileOutputCommitter로 Spark 작업 실행
컬렉션을 사용해 정리하기
내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요.
DataprocFileOutputCommitter 기능은 오픈소스 FileOutputCommitter
의 고급 버전입니다. 출력 위치에 대한 Apache Spark 작업의 동시 쓰기를 사용 설정합니다.
제한사항
DataprocFileOutputCommitter
기능은 다음 이미지 버전으로 생성된 Dataproc Compute Engine 클러스터에서 실행되는 Spark 작업을 지원합니다.
2.1 이미지 버전 2.1.10 이상
2.0 이미지 버전 2.0.62 이상
DataprocFileOutputCommitter
사용
이 기능을 사용하려면 다음 안내를 따르세요.
2.1.10
또는 2.0.62
이상의 이미지 버전을 사용하여 Compute Engine 클러스터에 Dataproc를 만듭니다 .
클러스터에 Spark 작업을 제출 할 때 spark.hadoop.mapreduce.outputcommitter.factory.class=org.apache.hadoop.mapreduce.lib.output.DataprocFileOutputCommitterFactory
및 spark.hadoop.mapreduce.fileoutputcommitter.marksuccessfuljobs=false
를 작업 속성으로 설정합니다.
gcloud dataproc jobs submit spark \
--properties=spark.hadoop.mapreduce.outputcommitter.factory.class=org.apache.hadoop.mapreduce.lib.output.DataprocFileOutputCommitterFactory,spark.hadoop.mapreduce.fileoutputcommitter.marksuccessfuljobs=false \
--region=REGION \
other args ...
sc.hadoopConfiguration.set("spark.hadoop.mapreduce.outputcommitter.factory.class","org.apache.hadoop.mapreduce.lib.output.DataprocFileOutputCommitterFactory")
sc.hadoopConfiguration.set("spark.hadoop.mapreduce.fileoutputcommitter.marksuccessfuljobs","false")
Dataproc 파일 출력을 커밋한 사용자는 동시 쓰기 중에 생성된 성공 마커 파일 간의 충돌을 방지하기 위해 spark.hadoop.mapreduce.fileoutputcommitter.marksuccessfuljobs=false
를 설정해야 합니다.
또한 spark-defaults.conf
에서 이 속성을 설정할 수 있습니다.
의견 보내기
달리 명시되지 않는 한 이 페이지의 콘텐츠에는 Creative Commons Attribution 4.0 라이선스 에 따라 라이선스가 부여되며, 코드 샘플에는 Apache 2.0 라이선스 에 따라 라이선스가 부여됩니다. 자세한 내용은 Google Developers 사이트 정책 을 참조하세요. 자바는 Oracle 및/또는 Oracle 계열사의 등록 상표입니다.
최종 업데이트: 2023-12-12(UTC)
[{
"type": "thumb-down",
"id": "hardToUnderstand",
"label":"Hard to understand"
},{
"type": "thumb-down",
"id": "incorrectInformationOrSampleCode",
"label":"Incorrect information or sample code"
},{
"type": "thumb-down",
"id": "missingTheInformationSamplesINeed",
"label":"Missing the information/samples I need"
},{
"type": "thumb-down",
"id": "translationIssue",
"label":"번역 문제"
},{
"type": "thumb-down",
"id": "otherDown",
"label":"기타"
}]
[{
"type": "thumb-up",
"id": "easyToUnderstand",
"label":"이해하기 쉬움"
},{
"type": "thumb-up",
"id": "solvedMyProblem",
"label":"문제가 해결됨"
},{
"type": "thumb-up",
"id": "otherUp",
"label":"기타"
}]
의견을 전달하고 싶나요?
{"lastModified": "\ucd5c\uc885 \uc5c5\ub370\uc774\ud2b8: 2023-12-12(UTC)"}
[[["이해하기 쉬움","easyToUnderstand","thumb-up"],["문제가 해결됨","solvedMyProblem","thumb-up"],["기타","otherUp","thumb-up"]],[["Hard to understand","hardToUnderstand","thumb-down"],["Incorrect information or sample code","incorrectInformationOrSampleCode","thumb-down"],["Missing the information/samples I need","missingTheInformationSamplesINeed","thumb-down"],["번역 문제","translationIssue","thumb-down"],["기타","otherDown","thumb-down"]],["최종 업데이트: 2023-12-12(UTC)"]]