목록대용량데이터가져오기 (1)

HAZEL

[S3] 파이썬으로 S3에 접근해서, 대용량 데이터 가져오기

파이썬 코드로, s3에 있는 대용량 데이터를 가져오는 코드 aws에서 iam에서 만들기 # 필요한 모듈 import import boto3 2. s3에 접근 : 같은 vpc 나 보안 그룹에 포함되어있는 aws 서버에서는 aws_key 를 입력하지 않아도 되지만, 로컬에서 작업하기 위해서는 아래와 같이 키를 넣어줘야한다. 관련 키 만드는 부분은 다른 글에 정리할 예정이다. # s3 에 접근하기 위해서 코드 작성 s3 = boto3.client('s3' ,aws_access_key_id='aws에서 iam에서 만들기' ,aws_secret_access_key='aws에서 iam에서 만들기') 3. 데이터 가져오기 : 그냥 몇개 가져오도록 작업할 수 있지만, 한번에 1000개씩이 아닌, 많은 데이터를 가져오기..
DATA ENGINEERING/AWS 2022. 3. 25. 12:33
이전 Prev 1 Next 다음