HAZEL

aws 서비스에서, 데이터를 insert 가 아닌, dataframe으로 한번에 넣는 방법으로 'awswrangler' 모듈이 존재한다. 만약, awswrangler 를 사용하지 않는다면, 아래와 같이, insert into 구문을 사용해야 하며, 많은 데이터를 넣기 위해서는 for 문을 해야하는 매우 비 효율적인 방식을 사용해야한다. cur = get_Redshift_connection() sql = "BEGIN; DELETE FROM {schema}.{table};".format(schema=schema, table=table) sql += f"""INSERT INTO {schema}.{table} VALUES ( '2022-01-01', 1);""" sql += "END;" cur.execute(s..

파이썬 코드로, s3에 있는 대용량 데이터를 가져오는 코드 aws에서 iam에서 만들기 # 필요한 모듈 import import boto3 2. s3에 접근 : 같은 vpc 나 보안 그룹에 포함되어있는 aws 서버에서는 aws_key 를 입력하지 않아도 되지만, 로컬에서 작업하기 위해서는 아래와 같이 키를 넣어줘야한다. 관련 키 만드는 부분은 다른 글에 정리할 예정이다. # s3 에 접근하기 위해서 코드 작성 s3 = boto3.client('s3' ,aws_access_key_id='aws에서 iam에서 만들기' ,aws_secret_access_key='aws에서 iam에서 만들기') 3. 데이터 가져오기 : 그냥 몇개 가져오도록 작업할 수 있지만, 한번에 1000개씩이 아닌, 많은 데이터를 가져오기..