목록데이터프레임을 Redshift로 한번에 넣는 방법 (1)

HAZEL

[awswrangler] 데이터프레임을 Redshift로 한번에 넣는 방법

aws 서비스에서, 데이터를 insert 가 아닌, dataframe으로 한번에 넣는 방법으로 'awswrangler' 모듈이 존재한다. 만약, awswrangler 를 사용하지 않는다면, 아래와 같이, insert into 구문을 사용해야 하며, 많은 데이터를 넣기 위해서는 for 문을 해야하는 매우 비 효율적인 방식을 사용해야한다. cur = get_Redshift_connection() sql = "BEGIN; DELETE FROM {schema}.{table};".format(schema=schema, table=table) sql += f"""INSERT INTO {schema}.{table} VALUES ( '2022-01-01', 1);""" sql += "END;" cur.execute(s..
DATA ENGINEERING/AWS 2022. 4. 13. 20:43
이전 Prev 1 Next 다음