Search

Amazon Q Developer 데이터 엔지니어링

대분류
DevOps/Tool
소분류
AWS
유형
GenAI+Data Foundation
부유형
Amazon Q Developer
최종 편집 일시
2025/04/03 05:12
생성 일시
2025/04/03 04:02
14 more properties

개요

•
데이터 엔지니어링을 위해 Glue, EMR, Lambda, 머신러닝을 위한 Feature engineering을 하시는 분들도 Amazon Q Developer을 사용하는 방법
•
AWS Glue에서 Developer를 이용한 데이터엔지니어링 실습

Glue Overview

•
Serverless data integration service

Components 3D

•
Discover
•
Develop
•
Deploy

Catalog

•
휴리스틱하게 판단
•
S3 Bucket hierarchy → Table Definition
•
스키마를 이해한 후 카탈로그 테이블로 저장
•
모든 데이터 Asset에 대한 메타데이터를 저장하는 중앙 저장소
•
데이터 변경 추적 가능
•
서비스 간에 데이터에 대한 공통 뷰를 가질 수 있다.

ETL (Studio)

ETL Job - Visual ETL

•
내부적으로 Pyspark를 짜는 것
•
Amazon Q Developer을 통해서 Spark Script를 생성할 수 있다.
•
Preview로 해당 단계에 대한 추적 및 확인 가능

Glue + AWS Q

•
Spark의 구조를 좀 알아야지 가능
•
Q는 마법사(Assistant)의 역할만 해줌.

Accelerate Building SQL reports in Amazon Redshift

Redshift: 완전 관리형 데이터 웨어하우스 (DWH: Data Warehouse)