인호의 IT 잡동사니

Redshift COPY 명령어S3에 있는 CSV, JSON 데이터를 이용하여 Redshift에 데이터를 올린후 데이터를 분석을 하고자 할때 COPY 명령어를 사용을 하면 된다. 활용 방법- 엑셀에 저장이 되어 있는 데이터를 CSV 파일로 저장을 한뒤 Redshift로 테이블을 생성 및 데이터를 입력 받아 다른 데이터와 함께 데이터를 분석을 할수가 있다. 참고자료- https://docs.aws.amazon.com/ko_kr/redshift/latest/dg/r_COPY.html- https://docs.aws.amazon.com/ko_kr/redshift/latest/dg/copy-parameters-data-source-s3.html필요한 데이터- Table Name : 테이블 이름- Data sou..

MySQL 기본 Query 정리실제 DB를 다루다보면 Select/Update/Delete/Insert 및 Join이외에 컬럼 수정 및 인덱스 추가 등의 쿼리를 사용하게 된다. 관련된 내용을 간단하게 정리해보자index 추가하기create index [index_name] on [table_name] ([column_name], ...); create unique index [index_name] on [table_name] ([column_name], ...); 테이블 컬럼 보기desc [tableName] 테이블의 사이즈 및 인덱스 사이즈 확인하기show table status from [dbname] lentgh 사이즈 단위는 byte실행 계획explain[Query...] 컬럼 추가하기alter ..

Cassandra Model Design Exampleshttps://www.datastax.com/dev/blog/basic-rules-of-cassandra-data-modelingNoSQL 특성상 RDMS의 기능중 하나인 index를 활용하기가 힘들다.데이터 중복을 허용하고 Partiton Key, Sort Key 를 이용하여 데이터를 핸들링할수 잇도록 한다.다양한 조건에 맞는 데이터 찾기, group by 기능, order by 기능ExampleIndex, Look-up Tableuser tableuser에 대한 lookup 테이블 만들기username으로 검색이 필요하다, email로 검색이 필요하다 등CREATE TABLE users ( id uuid PRIMARY KEY, username t..

커버링 인덱스커버링 인덱스란 인덱스만 이용해서 데이터를 추출할수 있는 인덱스를 의미합니다. 인덱스에서만 데이터를 추출하기 때문에 Disk I/O를 발생시키지 않고 데이터를 쉽게 가지고 올수가 있다.사용 예Order By 쿼리(a, b) index가 존재한다면 a에 조건을 걸고, b를 정렬하는 쿼리를 성능을 높일수가 있다.SELECT a, b FROM tbl WHERE a > 1 AND a

Timestamp and DatetimeDatetime날짜와 시간를 표현문자열(String) 형태로 저장Timestamp숫자(int) 형태로 저장시간의 지점(point)1970-01-01 00:00:01 부터 총 지난 시간을 second로 표현32bit 제한으로 인해 범위가 '1970-01-01 00:00:01' UTC to '2038-01-09 03:14:07' UTC로 제한Referencehttp://www.unixtimestamp.com/

SubQuery 활용JoinQuerySELECT C.co_cd, C.district, SUM(emp_nbr) as sum_empFROM Comapnies CINNER JOIN Shops SON c.co_cd = S.co_cdWHERE main_flg = 'Y'GROUP BY c.co_cd결합을 먼저 수행회사테이블과 사업소 테이블의 결합(join)를 먼저 수행하고, 결과를 Group by를 적용해서 집약SubQuerySELECT C.co_cd, C.district, CSUM.sum_empFROM Comapnies CINNER JOIN ( SELECT co_cd, SUM(emp_nbr) as sum_emp FROM Shops WHERE main_flg = 'Y' GROUP BY co_cd) CSUMON C...

Database Isolation LevelREAD UNCOMMITTED(dirty read)다른 트랜잭션이 Commit 전 상태를 볼 수 있음 Binary Log가 자동으로 Row Based로 기록됨 (Statement설정 불가, Mixed 설정 시 자동 변환)READ-COMMITTEDCommit된 내역을 읽을 수 있는 상태로, 트랜잭션이 다르더라도 특정 타 트랜잭션이 Commit을 수행하면 해당 데이터를 Read할 수 있음 Binary Log가 자동으로 Row Based로 기록됨 (Statement설정 불가, Mixed 설정 시 자동 변환)REPEATABLE READMySQL InnoDB 스토리지 엔진의 Default Isolation Level Select 시 현재 데이터 버전의 Snapshot을 ..