인호의 IT 잡동사니

Redshift COPY 명령어S3에 있는 CSV, JSON 데이터를 이용하여 Redshift에 데이터를 올린후 데이터를 분석을 하고자 할때 COPY 명령어를 사용을 하면 된다. 활용 방법- 엑셀에 저장이 되어 있는 데이터를 CSV 파일로 저장을 한뒤 Redshift로 테이블을 생성 및 데이터를 입력 받아 다른 데이터와 함께 데이터를 분석을 할수가 있다. 참고자료- https://docs.aws.amazon.com/ko_kr/redshift/latest/dg/r_COPY.html- https://docs.aws.amazon.com/ko_kr/redshift/latest/dg/copy-parameters-data-source-s3.html필요한 데이터- Table Name : 테이블 이름- Data sou..

Queue로 사용되는 Kafka의 기본 유틸 Shell Command에 대해서 알아보자. 생성./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test 리스트 보기./bin/kafka-topics.sh --list --zookeeper localhost:2181 메세지 생성하기./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test 메세지 소비하기./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from..

Busy Waiting바쁜 대기는 공유 자원에 대한 권한 획득이 아주 빠른 시간 내에 이루어질 수 있다는 확신이 있는 상황 또는 뮤텍스나 세마포어 등의 동기화 객체등을 이용하기에는 그 오버헤드가 큰 상황에서 간단히 쓸 수 있다. 반면, 단순한 우선순위 스케줄링 혹은 FCFS(First-come First-served) 스케줄링 기반의 단일 프로세서 시스템에서는 바쁜 대기를 적용할 때에 시스템에 행(hang)이 걸릴 수도 있다. 따라서 이것은 멀티 프로세서 환경에서 사용하는 것이 바람직하며, 또한 바쁜 대기로 권한을 얻어서 공유자원을 이용하는 데에는 매우 짧은 시간동안의 연산만을 수행하고 곧바로 그 권한을 풀어 놓아야 한다는 제한이 있다. static void *f1(void *p) { while (i==..

MySQL 기본 Query 정리실제 DB를 다루다보면 Select/Update/Delete/Insert 및 Join이외에 컬럼 수정 및 인덱스 추가 등의 쿼리를 사용하게 된다. 관련된 내용을 간단하게 정리해보자index 추가하기create index [index_name] on [table_name] ([column_name], ...); create unique index [index_name] on [table_name] ([column_name], ...); 테이블 컬럼 보기desc [tableName] 테이블의 사이즈 및 인덱스 사이즈 확인하기show table status from [dbname] lentgh 사이즈 단위는 byte실행 계획explain[Query...] 컬럼 추가하기alter ..

image lazy loading웹에 이미지가 많은 경우 로딩으로 인해 페이지가 제때 뜨지 않는 경우가 있을수 있다. 이런 경우를 방지하기 늦게(lazy) 이미지를 로딩하는 기법을 이용하여 페이지 로딩을 빠르게하는 방법이다. 직접 구현을 해서 사용할수 있지만 여기서는 open source 중에 하나인 belazy.js, lazyload를 이용해서 알아보자.blazyhttp://dinbror.dk/blazy/ var bLazy = new Blazy({ breakpoints: [{ width: 420 // Max-width , src: 'data-src-small' }] , success: function(element){ setTimeout(function(){ // We want to remove the..

Cassandra Model Design Exampleshttps://www.datastax.com/dev/blog/basic-rules-of-cassandra-data-modelingNoSQL 특성상 RDMS의 기능중 하나인 index를 활용하기가 힘들다.데이터 중복을 허용하고 Partiton Key, Sort Key 를 이용하여 데이터를 핸들링할수 잇도록 한다.다양한 조건에 맞는 데이터 찾기, group by 기능, order by 기능ExampleIndex, Look-up Tableuser tableuser에 대한 lookup 테이블 만들기username으로 검색이 필요하다, email로 검색이 필요하다 등CREATE TABLE users ( id uuid PRIMARY KEY, username t..

커버링 인덱스커버링 인덱스란 인덱스만 이용해서 데이터를 추출할수 있는 인덱스를 의미합니다. 인덱스에서만 데이터를 추출하기 때문에 Disk I/O를 발생시키지 않고 데이터를 쉽게 가지고 올수가 있다.사용 예Order By 쿼리(a, b) index가 존재한다면 a에 조건을 걸고, b를 정렬하는 쿼리를 성능을 높일수가 있다.SELECT a, b FROM tbl WHERE a > 1 AND a

AWS ELB (Elastic Load Balancing)클래식 로드 밸런서4계층 또는 7계층 로드 밸런스4계층 (TCP)7계층 (HTTP/HTTPS)HTTP/1.0, HTTP/1.1어플리케이션 로드 밸런서콘텐츠 기반 라우팅호스트 기반 라우팅경로 기반 라우팅7계층 로드 밸런스HTTP/0.9, HTTP/1.0, HTTP/1.1, HTTP/2Http HeaderCLBX-Forwarded-ForX-Forwarded-ProtoX-Forwarded-PortALBX-Forwarded-ForX-Forwarded-ProtoX-Forwarded-PortHostX-Amzn-Trace-IdUpgradeConnectionHeader SizeRequest line: 16KSingle header: 16KWhole header:..

Application Docker PID 1번으로 실행하기Docker에 실행하고 있는 애플리케이션을 Graceful Shutdown하게 종료시키기 위해서는 실행하는 애플리케이션의 PID가 1번으로 반드시 되어 있어야 된다. 1번 PID Process를 하는 방법을 단순하다. 실행하는 지점마다 exec 명령어를 사용하면 된다.Exampleexec (shell... comamand)

Akka Cluster시작하기전에 Gradle 라이브러리 추가compile group: 'com.typesafe.akka', name: 'akka-cluster_2.12', version: '2.5.6'Simple Configurationapplication.confakka { actor { # cluster mode로 실행을 의미 provider = "cluster" } # 원격 접근을 위한 설정 remote { log-remote-lifecycle-events = off netty.tcp { # local로 실행할때에는 127.0.0.1이지만 실제 배포시에는 hostname을 변경해줘야된다. hostname = "127.0.0.1" # 0 - Random Port port = 0 } } # 클러스터 ..