DAG (Directed acyclic graph)

DAG (Directed acyclic graph)

• Graph : Edge와 Node를 가진 구조
• Directed Graph : Graph에서 방향(direction)을 가진 구조
• Acyclic Graph : 순환 구조가 아닌 Graph
• Directed Acyclic Graph : 순환 구조가 아닌 방향(direction)을 가진 구조
• 간단하게 생각을 하면 순환 구조가 아닌 데이터의 워크 플로우

Spark에서의 DAG Scheduler

• RDD operation을 통해 DAG가 정의각 되고 TaskScheduler(Yarn 등)을 이용하여 데이터를 처리 한다

Referecne

• https://en.wikipedia.org/wiki/Directed_acyclic_graph
  
• http://simpledbs.blogspot.com/2017/03/understanding-beauty-of-sparks-job.html