전체 글
-
Databricks certified data engineer associate 취득 후기(2024.08)Data Engineering 2024. 8. 10. 13:59
계기이번 자격증은 Databricsk 에서 발급하는 "Databricks certified data engineer associate"에 대해 얘기해보려고한다.내가 이 시험을 친 계기는 회사 사정으로 인해 Data Engineer 로 직무를 바꿔야하는 상황?이 왔다.처음엔 많은 고민이 되었지만 긴 인생 살아가면서 아주 작은 부분에 해당할 수 있고 이러한 경험을 언제할 수 있을지 모른다.그래서 Data Engineer 로 직무 변경의 기회를 잡았다. 현재 Datawarehouse Hadoop 클러스터의 모든 테이블을 Databricks - Azure 의 Datalake 로 이전하는 작업을 진행중이다.그러나 데이터 플랫폼 개발했어도 하둡과 Datalake 에 대해서는 생소하였다.어떤 방향성을 가지고 어떻게 ..
-
현대 사회를 어떻게 살아가야 할까?(출산, 교육, 인간 관계...)일상 2024. 6. 14. 10:13
최근 아주 긴 휴가를 사용하고 고향에 내려갔다.고향에 내려가 마을 사람들, 친한 친구들과 함께 좋은 시간을 보내며 다시 서울로 복귀하면서 느낀점을 기록하려한다. 나의 고향은 마산이다.마산도 옛날에 비하면 많이 발전했다는 느낌을 받는다.내가 학교를 다닐 때 카페라는 곳의 개념이 없었던 것 같다.친구들과 공원, 노래 연습장, PC방 등에 앉아서 같이 시간을 보내는게 즐겁고 일상이였다.그러나 현재는 아파트들이 많이 들어서고 그에 따른 인프라가 구축되어지고 있다.예를 들면 집 반경 5분 이내로 갈 수 있는 카페들이 여러 개 생기고 초등학교도 새로 지어지고 있는 모습을 볼 수 있었다.너무 좋으면서도 나의 추억들이 묻어있던 곳, 친구들과 함께 시간을 보내던 곳들이 없어진다는게 너무 안타깝고 쓸쓸했다.그래도 할머니,..
-
Conductor Error Report - Join 이후 Task 실행이 안되는 현상오픈소스 프로젝트 2024. 4. 24. 14:03
현상간헐적으로 Join 노드 이후 다음 Task 실행이 안되는 현상이 발생. 1차 시도(Zookeeper -> LocalOnly)Conductor 에서는 분산 환경에서 Lock 선택을 위한 Interface 를 제공합니다.- Lock: LocalOnlyLock, NoopLock, RedisLock, ZookeeperLock- application.properties 으로 타입 조정 가능#disable locking during workflow executionconductor.app.workflow-execution-lock-enabled=trueconductor.workflow-execution-lock.type=local_only 발생 에러 공통점은 Lock 획득 실패한 이후..
-
Clean Architecture 코드로 구현하며 이해하기카테고리 없음 2024. 4. 7. 20:11
개요 클린 아키텍처, 헥사고날 아키텍처 등 많은 책들이 존재하고 코드들이 존재한다. 각자의 방식으로 클린 아키텍처를 구현하고 네이밍도 다양하게 구성할 수 있다. 난 Github 을 돌아다니며 어떤 구성 및 분리가 가장 좋은 아키텍처일까? 라고 찾던 중 좋은 코드 예제를 발견했다. 그것을 참조하여 간단한 Workflow 실행하는 APP 을 만들어봤다. 만들면서 느낀 부분과 고민에 대해서 정리하고 기록한다. 일단 클린 아키텍처, DDD 등의 개념은 외부 세계로부터의 도메인(서비스) 코드가 영향을 받지않아야한다. 즉 "써드 파티 서비스의 변경이 도메인 코드 변경을 만들어서는 안된다"라는 말이다. 가능할까? 직접 코드를 구성해보면서 이야기하자. 순서 1: 모듈 분리하기 내가 읽은 책들의 예제들은 Mono Re..