전체 글
-
2025 회고일상 2025. 12. 31. 10:41
이번 2025년은 다사다난 했던 한 해 였다.그러나 대부분의 어려운 일들이 자연스럽게 해결되어갔고 현재는 32년 살아가면서 가장 편안하고 안정된 삶을 살아가고 있다.이번 년도는 크게 업무의 변경, 회사의 합병, 결혼 준비가 있었다. 1. 업무의 변경원래 나의 업무는 데이터 플랫폼 백엔드 개발을 했었다.그러나 KT 내부에서 AI 로의 전환을 진행한다고 KT Nexr 합병을 추진했다.데이터에 대한 경험은 2년 반 정도 있었지만 AI 에 대한 지식은 전무했다.처음엔 나의 커리어가 어떻게 될 지 모른다는 불안감, 쌓아왔던 개발 역량의 감소 등 걱정이 태산이였다. 그렇게 KT Nexr 에서 KT 로의 회사 합병이 되었고 이번 년도 부터 AI Model Engineering 팀에서 일을 진행하게 되었다.처음엔 팀원..
-
Databricks certified data engineer associate 취득 후기(2024.08)Data Engineering 2024. 8. 10. 13:59
계기이번 자격증은 Databricsk 에서 발급하는 "Databricks certified data engineer associate"에 대해 얘기해보려고한다.내가 이 시험을 친 계기는 회사 사정으로 인해 Data Engineer 로 직무를 바꿔야하는 상황?이 왔다.처음엔 많은 고민이 되었지만 긴 인생 살아가면서 아주 작은 부분에 해당할 수 있고 이러한 경험을 언제할 수 있을지 모른다.그래서 Data Engineer 로 직무 변경의 기회를 잡았다. 현재 Datawarehouse Hadoop 클러스터의 모든 테이블을 Databricks - Azure 의 Datalake 로 이전하는 작업을 진행중이다.그러나 데이터 플랫폼 개발했어도 하둡과 Datalake 에 대해서는 생소하였다.어떤 방향성을 가지고 어떻게 ..
-
현대 사회를 어떻게 살아가야 할까?(출산, 교육, 인간 관계...)일상 2024. 6. 14. 10:13
최근 아주 긴 휴가를 사용하고 고향에 내려갔다.고향에 내려가 마을 사람들, 친한 친구들과 함께 좋은 시간을 보내며 다시 서울로 복귀하면서 느낀점을 기록하려한다. 나의 고향은 마산이다.마산도 옛날에 비하면 많이 발전했다는 느낌을 받는다.내가 학교를 다닐 때 카페라는 곳의 개념이 없었던 것 같다.친구들과 공원, 노래 연습장, PC방 등에 앉아서 같이 시간을 보내는게 즐겁고 일상이였다.그러나 현재는 아파트들이 많이 들어서고 그에 따른 인프라가 구축되어지고 있다.예를 들면 집 반경 5분 이내로 갈 수 있는 카페들이 여러 개 생기고 초등학교도 새로 지어지고 있는 모습을 볼 수 있었다.너무 좋으면서도 나의 추억들이 묻어있던 곳, 친구들과 함께 시간을 보내던 곳들이 없어진다는게 너무 안타깝고 쓸쓸했다.그래도 할머니,..
-
Conductor Error Report - Join 이후 Task 실행이 안되는 현상오픈소스 프로젝트 2024. 4. 24. 14:03
현상간헐적으로 Join 노드 이후 다음 Task 실행이 안되는 현상이 발생. 1차 시도(Zookeeper -> LocalOnly)Conductor 에서는 분산 환경에서 Lock 선택을 위한 Interface 를 제공합니다.- Lock: LocalOnlyLock, NoopLock, RedisLock, ZookeeperLock- application.properties 으로 타입 조정 가능#disable locking during workflow executionconductor.app.workflow-execution-lock-enabled=trueconductor.workflow-execution-lock.type=local_only 발생 에러 공통점은 Lock 획득 실패한 이후..