분류 전체보기
-
[23.12.18] 로컬 데이터 레이크 만들기블로그 번역 2023. 12. 18. 10:09
데이터 레이크는 정형 및 비정형을 변환없이 저장 할 수 있는 저장소이다. 클라우드 회사들은 데이터 레이크 인프라 및 툴을 제공한다. 예를 들면 AWS에서 제공하는 Athena는 S3 Storage + Presto SQL 기반으로 동작한다. 우리는 인프라 및 툴을 직접 구축하는 간단한 실습을 해 볼 예정이다. 실습 3개의 구성 요소 1. Storage Layer: MinIO(S3 대체) S3를 대체할 수 있는 MinIo를 이용하여 스토리지 레이어를 구성한다. 이것은 온프레미스 환경의 데이터레이크를 구축하게 도와준다. 물론 MinIO말고 다른 오픈소스들도 활용 할 수 있다. 2. Mapping File and Directory to Table: Hive Metastore Mariadb를 사용한다. Hive ..
-
2023.12.16(연말 회고)일상 2023. 12. 16. 20:49
오랜만에 블로그 글을 써본다. 2023년도 정리 및 2024년도 계획을 정리해보려 한다. 이제 30살이 된다. 내가 20대에 꿈꾸던 30대는 벌써 결혼하고 아이가 생기고 멋지게 살고 있을거라 생각했다. 그러나 중간중간의 나의 결정들이 계획들을 늦추었다. 그래서 2024년을 더 열심히 살아야겠다는 생각이 든다. 2023년 성취한 것 1. 회사에서 전문 분야를 가진 것 2. 주변 팀 동료들에게 도움이 된다는 것 3. 반금연 4. 외부 교육 이수(NextStep) 위의 목록들을 보면서 내가 이번 년도는 회사에 집중을 많이 했구나라고 느꼈다. 그래도 나름 회사에서 인정을 받았고 내년 진급평가가 기대가 된다. 그리고 제일 중요한 부분은 같이 일하는 동료에게 신뢰를 심어줬다는 것이다. 이런 부분이 모이면 다음에 큰..
-
2022.08.01(새로운 시작)일상 2022. 8. 1. 20:11
나의 인생은 항상 봄과 여름에 고통과 시련이 오면 가을과 겨울엔 좋은 일들만 가득했다. 그런데 고통스럽고 힘든 건 잘 극복했다. 그러나 이번에는 인생에서 처음 큰 실패를 겪었다. 물론 누군가가 봤을 땐 그 정도 실패가지고 너무 상실하는거 아니야? 그럴 수도 있지. 온 힘을 다하고 처음 겪는 실패에 너무나 흔들렸었다. 아무것도 하지 못하고 고향으로 도망치듯이 내려와 많은 생각을 하였다. 그 누구의 위로도 채울 수 없었다. 다시는 그 때의 느낌으로 돌아가기 싫다.. 그로부터 3개월이 지난 지금은 많이 안정되고 다시 모든 것을 할 수 있다는 용기가 생겼다. 그리고 난 퇴사할 때 말했던 "방향성"을 잡고 나아가고 있다. 지나고 나면 참 좋은 경험인데 그 땐 왜 그리 힘들던지... 이번일로 한 층 더 성숙해진 나..
-
Spring-Cloud-Config서버Back-end/Spring 2021. 12. 17. 22:42
문제 무중단 배포를 하려고 하면 로드 밸런서 하나에 서버가 최소 2개 이상은 필요로합니다. 그렇다면 저희는 서버를 4개 운영하고 있습니다. 하나하나 설정파일을 Git Pull해서 서버중단 후 배포해야할까요? 물론 이러한 불편함은 감수할 수 있지만 큰 문제점이 있습니다. 바로 코드와 설정 파일이 서로 의존성을 가지고 있어 설정파일 내용을 바꾸려고 하면 무조건 서버를 끄고 다시 실행해야하는 불편함이 있습니다. 아래 대표적인 예시를 들겠습니다. @Value("${username}") pritvate String username; 위의 @Value어노테이션은 환경설정 파일의 값을 정해놓고 읽어오는 변수입니다. 만약 서버의 admin권한을 가지려면 위의 필드에 값이 꼭 들어가야하는 경우 이름을 계속 필요할 때 바..