본문 바로가기

전체 글

 (170)
embulk 설정 파일에서 변수, include 사용하는 방법 embulk 설정 파일에서 include 기능, 변수 사용하는 방법에 대해 간단히 정리. You can embed environment variables in configuration file using Liquid template engine(This is experimental feature. Behavior might change or be removed in future releases). To use template engine, configuration file name must end with.yml.liquid. Environment variables are set toenvvariable. 홈페이지에 소개되었듯 Liquid 템플릿 엔진이 제공하는 기능을 이용하면 되는데 우선 include..
[java]embulk plugin 수정 사용 트릭 공개된 embulk jsonpath plugin 소스를 수정해서 로컬에서 사용하는 간단한 방법 정리. 주. 특정 플러긴 수정 경험에 한정된거라 공통 사용 가능 여부는 보장할 수 없음. 급박한 상황 아니라면 embulk plugin 개발 가이드 읽어 보고 도전하는게 정신 건강에 좋을 듯. embulk 이용한 from Rest API to DB 간단 예 1. 제목 관련 본론 들어가긴 전 사전 메모. 간단한 테스트는 해봤고 실 적용에 필요하리하 예상되는 부분을 우선 구글링해보았다. 파이프라인 in - out -> in - out -> ... embulk 만으로 파이프라인 간단히 구성하는 방법은 못 찾았다. airflow 를 이용한 방법이 몇 개 있던데 지금 과제에서는 배보다 배꼽이 더 커지는 셈이라 제외. h..
embulk 이용한 from Rest API to DB 간단 예 embulk 로 간단한 요구 사항 하나 해결해보면서 쉬운 사용법과 괜찮은 성능 맛 본 김에 또다른 작업에 활용해보려고 테스트 중. 외부 업체에서 Rest 방식으로 제공하는 데이터를 받아서 DB 에 저장하는 작업인데 Rest 클라이언트 만들어 처리하는게 그리 어려운 작업은 아니지만 별다른 추가 개발 없이 DB 저장 성능까지 충분히 보장된다는 면에서 충분히 검토해볼만 가치 있다고 판단해서 착수. github.com/takumakanari/embulk-input-http 딱히 마땅한 레퍼런스가 안 찾아져서 우선 보이는 위 플러그인을 이용해보기로 했다. % embulk gem install embulk-input-http github 에 있는 설정 파일 샘플을 이용해서 테스트 실행해보면 'ParserPlugin..
참조 라이브러리들의 라이센스 일괄 확인법(pom.xml) maven 프로젝트 시 다음 명령으로 pom.xml 로 관리하는 라이브러리들의 라이센스를 일목요연하게 확인 가능. % mvn project-info-reports:dependencies 실행 후 target/site/dependencies.html 파일 확인하면 됨.
[팁]Caddy 실행 오류 수정 및 wsl 명령어 사용법 윈도우 장비에서 웹 서버 띄워서 간단한 테스트해 볼 일 있을 때 워낙 가볍고 설정 쉬워서 Caddy 를 가끔씩 사용했었다. Caddy : Caddy 2 is a powerful, enterprise-ready, open source web server with automatic HTTPS written in Go 내 컴에서 그럴 일 생겨서 설치, 실행했는데 아래 같은 에러 나면서 실행이 안된다. % caddy run run: loading initial config: loading new config: starting caddy administration endpoint: listen tcp 127.0.0.1:2019: bind: An attempt was made to access a socket in..
embulk 이용한 oracle -> mariaDB 데이터 벌크 이행 oracle DB 테이블 데이터를 mariaDB 로 이행할 일 있어서 python/pandas 로 간단히 만들었는데 multi insert 하게끔 해도 600만건 처리하는데 30분을 족히 넘어간다. 개선할 방법이야 여럿 있겠지만 거 붙잡고 있을 시간 없어서 주위 엔지니어분들께 수소문해보니 oracle -> BigQuery 이행 작업 위해 embulk 쓰는 중인데 성능 괜찮다길래 후다닥 사용해봤다. www.embulk.org/ Embulk Pluggable, Multi-source/destination, Open-sourced Bulk Data Loader to/from databases, storages, file formats, cloud services, ... www.embulk.org 설치해보니 ..
vagrant 로 생성한 VirtualBox VM에 ssh 접속 vagrant 를 이용해서 VirtualBox 에서 VM 프로비져닝 한 후 k8s master 와 node 구성 테스트하던 중에 잠깐 메모. % vagrant ssh-config 표시되는 정보 중 port, IdentityFile 명 확인. MobaXterm 을 사용 중이라면 Tools > MobaKeyGen 클릭(물론 putty 쓴다면 puttygen 을 이용해도 되고). KeyGenerator 창 뜨면 'Load' 버튼 눌러서 앞에서 확인한 IdentityFile 을 선택. 테스트용이라 특별히 보안 신경 쓰지 않아도 된다면 그냥 'Save private key' 버튼 눌러서 생성된 키 파일 저장. MobaXterm 에서 새 세션 설정창 열고 host 는 127.0.0.1, 포트는 앞에서 확인한 포트값..
Helm chart repository deprecation 관련 메모 Kubernetes 훌훌 훑으며 오다보니 Helm 까지 왔다. 우선 공식 가이드에 나온대로 설치. $ curl -fsSL -o get_helm.sh https://raw.githubusercontent.com/helm/helm/master/scripts/get-helm-3 $ chmod 700 get_helm.sh $ ./get_helm.sh 참고하는 책('쿠버네티스 마스터 2/e')에 다음 단계로 tiller 설치하기 위해 'helm init' 실행하라고 해서 따라했더니 'init' 이 'unknwon command' 란다. 아무 생각없이 따라한거다 보니 Helm 3버전 설치한거였고 버전 3부터는 tiller, init 등 deprecated 되었단다. 번거로운 tiller 빌드/설치 단계가 없어졌으니..

티스토리툴바