티스토리

힘껏차라

검색하기

블로그 홈

힘껏차라

tzara.tistory.com/m

tzara 님의 블로그입니다.

구독자: 1

방명록 방문하기

주요 글 목록

jdk 17 에서 spark 애플리케이션 실행 시 IllegalAccessError 해결법 제목 그대로 jdk 17 이상에서 spark 애플리케이션 실행 시 아래와 같은 에러 발생한다면 Exception in thread "main" java.lang.IllegalAccessError: class org.apache.spark.storage.StorageUtils$ (in unnamed module ...) cannot access class sun.nio.ch.DirectBuffer (in module java.base) because module java.base does not export sun.nio.ch to unnamed module ... 해결법. 실행 시 vm 옵션으로 '--add-exports java.base/sun.nio.ch=ALL-UNNAMED' 추가해주면 (내 경우에.. 공감수 0 댓글수 0 2022. 7. 5.
Kafka cmd 간편 사용 위한 batch 스크립트 작은 뇌용량 탓에 가끔씩 kafka 명령어 쓰려고 할 때마다 구글링하는게 귀찮아서 간단한 배치 스크립트 만들어보았습니다. @echo off set BROKER=KAFKA_IP set CURR_PATH=%cd% set KAFAK_BIN=KAFKA_HOME\bin\windows cd %KAFAK_BIN% :start set t= cls echo. echo ============================== echo 1. producer echo 2. consumer echo 3. topic list echo 4. topic describe echo H. kafka cmd cheat sheet echo 0. Exit echo ============================== echo. set /p x.. 공감수 0 댓글수 0 2022. 6. 22.
[python, julia]python 에서 julia 스크립트 파일 실행하기 예전에 julia 구현 해놓았던걸 python 에서 호출해서 써야할 일이 생겨서. 검색해보니 python에서 julia 콜하려면 PyJulia, julia에서 python 콜 하려면 PyCall 사용하면 된다고 해서. 우선 PyJulia 설치. https://github.com/JuliaPy/pyjulia % pip install julia 설치 후 그냥 import julia 해서 테스트해보려니 모듈 인식 못하고 에러. 일단 위 링크의 페이지에 나온대로 julia.install() 구문을 소스에 넣고 실행해보니 julia 에 PyCall 을 포함한 라이브러리들을 설치하는게 보인다. 그리고 뭔가 된다 ㅎ import julia julia.install() from julia import Main t1 =.. 공감수 0 댓글수 0 2022. 5. 20.
[Kotlin]Kotlin, Spring boot, Reactive Programming 조합으로 간단한 Rest API 구현해보기 Kotlin으로 Reactive Programming 개념 익혀보려다 엄한 짓 해본 후 사내 개발자들과 공유하려고 기록했던 것 옮겨 적어본다. --- 시작 --- - Rest API 구현 : Kotlin, Spring boot, Reactive Programming(R2DBC) ## 프로젝트 생성. start.spring.io 에서 kotlin-gradle 프로젝트 선택해서 build.gradle.kts 파일이 생성. - xml 제약을 넘어서기 위해 groovy 스크립트 활용 가능한 gradle 이 나왔는데 코트린 풀젝에서는 여기서 한 걸음 더 나아가 코틀린 스크립트(kts)를 사용할 수 있다. 아래는 java 17, jpa, reactive(r2dbc), postgresql 를 사용하기 위한 기본적인 .. 공감수 0 댓글수 0 2022. 5. 20.
[java]r2dbc 와 jpa/jdbc 같이 사용 시 에러 해결법 R2DBC 와 jpa/jdbc 를 같이 사용할 일이 생겨서 설정 변경 후 실행하는 과정에서 몇 가지 문제에 부딪혔다. Interoperability between R2DBC and JPA/JDBC configurations #28025 완벽한 해결책은 아닐 듯 싶지만 위 이슈 페이지 참고해서 급한 문제는 아래 방식으로 해결. ( 당연히 설정 파일에 r2dbc, jpa/jdbc 용 설정 두 가지 다 해줘야 하고 이건 별다를거 없으니 생략. ) 1. '... Repository' that could not be found' 또는 'Reactive Repositories are not supported by JPA' 에러 R2DBC 와 JPA/JDBC 용 repository 를 같은 패키지 내에 배치하면 둘 .. 공감수 0 댓글수 0 2022. 5. 10.
[go] postgresql 연동 테스트용 go 코딩 샘플 외부 서버에 postgresql 설치 후 원격 접속 확인 하기 위해 프로그램 급조. 원격 접속 확인하기 위해 DB 클라이언트 툴 설치한다거나 테스트용 프로그램 실행 환경을 추가 설치(가령 jre 같은거)한다는게 어려운 여건이어서 근 이 년여 넘게 안써서 기초 문법 조차 다 잊어먹은 go 언어를 간만에 소환. 소스 빌드해서 실행 파일 하나와 db 정보 설정 위한 yaml 파일, 이렇게만 배포하면 되도록 구생했고 접속 확인 및 권한 부여 제대로 되었나 확인하는 차원에서 임시 테이블 생성, insert, select 후 결과 출력, 임시 테이블 drop 순으로 동작하도록 구현. 온라인에서 필요한 기능들의 샘플 코드 찾아 조합한거고 구문도 설명 필요 없을 정도로 간단한지라 코딩했다 하기 민망하지만 애매한 테스트.. 공감수 0 댓글수 0 2022. 4. 20.
[python]엑셀 파일에서 데이터 추출해서 소스 생성하기 사내 자바 개발자들에게 공유한 가벼운 팁 옮겨 적어 봅니다. 엑셀 파일에서 추출한 정보로 템플릿 엔진을 이용하여 소스 파일을 만들어주는 python 프로그램을 만들어보았습니다(이하에서는 평어체로) 사용 라이브러리 : jinja2 (템플릿 엔진), openpyxl(엑셀 라이브러리) 1. JSON RPC i/f 스펙을 정의해놓은 엑셀 파일이 있다. 2. 엑셀 파일에는 시트별로 각 메시지에 대한 기본 정보와 JSON 형태의 메시지에 포함되는 속성들에 대한 정보가 기술되어 있다. 내가 해야할 작업은 다음과 같다. 2에 정의된 속성 정보들 중 '속성명', '데이터 타입(길이)'로 DB 테이블 생성 DDL 스크립트 작성, JPA 를 쓰기 때문에 메시지별 엔티티 파일 작성. 메시지 종류가 늘어나니 수작업으로 하던 이.. 공감수 0 댓글수 0 2022. 4. 14.
[kotlin]애기 걸음, reactive 구구단 프로그램 처음 배울 때 다들 한 번쯤 해보는 구구단 코딩을 해봤습니다 ㅎ import io.reactivex.rxjava3.core.Observable import io.reactivex.rxjava3.kotlin.subscribeBy fun main(args: Array) { val observable = Observable.range(2,8) observable.flatMap { number -> Observable.create { it.onNext("$number Times Table") for (i in 1..9) { it.onNext(" $number * $i = ${i * number}") } it.onComplete() } }.subscribeBy ( onNext = { item -> pri.. 공감수 0 댓글수 0 2022. 4. 4.
Spark Dataframe, Dataset Dataframes 와 Datasets 에 대해 잘 설명해놓은 글 발견한 김에 메모. A Deep Dive Into Spark Datasets and DataFrames Using Scala 글 요약은 나중으로 미루고 메모 하는 김에. 덤 1. https://phoenixnap.com/kb/rdd-vs-dataframe-vs-dataset RDD DataFrame Dataset Release version Spark 1.0 Spark 1.3 Spark 1.6 Data Representation Distributed collection of elements. Distributed collection of data organized into columns. Combination of RDD and DataF.. 공감수 0 댓글수 0 2022. 3. 28.
[Java]Spring Cloud Stream 에서 Kafka 메시지 헤더 이용하는 방법 외 Kafka 메시지 처리를 위해 Spring Cloud Stream 을 이용하고 있고 Spring Cloud Stream 3.* 대로 올리면서 functional style 로 기존 소스 수정했었던 얘기 예전에 간단하게 적은 적 있었었다. 메시지 추가된게 있어서 간만에 코딩하게 되었는데 기존 메시지 포맷과 다른 몇 가지 점(json 배열 타입, nested 구조 등) 있어서 관련해서 메모해본다. 기존 메시지 포맷 { "key1": "val1", "key2": "val2", ... } 추가된 메시지 포맷 [ { "key1": "val1", "key2": "val2", "group1" : { ... }, "group2": { ... }, ... }, { "key1": "val1", "key2": "val2",.. 공감수 0 댓글수 0 2021. 11. 19.
[Julia]DataFrame 이용한 간단한 데이터 조작 예 작업 요청이 하나 들어 왔는데 이전이라면 java 나 python 으로 할 일이지만, 연휴에 가볍게 Julia 자료본 후에 다시 접할 기회 못 잡았던지라 learn by doing 차원에서 julia 로 간단히 구현 도전해봤다. DataFrames 을 이용하여 데이터 처리를 해봤고 대량 데이터 DB 저장을 위해 pandas 의 to_sql 과 같은 함수 찾아보았으나 결국 못 찾고 페북의 julia korea 채널에서 도움 받아 간단히 구현했다. 본론으로 들어가서 가령 작업해야할 전체 데이터 중 shop_id : LA-12019, work_id : 103 인 건들만 추출한게 아래와 같다고 해보자(원래 요건을 설명하기 쉽게 변형한거라 컬럼명이나 구현 함수명 등이 쌩뚱 맞은건 양해해주시길). shop_id w.. 공감수 0 댓글수 0 2021. 10. 15.
[Julia]첫 공부는 이런 식으로 어떨런지 한가위 연휴 끄트머리에 뒹굴거리기도 지쳐 잠깐 Julia 맛보기 시도했는데 막 도전 시작해보려는 분들 위해 그래도 간단히 경험(?) 메모해봅니다. 어떤 IDE 쓸건가 처음에 늘 고민인데 온라인 매뉴얼 등에서는 보통 juno 또는 JuliaPro 부터 얘기하지만(둘 모두 Atom 기반) 이것들 거의 개발 중단하고 VS Code 확장 기능 쪽으로 가는 분위기이므로 선택지는 VS Code 나 jetbrains IDE 중 아무거에서나 julia 확장 기능 설치하는 방식 아니면 jupyter lab 에 julia 커널 추가해서 사용하는 방법으로 시작. https://julialang.org/learning/notebooks/ 에 보면 동영상 강좌들 목록 있습니다. Jane Herriman 이 진행하는 'Intro.. 공감수 0 댓글수 0 2021. 9. 27.
[julia]Decimal to Binary conversion julia 에서 십진수를 이진수로 변환하는 간단한 방법. string(n, base=2)) 그런데, 이걸 재귀함수로 재미나게 구현해 놨네요('Julia Bit by Bit' 중에서). function decToBin(n) if n > 0 decToBin(n ÷ 2) print("$(n % 2)") end end 조금 더 읽어본 김에 거듭제곱도 한 번. function power(x, n) pow = 1 if n > 0 n += 1 end for h = 2:n pow = pow * x end pow end function power1(x, n) if n == 0 return 1 end y = power1(x, n ÷ 2) y *= y if n % 2 == 0 return y end x * y end for.. 공감수 0 댓글수 0 2021. 9. 23.
r2dbc, DatabaseClient 첫 테스트 r2dbc 가 제공하는 녀석 중에 DatabaseClient 란게 있다는 걸 알게 되었는데 검색해서 처음 나온 샘플이 kotlin 으로 된 거라 재미 삼아 기존 자바 프로젝트에 쑤셔 넣어봤다. @RestController class MessageController (val dataBaseClient: DatabaseClient) { @GetMapping("/machs") fun get() = dataBaseClient.sql("select * from evt_mach") .map { t, u -> EvtMachRes(t.get("MACH_ID", String::class.java)!!, t.get("MACH_TP_CD", String::class.java)!!) } .all() } @JsonIgnoreP.. 공감수 0 댓글수 0 2021. 9. 17.
[Python, Rust]ConnectorX - load data from DBs in the fastest and most memory efficient way. https://github.com/sfu-db/connector-x 'ConnectorX enables you to load data from databases into Python in the fastest and most memory efficient way.' Rust 로 구현된 데이터 로딩 라이브러리. 문서만으로 보면 성능이 ... 문서화가 아직은 많이 부족. mariaDB만 일단 테스트 해봤는데 db uri 에 옵션 설정은 직접 안됨. 문서가 부족하니 다른 설정 방법이 있는지 아직 잘 모르겠음. read_sql 에서 컬럼값이 null 일 때 에러 발생(임시 방편으로 query 에서 ifnull 함수 쓰면 되긴 하지만) GitHub - sfu-db/connector-x: Fastest librar.. 공감수 0 댓글수 0 2021. 8. 31.
[Java]r2dbc 첫 테스트 마리아디비에서 포스그레로 넘어 가보려고 테스트 시작하는 김에 r2dbc 도 도전해보는 중. 처음이니 일단 무조건 돌아가게만 해보자는 각오로 삽질 시작. 삽질 메모 간단하게, 정확한 설명은 추후에 ... saveAll 쓸 때는 Flux 타입 리턴 값 지정해주어야 한다고 어디서 보고 그리 했는데 아무 짓을 안한다. repo.saveAll(..).subscribe(); 이런 식으로 subscribe() 해주니 동작은 하는데 이거 왜 되는지는 아직 모름. 'Reactive Relational Database Connectivity'니 subscribe 한 번 쯤 나와주는게 당연한거다라고 자위하고 곧장 고. 뭐 목표는 이해 보다 실행이니(고민보다 고!) 학습은 후에. saveAll 시 'Required ident.. 공감수 0 댓글수 0 2021. 7. 9.
[Java]spring-cloud-stream mqtt binder spring-cloud-stream 에서 mqtt binder 이용해본거 간단 메모. 구현 예는 조만간 정리해서 기록해보겠음 spring-cloud-stream 에 kafka 와 rabbitMQ binder 구현체는 제공되는데 mqtt binder 는 없어서 고민하다가 그나마 좀 간단한 spring integration 이용한 샘플이 있길래 참고해서 기능 구현은 했었다. 그런데, 뒷간 들어갈 때와 나올 때 사람 맘 달라진다고 막상 돌아가는거 보고 나니 기존 kafka 와 rabbitmq binder 이용해서 구현한 것과 일관성이 없는게 영 찜찜. https://github.com/sheunglaili/spring-cloud-stream-binder-mqtt 에 어떤 개인 개발자가 공개한 바인더 구현체가 .. 공감수 0 댓글수 0 2021. 7. 8.
Uber 의 PostgreSQL -> MySQL 전환이라는 오래 된 기사 보고 MariaDB 에서 PostgreSQL 로 전환하는거 고민하던 참에 관련 문제 더 깊이 고민하고 있는 회사 엔지니어 분에게 참조하시라고 보냈던 멜 내용 일부분 옮겨 적어본다. ---- 며칠 전 페북의 어떤 분 소개로 아래 글 보게 되었어요. 글 볼 땐 놓쳤는데 알고 보니 최근 글 아닌 2016년 거였더군요. https://eng.uber.com/postgres-to-mysql-migration/ 오래된 글이다 보니 요약 글들도 좀 있는 것 같던데 그 중 하나. https://sangwook.github.io/2016/09/13/uber-mysql-postgresql.html 그런데, 재미있는건 pg -> mysql 이전, 2012년도인가는 mysql -> pg 이렇게 변환 작업 했었던 역사 있다는거. 관.. 공감수 0 댓글수 0 2021. 6. 23.
[Java] FeignClient, no suitable HttpMessageConverter 에러 FastAPI 로 테스트용 API 서버 만들고 Spring Boot, Feign 이용해서 Rest Client 구현해서 기능 테스트는 마친 상태. 업체에서 API 테스트 서버 드디어 오픈했다고 연락와서 실제 연동 테스트 시작했는데 시작하자마자 에러 발생. 13:47:06.924 [http-nio-8080-exec-3] ERROR o.a.c.c.C.[.[.[.[dispatcherServlet](DirectJDKLog.java:175) - Servlet.service() for servlet [dispatcherServlet] in context with path [] threw exception [Request processing failed; nested exception is feign.codec.De.. 공감수 3 댓글수 1 2021. 6. 11.
[Java]Pair, Pair.of() 메서드에서 2개의 값을 리턴하는거 깔끔하게 구현할 방법 찾아보다가 발견한 글. Using Pairs in Java 1. 작업 중이던 프로젝트에서는 마침 springframework 에 Pair Class 란게 있길래 사용해보았다. import org.springframework.data.util.Pair Pair pair = Pair.of(2, "Two"); pair.getFirst(); pair.getSecond(); 2. 'Apache Commons' 의 Pair Class Doc 보니 getKey/Value 외에 getLeft/Right 도 있다. 테스트해보지 않아 뭔 차이 있으려나는 아직 잘 모르... 공감수 0 댓글수 0 2021. 6. 9.
[Java]Spring Cloud 에서 Kafka 인증 기능 사용 사내 내부망에서만 쓰는지라 Kafka에 인증 기능 적용하지 않고 설치, 사용해왔는데 이번에 외부 업체에서 제공하는 인증 기능 적용된 Kafka 에서 메시지 수신할 일 생겨서 작업한 거 메모. 사내 kafka(spring.cloud.stream.binders.kafka0), 외부 kafka(spring.cloud.stream.binders.kafka1) 각각 설정. 인증 방식으로 SASL/SCRAM 적용되어 있다고 해서 그것에 맞추에 configuration 과 jaas 설정. spring: cloud: stream: default-binder: kafka0 binders: kafka0: type: kafka environment: spring.cloud.stream.kafka.binder.brokers:.. 공감수 0 댓글수 0 2021. 6. 2.
오프라인 환경에서 Thunder Client 설치 Rest API 인터페이스 거의 처음 작업하게 된 동료 개발자에게 Postman 대신 소문만 접한 Thunder Client 소개해줬는데 외부 인터넷망 연결 안되는 환경에 설치해야 되는 상황이라기에 AS 차원에서 오프라인 환경에서 VS Code 익스텐션 설치하는 간단한 방법을 찾아서 알려주었다. 오프라인 설치 이리 쉬운걸 그동안 삽질 참 많이 했었다. https://www.vsixhub.com/vsix/55384/ VSIX 파일 다운로드. Command Palette (Ctrl+Shift+P) 에서 'Extensions: Install from VSIX' 실행. 다운로드한 vsix 파일 선택. 공감수 1 댓글수 0 2021. 6. 1.
Spring Cloud Stream - Annotation-based, Function based 혼용 현재까지의 결론은 '안된다'. 테스트해본 바로는 두 방식을 함께 적용하면 annotation 만 동작하고 functional 한 방식은 동작하지 않는다. 해법 찾으려고 시도해봤지만 공식 문서에서의 언급은 못 찾았고 아래 글 보고 일단 잠정적으로 혼용 시도는 중단. 'You cannot mix EnableBinding and functional model in the same application.' https://stackoverflow.com/questions/63862797/spring-cloud-stream-function-support-does-not-work 작년이었나 Spring Cloud Stream 3.* 대 올라가면서 functional style 도입되었다는 기사 보고 이전 짰던 소스 .. 공감수 0 댓글수 0 2021. 5. 18.
VIM 매크로 사용법 embulk 설정 파일 작업 중인데 input JSON 메시지가 종류가 많다보니 columns 정의해주는게 만만찮다. 각 메시지 샘플을 보고 일일이 타이핑하기 귀찮아서 간만에 vim 매크로 이용해본 김에 메모. 매크로 기본 사용법 이하 설명은 가독성 고려해서 'A'라는 매크로명으로 매크로 기록하고 사용한다고 가정. 이해하기 쉽게 매크로명이라고 했으나 정확히는 매크로가 저장될 register 주소로 a ~ z 사용 가능. 매크로 기록 qA -> 작업 -> q q 로 시작해서 q로 끝난다. 시작 q 다음은 매크로명. 레코딩 끝난 후 기록된 내용 보려면 reg(ister)명령을이용하면 된다. 가령 위 예에서 매크로명을 'A'라고 했으니 ':reg A' 라고 하면 된다. 매크로 실행 qA 3회 반복 실행 3qA.. 공감수 0 댓글수 0 2021. 4. 14.
embulk 설정 파일에서 변수, include 사용하는 방법 embulk 설정 파일에서 include 기능, 변수 사용하는 방법에 대해 간단히 정리. You can embed environment variables in configuration file using Liquid template engine(This is experimental feature. Behavior might change or be removed in future releases). To use template engine, configuration file name must end with.yml.liquid. Environment variables are set toenvvariable. 홈페이지에 소개되었듯 Liquid 템플릿 엔진이 제공하는 기능을 이용하면 되는데 우선 include.. 공감수 0 댓글수 0 2021. 4. 13.
[java]embulk plugin 수정 사용 트릭 공개된 embulk jsonpath plugin 소스를 수정해서 로컬에서 사용하는 간단한 방법 정리. 주. 특정 플러긴 수정 경험에 한정된거라 공통 사용 가능 여부는 보장할 수 없음. 급박한 상황 아니라면 embulk plugin 개발 가이드 읽어 보고 도전하는게 정신 건강에 좋을 듯. embulk 이용한 from Rest API to DB 간단 예 1. 제목 관련 본론 들어가긴 전 사전 메모. 간단한 테스트는 해봤고 실 적용에 필요하리하 예상되는 부분을 우선 구글링해보았다. 파이프라인 in - out -> in - out -> ... embulk 만으로 파이프라인 간단히 구성하는 방법은 못 찾았다. airflow 를 이용한 방법이 몇 개 있던데 지금 과제에서는 배보다 배꼽이 더 커지는 셈이라 제외. h.. 공감수 0 댓글수 0 2021. 4. 8.
embulk 이용한 from Rest API to DB 간단 예 embulk 로 간단한 요구 사항 하나 해결해보면서 쉬운 사용법과 괜찮은 성능 맛 본 김에 또다른 작업에 활용해보려고 테스트 중. 외부 업체에서 Rest 방식으로 제공하는 데이터를 받아서 DB 에 저장하는 작업인데 Rest 클라이언트 만들어 처리하는게 그리 어려운 작업은 아니지만 별다른 추가 개발 없이 DB 저장 성능까지 충분히 보장된다는 면에서 충분히 검토해볼만 가치 있다고 판단해서 착수. github.com/takumakanari/embulk-input-http 딱히 마땅한 레퍼런스가 안 찾아져서 우선 보이는 위 플러그인을 이용해보기로 했다. % embulk gem install embulk-input-http github 에 있는 설정 파일 샘플을 이용해서 테스트 실행해보면 'ParserPlugin.. 공감수 0 댓글수 0 2021. 3. 23.
참조 라이브러리들의 라이센스 일괄 확인법(pom.xml) maven 프로젝트 시 다음 명령으로 pom.xml 로 관리하는 라이브러리들의 라이센스를 일목요연하게 확인 가능. % mvn project-info-reports:dependencies 실행 후 target/site/dependencies.html 파일 확인하면 됨. 공감수 1 댓글수 0 2021. 3. 22.
[팁]Caddy 실행 오류 수정 및 wsl 명령어 사용법 윈도우 장비에서 웹 서버 띄워서 간단한 테스트해 볼 일 있을 때 워낙 가볍고 설정 쉬워서 Caddy 를 가끔씩 사용했었다. Caddy : Caddy 2 is a powerful, enterprise-ready, open source web server with automatic HTTPS written in Go 내 컴에서 그럴 일 생겨서 설치, 실행했는데 아래 같은 에러 나면서 실행이 안된다. % caddy run run: loading initial config: loading new config: starting caddy administration endpoint: listen tcp 127.0.0.1:2019: bind: An attempt was made to access a socket in.. 공감수 1 댓글수 0 2021. 3. 18.
embulk 이용한 oracle -> mariaDB 데이터 벌크 이행 oracle DB 테이블 데이터를 mariaDB 로 이행할 일 있어서 python/pandas 로 간단히 만들었는데 multi insert 하게끔 해도 600만건 처리하는데 30분을 족히 넘어간다. 개선할 방법이야 여럿 있겠지만 거 붙잡고 있을 시간 없어서 주위 엔지니어분들께 수소문해보니 oracle -> BigQuery 이행 작업 위해 embulk 쓰는 중인데 성능 괜찮다길래 후다닥 사용해봤다. www.embulk.org/ Embulk Pluggable, Multi-source/destination, Open-sourced Bulk Data Loader to/from databases, storages, file formats, cloud services, ... www.embulk.org 설치해보니 .. 공감수 0 댓글수 0 2021. 3. 16.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.