간단한 java spark 코드를 pyspark 으로 전환 개발했다.
잡파일 빼고 코드만 카운트 해보니,
1500줄 -> 150줄
33개 파일 -> 2개 파일
성능은,
1000코어 90분 -> 300코어 60분
어둠의 흑마법이나 슈퍼울트라 요술 라이브러리를 사용하지는 않았다.
자바나 스프링이 생산성이 낮고 느리다는 이야기가 절대 아니다. 오히려 생산성이 높고 성능이 좋을 것이다.
뭔가.. 뭔가.. 요즘의 코딩의 컬처 문화가... 그.. 아련한... 어.. 음.. 내가 뭘 안다꼬..