본문 바로가기

분류 전체보기

(18)
[WIP] percona toolkit 톺아보기
[WIP] tmp_table_size, max_heap_table_size 그리고 FreeLocalStorage
[WIP] High-performance data-pipeline vector https://github.com/vectordotdev/vector
[WIP] Fast Open-Source OLAP ClickHouse
SIEVE is Simpler than LRU:an Efficient Turn-Key Eviction Algorithm for Web Caches https://junchengyang.com/publication/nsdi24-SIEVE.pdf
[WIP] SIGTERM, SIGKILL 그리고 Continuous Delivery
[WIP] Python 병렬 처리를 통한 성능 개선 배경 Aurora RDS for MySQL 환경에서, json 컬럼을 murmurhash3 로 해싱하여 관리하게 되었습니다. 100억건이 넘는 데이터를 UPDATE 하는데 소요 시간이, 예상한 시간을 상회하고 있어 코드 개선이 필요합니다. 이에, 병렬 처리를 통해 마이그레이션 성능을 개선하기 위해 아래와 같은 레퍼런스를 학습하고 정리합니다. 레퍼런스 > https://docs.python.org/ko/3/library/multiprocessing.html > https://stackoverflow.com/questions/9786102/how-do-i-parallelize-a-simple-python-loop
[WIP] HyperLogLog 그리고 murmur3 > MurMurHash > HyperLogLog
Partitioning 여부가 INSERT 쿼리 실행에 미치는 영향 배경 때로는 RDS 테이블에, 일단위로 억 건에 가까운 데이터가 저장되곤 합니다. 이에, 하나의 테이블에 INSERT / DELETE 작업이 빈번하게 발생하기도 하며 SELECT 쿼리는 그 횟수가 비교적 많지 않습니다. 하나의 테스트 테이블을 생성한 뒤, CPU 리소스와 메모리 점유율 및 처리 속도를 파티션의 유무에 따라 비교 대조합니다. 테스트 아래와 같은 테이블을 생성하여, bulk 성 작업을 실행합니다. CREATE TABLE test_table ( id INT AUTO_INCREMENT, json_field JSON, date_field DATE, varchar_field VARCHAR(255), int_field INT, PRIMARY KEY (id) ); 성능을 테스트 하기 위해 1,000 개..
AWS VPC 톺아보기 SMTP Relay Server 구축과정에서 VPC 설정을 새롭게 정리해야 할 일이 생겼음에, 모 강좌 플랫폼에서의 강좌 내용을 제대로 정리하지 못한 것 같아, 다시 한번 정리하며 읽은 좋은 글들을 아래와 같이 공유합니다. 레퍼런스 - Fastcampus > AWS/Docker 실전 클라우드 서버 구축 올인원 패키지 Online - 여러 VPC간 통신망 구성 - AWS VPC 기본 개념