프로그래밍 일지

Triggered Messaging 라는 실시간 대용량 데이터를 처리하는 회사로, 인터넷 쇼핑몰에서 버려지는 카트(abandoned carts : 인터넷쇼핑하다 카트에 담아두기만하고 구매까지 이루어지지 않은 카트를 의미하는 것같음) 정보를 이메일정보로 제공해서 고객이 구매할 확율을 높이게 하는 일을 처리하고 있다. 어쨋든 실시간으로 계속 유입되는 대용량의 데이터를 가지고 MongoDB 콜렉션(Collection)에 등록을 하지만, 결국 그 데이터를 가지고 일련의 어떤 처리를 하고 나면 더 이상 쓸모 없는 데이터이므로 삭제에 대한 이슈가 생겼다는 것이다. 이 임시적인 데이터에 대한 삭제의 방법을 아래 4가지로 나눴다. 1. 처리할때마다 한 레코드씩 삭제(remove).2. 처리 마지막에 모든 레코드를 삭제..

나는 아직도 단일구조로 mongoDB 를 사용하고 있는지라. 간단하게 백업 및 복원하는 방법만 알아본다. mongodump 명령어 $>mongodump -help Export MongoDB data to BSON files. options: --help produce help message -v [ --verbose ] be more verbose (include multiple times for more verbosity e.g. -vvvvv) --version print the program's version and exit -h [ --host ] arg mongo host to connect to ( /s1,s2 for sets) --port arg server port. Can also use ..

MySQL C API programming tutorial (http://zetcode.com/tutorials/mysqlcapitutorial/) 내가 못찾은건지 모르지만.. mysql 공식홈페이지에서도 찾지 못한 C언어 API 의 예제들이 있다. C언어를 잘몰라서 이렇게.. 한번 배워볼까나.

How Do I...? Common Tasks QuickStart Tutorial (Data and ADO.NET)http://quickstarts.asp.net/QuickStartv20/howto/doc/adoplus/overviewcontents.aspx# http://msdn.microsoft.com/en-us/sqlserver/bb671126 http://msdn.microsoft.com/en-US/data/ http://msdn.microsoft.com/en-us/library/aa257103.aspx

Workbench 로 백업 및 복원하는 방법을 알아보자. Server Administration 으로 이동하자. Server Administration 툴의 첫 화면이다. 왼편의 메뉴 중에 Data Export and Restore 를 클릭하자. 3개의 탭이 보인다. 각 탭안에 있는 기능들은 다음과 같다. Export to Disk : 백업(backup) 파일 만든다. Import from Disk : 만들어 놓은 백업파일로 복원한다. Advanced Export Option : 각종 옵션. 건드릴게 아직 없을 듯. 백업 파일을 만들 스키마를 우선 정한다. 난 world 를 선택했다. 그러고나면 스키마의 세부 테이블들이 보이며 기본적으로 체크박스다 다 선택되어 있다. 백업파일 만들고 싶지 않은 테이블들은..

MySQL 을 설치하면 프로그램 그룹안에 떡하니 Workbench 라는 프로그램이 같이 깔려있다. 내게 깔려있는 버젼은 MySQL Workbench CE 5.2.34.2 이다. 기능은 크게 3개로 나뉜다. SQL Development : SQL문 실행 툴. Data Modeling : 데이터 모델링 툴. Server Administration : 서버 관리 툴. 이렇게 세가지 이다. 1년간 계속 사용해온 결과 공짜 치고는 너무 좋다. [Data Modeling] 이건 프로그램 설치하면 기본적으로 있는 샘플 파일이다. 실제로도 데이터 모델링을 간단히 설계하고 스크립트로 Export 해봤는데 너무도 당연하겠지만 잘 만들어지고 잘 실행된다. 그거 하나만으로 만족했다. [SQL Development] SQL문 ..

MongoDB 를 설치하고 트위터 타임라인 정보를 읽어와 매일 같이 붓고 있다. rate limit 정책상 막 들이붓진 못해도 그래도 10만건 정도는 샘플데이터를 만든거 같다. Java Driver 를 이용하여 데이터를 조회해서 원하는 기준으로 그룹핑을 하는 어플리케이션을 만들었는데 DBCursor 클래스에 있는 batchSize에 대한 궁금증이 생겼다. 공식홈페이지로 들어가서 관련 설명페이지를 찾았다. http://www.mongodb.org/display/DOCS/Queries+and+Cursors 아래와 같은 내용이 있다. Execution of queries in batches The MongoDB server returns query results to the client in batches. ..