프로그래밍 일지

mariadb 에서 데이터를 csv 로 저장하는 방법을 정리한다. 오늘 백업할 데이터는 약 680만건 정도인데, 데이터가 작으면 너무 빨리 끝나서 재미가 없을까봐 이번년도 카드명세서 내역을 여러번 insert 해놨다. 참고로, 평소 받았던 이메일 카드명세서를 python selenium 으로 열어서, R dplyr 을 이용해서 데이터 정제작업을하고, RMariaDB 패키지를 이용해서 insert 를 했다. mariadb 를 docker 이미지로 사용중이며, 현재 사용중인 상세버전은 아래와 같다. 설치사항 상세버전 docker desktop docker desktop version 3.5.2 (mac) mariadb docker 이미지 mariadb:10.6.3-focal SELECT INTO OUTFIL..

mariadb 를 설치했는데 샘플 데이터가 없어서, 간단한 crud 하려면 억지로 데이터를 만들어야 하는 불편함이 있다. 그런 경우 샘플데이터를 설치하면 바로바로 테스트 해볼 수 있다. https://github.com/datacharmer/test_db/releases 로 가서 다운받는다. 다운 받은 파일을 폴더에 잘 풀어 놓고, 해당 폴더로 접근후에 mysql 를 실행한다. 해당 폴더로 접근하는것은, 다른 폴더에서 절대경로로 해당 파일을 실행하면, 그 스크립트내 상대경로로 실행될 명령어들이 오류를 내기때문이다. 예를 들면 아래와 같은 오류. 그래서 mysql 실행할때는 스크립트를 실행할 폴더로 이동을 먼저한다. mysql 쉘내에서 현재경로를 조회도 해서 확인한다. > cd /data/test_db >..

앞서 docker 로 오라클 db 를 구축해놨는데, R 프로그램으로 오라클에 접속해본다. 여러가지 방법이 있긴한데.. jdbc driver 를 사용하는게 그나마 간단하게 접속할 수 있었다. 여러가지 방법이 있긴하다. 성능까지 비교한 글이 있어 참고하면 좋을 듯 하다. https://blogs.oracle.com/r/r-to-oracle-database-connectivity%3a-use-roracle-for-both-performance-and-scalability-2018 R to Oracle Database Connectivity: Use ROracle for both Performance and Scalability (2018) R users have a few choices of how to co..

oracle 18c xe 에는 1 CDB, 1 PDB 로 기본 설치가 되며, 기본 PDB 를 내비두고, 새로운 PDB(이름은 XEPDB2)를 만들어본다. 하나 유념할건 나는 docker 로 oracle db 를 사용하고 있기 때문에, dockerfile 에 있는 VOLUME 경로를 참고해서 수정한다. pdbseed 와 XEPDB2 데이터파일이 들어갈폴더를 지정한다. create pluggable database "XEPDB2" admin user "PDBADMIN" identified by 1 file_name_convert = ('/opt/oracle/oradata/XE/pdbseed/', '/opt/oracle/oradata/XE/XEPDB2/'); alter pluggable database "XE..

vagrant 로 oracle 설치를 했는데, sample schema 를 조회해려는 시도를 기록한다. 우선 vagrant up 으로 최초설치될때 sys, system pdaadmin 의 password 를 확인해야한다. > vagrant up ....(중략).... oracle18c-xe-vagrant: Version 18.4.0.0.0 oracle18c-xe-vagrant: INSTALLER: Global EM Express port enabled oracle18c-xe-vagrant: oracle-xe-18c.service is not a native service, redirecting to /sbin/chkconfig. oracle18c-xe-vagrant: Executing /sbin/chkc..

서울 아파트실거래가를 2013~현재까지 받아다가 엑셀로 만드니, 58만여건임. 해당 엑셀자료를 R jsonlite 이용하여 json 파일로 만들었다. # mongodb에 import 하기전에 json 파일로 변환. 229.4MB 너무큼. write_json(apart, path = file.path(getwd(), 'docs', 'apart', 'data', 'apart_all.json')) # csv 로 변환하니 90.9mb write_csv(apart, path = file.path(getwd(), 'docs', 'apart', 'data', 'apart_all.csv')) mongodb 에 import 할 수 있는 파일은 json, csv, tsv 정도임. 아래링크로 옵션확인.(https://doc..

저번에는 closure 와 내장함수(inner fucntion) 을 알아보았는데, 객체에 대해서 좀 더 알아봐야 할 듯하다. 알면알수록 아리송~자바스크립트는 놀랍게도 거의 모든 것이 객체로 이루어져 있다. 기본자료형 역시 null과 undefined 를 제외한 나머지도 객체로 되어 있다. 객체를 생성하는 방법에는 2가지 경우가 있다. 1. object initializer 방법2. constructor function 이용하는 방법 1번은 객체를 직접 { } 안에 property와 value를 정의해서 사용하는 방법을 의미한다. var myHonda = {color: "red", wheels: 4, engine: {cylinders: 4, size: 2.2}}; 이때까지 많이 해왔던 방법이라 패스. 2번..

난 자바스크립트에서 객체지향이란건 생각해본적도 없다. 하지만 클로저(Closure) 라는 패턴(?)을 이용해 자바(java)에서 쓰이는 클래스개념을 만들 수가 있다. 그렇다고 자바처럼 단순히 멤버변수와 메소드를 정의만 하는 쉬운방법으로는 되지 않는다. 우선 Closure 가 무엇인지 알기전에 내장함수(inner function)에 대해 알아보자 function outer(num1) { var num2 = 5; function inner() { return num1 * num2; } return inner(); } 함수안에 함수가 있다. 그래서 내장함수이다. 내부함수 inner는 외부함수 outer의 파라메터 num1 과 지역변수 num2 에 접근이 가능하다는 것만 알아두자. 결과값은 어떻게 알아볼 수 있..