csv 데이터 json 변환 사이트

 

csv 데이터를 json으로 변환해주는 웹사이트는 검색을 해보면 많이 있습니다대부분 데이터를 복사해서 붙여 넣거나 파일을 업로드 하면 자동으로 변환이 진행 됩니다.

 

id,name,age,tel

1,kim,11,000-000-0000

2,lee,22,000-000-0000

 

이런 데이터를 넣으면

[

  {

    "id": "1",

    "name": "kim",

    "age": "11",

    "tel": "000-000-0000"

  },

  {

    "id": "2",

    "name": "lee",

    "age": "22",

    "tel": "000-000-0000"

  }

]

 

이렇게 변환을 해줍니다.

그렇지만 배열이나 Object가 있는 경우는 대부분의 사이트가 해결해주지 못합니다.

 

id,name,age,tel/home,tel/mobile,shoes/0,shoes/1,shoes/2

1,kim,11,000-000-0000,111-1111-1111,red,blue,yellow

2,lee,22,010-0100-0100,020-2222-2222,green,black,white

 

이런 데이터를 넣으면

 

[

  {

    "id": "1",

    "name": "kim",

    "age": "11",

    "tel/home": "000-000-0000",

    "tel/mobile": "111-1111-1111",

    "shoes/0": "red",

    "shoes/1": "blue",

    "shoes/2": "yellow"

  },

  {

    "id": "2",

    "name": "lee",

    "age": "22",

    "tel/home": "010-0100-0100",

    "tel/mobile": "020-2222-2222",

    "shoes/0": "green",

    "shoes/1": "black",

    "shoes/2": "white"

  }

]

 

이런 결과가 나옵니다.


검색을 하다 보니 이런 문제를 해결해 주는 사이트가 있습니다.

https://www.convertcsv.com/csv-to-json.htm

 

id,name,age,tel/home,tel/mobile,shoes/0,shoes/1,shoes/2

1,kim,11,000-000-0000,111-1111-1111,red,blue,yellow

2,lee,22,010-0100-0100,020-2222-2222,green,black,white

 

이런 데이터를 넣으면

 

[

 {

   "id": 1,

   "name": "kim",

   "age": 11,

   "tel": {

      "home": "000-000-0000",

      "mobile": "111-1111-1111"

   },

   "shoes": [

      "red",

      "blue",

      "yellow"

   ]

},

 {

   "id": 2,

   "name": "lee",

   "age": 22,

   "tel": {

      "home": "010-0100-0100",

      "mobile": "020-2222-2222"

   },

   "shoes": [

      "green",

      "black",

      "white"

   ]

}

]

 

이렇게 배열도 객체도 잘 변환해 줍니다.

 

 

대용량 csv 변환

 

온라인으로 csv 데이터를 json으로 변환하는 방법은 데이터가 대용량인 경우에는 불가능 합니다이런 경우에는 csvtojson을 이용해서 변환하면 됩니다.

먼저 설치를 하고

 

>npm i csvtojson


csv to json

 

csvtojson.js 파일 위치를 확인 하여 절대 경로나 상대 경로로 실행을 하면 됩니다.

D:\copycoding\node_modules\csvtojson\bin>csvtojson d:\copycoding\test.csv > d:\copycoding\test.json

 

이렇게 하면 몇 십만 건도 변환이 되는걸 테스트 해 보았는데 잘 변환 됩니다

 

- copy coding -



빨간 나비를 보는 꿈 해몽

 -> 정치인이나 공무원 교사 등 공적인 직업을 갖게 될 조짐이다.


호랑나비가 어깨나 치마 앉는 꿈 해몽

 -> 자신을 줄기차게 따라다니며 괴롭히는 사람이 생길 것을 암시하고 있다.


나비가 꽃에 앉은 것을 보는 꿈 해몽

 -> 미혼자는 연애를 하게 되며 반가운 사람을 만나기도 한다.


나비가 날아다니는 것을 보는 꿈 해몽

 -> 매사에 불길한 기운이 감돌고 있으니 주의를 요하는 꿈이다.


나비가 공중을 날아다니는 것을 보는 꿈 해몽

 -> 이성과 연관된 일로 신경을 쓰게 되는데, 특히 상대방의 바람기로 인해 낭패를 볼 수 있다.


나비가 되어 날아 다니는 꿈 해몽

 -> 작업을 잘 마무리짓거나 작품을 발표하여 널리 명성을 떨치게 된다.


나비가 떼지어 날아 다니는 꿈 해몽

 -> 집안에 경사가 생겨서 기쁨이 있는 세월을 보내게 된다.


butterfly dream 나비 꿈 해몽



나비가 죽거나 다치는 꿈 해몽

 -> 부인에게 나쁜 일이 일어나고, 외도하던 상대방과 말썽이 생길 징조이다.


죽은 나비의 꿈 해몽

 -> 위험에 빠질 수 있으니 조심해야 한다.


나비나 잠자리 등이 부화하는 꿈 해몽

 -> 사업이 크게 확장되거나 이득을 보게 된다.


나비를 잡으려다가 넘어지는 꿈 해몽

 -> 허황된 꿈을 이루려고 하다가 정신과 물질의 손실만 보게 된다.


나비와 벌이 꽃에 날아드는 꿈 해몽

 -> 연애가 순조롭게 진행되고 행복한 생활이 계속될 것이다.


나비와 벌이 서로 어울려 있는 꿈 해몽

 -> 진행하던 일이 잘못되거나 말썽이 생겨서 손실을 보게 된다.


불 속으로 나비가 날아다는 꿈 해몽

 -> 일이 중도에 좌절되거나 경쟁자에게 패하는 등의 불길한 일이 일어날 징조이다.


나비, 나방의 애벌레의 꿈 해몽

 -> 질투의 증거로 누군가 당신에게 수치스러운 일을 하려고 한다.


별이 떨어진 주위를 나비 여러 마리가 나는 꿈 해몽

 -> 자손이 여러 사람과 깊은 인연을 맺는다.


화려한 무늬를 가진 나비 꿈 해몽

 -> 더 이상 바랄 나위가 없을 정도로 생활이 만족스러워진다.


나비가 조명 주위를 날고 있는 꿈 해몽

 -> 현재 자신이 이룩한 업적은 오래가지 못할 것이다.


하늘 위로 파란 나비가 날아가는 꿈 해몽

 -> 기분이 상쾌해지고 추진하는 일들이 잘 풀리거나, 승진, 당선, 합격 등에서 길한 조짐이 있다.


- copy coding -


Firebase의 기능 중 데이터베이스에 데이터를 밀어넣는 작업을 하려고 합니다몇개 되지 않으면 수작업으로 하면 되는데 데이터의 양이 많을 경우에는 하나씩 입력 한다는 건 불가능 하죠우리가 지금까지 사용해 오던 oracle이나 mysql 등 처럼 한번에 밀어 넣는 방법이 있으면 좋을 텐데 아직은 좀 귀찮은 작업들이 필요 합니다언젠가는 좋은 기능들이 추가되겠죠.


firebase firestore excel csv json




작업 순서

1. json 데이터 생성

2. node.js 준비

3. Firebase 설정

4. account key

5. import.js

6. 데이터 입력

 

엑셀자료와 csv 데이터도 실제로는 json 형태로 변경을 해야 입력이 가능 합니다결론적으론 json 형태로 파일을 만들어 입력 하는 방법을 알아 보려고 합니다.

 

1. json 데이터 생성

 

다음과 같은 엑셀 자료가 있고 firestore에 입력 하기위해 json 형태로 변형을 해야 합니다.


firebase firestore excel csv json


먼저 엑셀을 다음과 같이 csv로 저장 합니다.


firebase firestore excel csv json

 

메모장으로 열어보면 쉼표로 데이터들이 구분이 되어 있는데 이걸 복사해서 인터넷에서 온라인으로 csvjson으로 변환해주는 사이트를 이용해 변형을 합니다.

 

{

“member” : [

 {

   "id": "a",

   "name": "copy",

   "age": 11,

   "tel": "000-0000-0000"

 },

 {

   "id": "b",

   "name": "coding",

   "age": 22,

   "tel": "000-1111-1111"

 },

 {

   "id": "c",

   "name": "test",

   "age": 33,

   "tel": "000-2222-2222"

 },

 {

   "id": "d",

   "name": "hohoho",

   "age": 44,

   "tel": "000-3333-3333"

 }

]

}

 

변환된 데이터를 확장자가 json으로 해서 저장을 합니다저는 member.json으로 저장 했습니다.

붉은색 부분은 firestorecollectionmember로 생성을 해서 그곳에 입력을 하기 위해 추가를 했습니다.

 


2. node.js 준비

 

npm 명령을 사용해야 하기 때문에 먼저 node.js가 설치되어 있어야 합니다.  node.js가 설치되어 있다면 먼저 초기화를 위해

 

>npm init

명령을 사용 합니다그리고 추가 입력 부분은 그냥 엔터로 넘어가도 됩니다.


firebase firestore excel csv json


그리고 제일 중요한 firestore 관련 패키지를 설치 합니다.

 

>npm install firestore-export-import


firebase firestore excel csv json


명령이 실행되고 아무것도 없던 폴더에 생성된 파일을 보면


firebase firestore excel csv json


이런 식으로 폴더에 파일들이 생성 되었습니다.

 


3. Firebase 설정

 

이제 firestore에 접속하기 위한 환경 변수들을 생성해야 합니다.  firebase에 접속해서 프로젝트를 선택 합니다.


firebase firestore excel csv json


여기서 [+앱 추가]를 선택 하고


firebase firestore excel csv json


확장된 아이콘들에서 </>를 선택하여 웹 앱을 추가 합니다.


firebase firestore excel csv json


웹 앱을 만들기 위해 이름을 적당히 입력하고 [앱 등록] 버튼을 클릭 합니다.


firebase firestore excel csv json

 

웹 앱에 접속하기 위한 설정 값들이 보이는 군요복사를 해서 옮겨 놓습니다.

 

<!-- The core Firebase JS SDK is always required and must be listed first -->

<script src="https://www.gstatic.com/firebasejs/7.14.5/firebase-app.js"></script>

 

<!-- TODO: Add SDKs for Firebase products that you want to use

     https://firebase.google.com/docs/web/setup#available-libraries -->

<script src="https://www.gstatic.com/firebasejs/7.14.5/firebase-analytics.js"></script>

 

<script>

  // Your web app's Firebase configuration

  var firebaseConfig = {

    apiKey: "AIzaSyCkC3cqbmGfb4XGCX_BUaLKTePvE3em0sU",

    authDomain: "copycoding-bca04.firebaseapp.com",

    databaseURL: "https://copycoding-bca04.firebaseio.com",

    projectId: "copycoding-bca04",

    storageBucket: "copycoding-bca04.appspot.com",

    messagingSenderId: "413154097054",

    appId: "1:413154097054:web:046f67449283eca596488f",

    measurementId: "G-6JQFB5C1Z7"

  };

  // Initialize Firebase

  firebase.initializeApp(firebaseConfig);

  firebase.analytics();

</script>

 

여기에서 var firebaseConfig = {...} 이 부분을 이용해서

 

var firebaseConfig = {

    apiKey: "AIzaSyCXXxxxXXXXxxxxXXXXxxXXxXXXxxXXxXXX0sU",

    authDomain: "copycoding-bca04.firebaseapp.com",

    databaseURL: "https://copycoding-bca04.firebaseio.com",

    projectId: "copycoding-bca04",

    storageBucket: "copycoding-bca04.appspot.com",

    messagingSenderId: "41323232323232324",

    appId: "1:41312323232323:web:02323232323232323232323238f",

    measurementId: "G-623reddfhgjkhfgsdZ7"

}

module.exports = firebaseConfig;

 

config.js 파일을 생성 합니다.

 

 

4. Service Account Key 생성

 

데이터베이스에 접근하기 위한 공개키를 생성하는 단계 입니다아무나 와서 디비를 헤집고 다니지 못하도록 하는 키를 생성하는 단계 입니다.  [서비스 계정] 탭을 선택하면 됩니다.


firebase firestore excel csv json


지금 node.js 를 사용하려는 거니 라디오 버튼을 확인 하고 [새 비공개 키 생성] 버튼을 클릭 합니다.


firebase firestore excel csv json


키를 잘 보관하라는 안내가 나옵니다.  [키 생성] 버튼을 클릭 합니다.


firebase firestore excel csv json


 

[확인] 버튼을 이용해서 키를 저장 합니다파일명은 대충 copycoding-bca04-firebase-adminsdk-vdj8s-4728099cc6.json 이렇게 저장 됩니다.

 

{

  "type": "service_account",

  "project_id": "copycoding-bca04",

  "private_key_id": "4728098675uygf65yfdertu7fgy9upjoi87tgyi5rytt36",

  "private_key": "-----BEGIN PRIVATE KEY-----\nMIIEvQ=\n-----END PRIVATE KEY-----\n",

  "client_email": "firebase-adminsdk-vdj8s@copycoding-bca04.iam.gserviceaccount.com",

  "client_id": "118876654423786789765453",

  "auth_uri": "https://accounts.google.com/o/oauth2/auth",

  "token_uri": "https://oauth2.googleapis.com/token",

  "auth_provider_x509_cert_url": "https://www.googleapis.com/oauth2/certs",

  "client_x509_cert_url": "https://www.googleapis.com/serviceaccount.com"

}

 

생각보다 키의 내용이 긴데 대충 잘랐습니다그리고 serviceAccount.json 이름으로 저장을 했습니다.

 

 

 

5. import.js 작성

 

firestore에 입력할 데이터와 설정 파일, 키 파일이 준비가 되었으니 실제 데이터를 추가하는 프로그램을 생성 합니다. 물론 파일명은 자유롭게 해서 생성하면 됩니다.

 

// Imports

const firestoreService = require('firestore-export-import');

const firebaseConfig = require('./config.js');

const serviceAccount = require('./serviceAccount.json');

 

// JSON To Firestore

const jsonToFirestore = async () => {

  try {

    console.log('Initialzing Firebase');

    await firestoreService.initializeApp(serviceAccount, firebaseConfig.databaseURL);

    console.log('Firebase Initialized');

 

    await firestoreService.restore('./member.json');

    console.log('Upload Success');

  }

  catch (error) {

    console.log(error);

  }

};

 

jsonToFirestore();

 

위에서 생성한 3개의 파일이 사용됩니다최종적인 폴더 내 파일들의 모습입니다.

 


firebase firestore excel csv json


이렇게 파일 작업이 완료 되었습니다.

 

 

5. 데이터 입력

 

마지막으로 작성한 import.js 를 실행해 줍니다.

 

>node import.js


firebase firestore excel csv json


upload가 성공했다고 하는데 진짜인지 함 확인해 봅니다.


firebase firestore excel csv json


데이터들이 잘 입력 되었습니다.


- copy coding -


구글 Firebase는 데이터를 저장 하는데 데이터베이스로 사용하기도 하고 파일 형태의 데이터를 저장하고 사용할 수 도 있습니다. 이번에는 firebaseProject를 생성 하였다면 데이터를 저장 하는 방법을 알아 봅니다.  


firebase cloud firestore database


데이터베이스 생성


파이어베이스에서 생성한 프로젝트를 선택하여 콘솔 화면으로 이동 합니다.  


firebase cloud firestore database


좌측 메뉴에서 Database메뉴를 선택하면 Cloud Firestoredatabase를 생성할 수 있는 화면으로 이동 합니다데이터베이스를 생성 하기 위해 [데이터베이스 만들기] 버튼을 클릭하여 팝업 창을 오픈 합니다.


firebase cloud firestore database


데이터베이스 생성은 [프로덕션 모드에서 시작][테스트 모드로 시작] 두 개의 조건이 있는데 라디오 버튼을 클릭해 보면 우측에 어떤 기능인지 설명과 스크립트를 볼 수 있습니다.


firebase cloud firestore database


자세히 보면 조건에 따른 권한임을 알 수 있는데 일단 [테스트 모드로 시작]을 선택하고 [다음] 버튼을 클릭 합니다.


firebase cloud firestore database


데이터베이스를 어디에 생성 할 것인가 하는 서버의 위치를 설정하는 화면 입니다너무 먼거리에 위치하면 속도가 느리고 과금 문제도 발생할 수 있습니다.

Cloud Firestore 위치는 테스트 할 때는 별로 중요하지 않지만 대한민국은 어디에 있는지 한번 알아 보겠습니다.


firebase cloud firestore database


각국의 중요 도시가 나오는데 서울은 구글 리스트에 나오지 않는군요좀더 찾아 봅니다.


firebase cloud firestore database


여기 맨 끝에 간신히 붙어 있네요서울(asia-northease3)으로 되어 있습니다.


firebase cloud firestore database


asia-northeast3을 선택 하고 [완료] 버튼을 클릭 합니다잠시 작업이 진행되고 


firebase cloud firestore database


 

데이터베이스가 생성이 되었습니다.

 

데이터 추가

 

이제 생성된 데이터베이스에 데이터를 추가하는데 일반 database와는 다르게 Table로 관리되지 않고 Collection, Document, Field 순으로 입력 하고 관리가 됩니다먼저 컬렉션을 만들기 위해 [컬렉션 시작]을 클릭 합니다.


firebase cloud firestore database


컬렉션 시작 창에서 컬렉션 ID를 입력하고 [다음]버튼을 클릭 합니다


firebase cloud firestore database


문서 ID는 자동 생성되는데 테스트 삼아 한번 입력해 보았습니다필드들은 ‘+’, ‘-‘ 버튼을 이용해서 추가 삭제하며 입력 합니다대충 입력했으면 [저장] 버튼을 클릭 합니다.


firebase cloud firestore database


데이터가 하나 추가 되었습니다이번에는 문서추가를 클릭하고


firebase cloud firestore database


문서 ID는 자동으로 하고 데이터를 입력한 후 [저장]버튼을 클릭 합니다.


firebase cloud firestore database


동일한 방법으로 데이터를 추가해서 사용하면 됩니다.


- copy coding -


1···891011121314···61

+ Recent posts