Spring Boot에서 프로젝트를 생성하여 Firestore에 있는 데이터 작업을 하려고 합니다.  


Firestore spring boot crud


Firebase에는 다음과 같이 collection을 만들어서 데이터를 입력 하였습니다.


Firestore spring boot crud


이 데이터베이스에 데이터를 조회, 추가, 수정, 삭제하는 기능을 Spring Boot를 이용하여 만들어 보려고 합니다.

 

Spring Boot에서 Spring Starter Project를 선택하여 신규 프로젝트를 생성 합니다.


Firestore spring boot crud


입력 사항은 테스트이니까 대충 적어 넣고 Next 버튼을 클릭 합니다.


Firestore spring boot crud


 

DependencySpring Web만 추가 했습니다.  Finish 버튼을 클릭 합니다.

 

pom.xmlfirebase를 추가 합니다현재 6.13.x 버전까지 나와있는데 한 단계 낮추어서 적어봤습니다.

 

               <dependency>

                   <groupId>com.google.firebase</groupId>

                   <artifactId>firebase-admin</artifactId>

                   <version>6.12.1</version>

                </dependency>

 

Firebase의 필드에 해당하는 Vo를 생성 합니다.

 

package com.copycoding.firebase;

 

public class Member {

        String id;

        String name;

        int age;

        String tel;

       

        public String getId() {

               return id;

        }

        public void setId(String id) {

               this.id = id;

        }

        public String getName() {

               return name;

        }

        public void setName(String name) {

               this.name = name;

        }

        public int getAge() {

               return age;

        }

        public void setAge(int age) {

               this.age = age;

        }

        public String getTel() {

               return tel;

        }

        public void setTel(String tel) {

               this.tel = tel;

        }

}

 

 

Service를 생성하기 위해 먼저 Interface 파일을 생성하고

 

package com.copycoding.firebase;

 

public interface FirebaseService {

 

        public insertMember(Member member) throws Exception;

       

        public Member getMemberDetail(String id) throws Exception;

       

        public String updateMember(Member member) throws Exception;

       

        public string deleteMember(String id) throws Exception;

}

 

 

 

Service Implement도 작성 합니다.

 

package com.copycoding.firebase;

 

import org.springframework.stereotype.Service;

 

import com.google.api.core.ApiFuture;

import com.google.cloud.firestore.DocumentReference;

import com.google.cloud.firestore.DocumentSnapshot;

import com.google.cloud.firestore.Firestore;

import com.google.cloud.firestore.WriteResult;

import com.google.firebase.cloud.FirestoreClient;

 

@Service

public class FirebaseServiceImpl implements FirebaseService {

 

        public static final String COLLECTION_NAME="member";

       

        @Override

        public String insertMember(Member member) throws Exception {

               Firestore firestore = FirestoreClient.getFirestore();

               ApiFuture<WriteResult> apiFuture = firestore.collection(COLLECTION_NAME).document(member.getId()).set(member);

               return apiFuture.get().getUpdateTime().toString();

        }

 

        @Override

        public Member getMemberDetail(String id) throws Exception {

               Firestore firestore = FirestoreClient.getFirestore();

               DocumentReference documentReference = firestore.collection(COLLECTION_NAME).document(id);

               ApiFuture<DocumentSnapshot> apiFuture = documentReference.get();

               DocumentSnapshot documentSnapshot = apiFuture.get();

               Member member = null;

               if(documentSnapshot.exists()) {

                       member = documentSnapshot.toObject(Member.class);

                       return member;

               } else {

                       return null;

               }

        }

 

        @Override

        public String updateMember(Member member) throws Exception {

               Firestore firestore = FirestoreClient.getFirestore();

               ApiFuture<WriteResult> apiFuture = firestore.collection(COLLECTION_NAME).document(member.getId()).set(member);

               return apiFuture.get().getUpdateTime().toString();

        }

 

        @Override

        public String deleteMember(String id) throws Exception {

               Firestore firestore = FirestoreClient.getFirestore();

               ApiFuture<WriteResult> apiFuture = firestore.collection(COLLECTION_NAME).document(id).delete();

              

               return "Document id :" + id + " delete";

        }

}

 

 

 

이제 마지막으로 Controller Rest Api 형식으로 작성 합니다.

 

package com.copycoding.firebase;

 

import org.springframework.beans.factory.annotation.Autowired;

import org.springframework.web.bind.annotation.GetMapping;

import org.springframework.web.bind.annotation.RequestParam;

import org.springframework.web.bind.annotation.RestController;

 

@RestController

public class FirebaseController {

 

        @Autowired

        FirebaseService firebaseService;

       

        @GetMapping("/insertMember")

        public String insertMember(@RequestParam Member member) throws Exception {

               return firebaseService.insertMember(member);

        }

       

        @GetMapping("/getMemberDetail")

        public Member getMemberDetail(@RequestParam String id) throws Exception {

               return firebaseService.getMemberDetail(id);

        }

       

        @GetMapping("/updateMember")

        public String updateMember(@RequestParam Member member) throws Exception {

               return firebaseService.updateMember(member);

        }

       

        @GetMapping("/deleteMember")

        public String deleteMember(@RequestParam String id) throws Exception {

               return firebaseService.deleteMember(id);

        }

}

 

여기 까지는 일반 프로젝트와 동일한 방식으로 작성을 하면 됩니다.

 

package com.copycoding.firebase;

 

import java.io.FileInputStream;

import javax.annotation.PostConstruct;

import org.springframework.stereotype.Service;

import com.google.auth.oauth2.GoogleCredentials;

import com.google.firebase.FirebaseApp;

import com.google.firebase.FirebaseOptions;

 

@Service

public class FirebaseInitialize {

 

        @PostConstruct

    public void initialize() {

        try {

        FileInputStream serviceAccount =

                  new FileInputStream("./copycodingServiceAccount.json");

 

                FirebaseOptions options = new FirebaseOptions.Builder()

                  .setCredentials(GoogleCredentials.fromStream(serviceAccount))

                  .setDatabaseUrl("https://copycoding-bca04.firebaseio.com")

                  .build();

 

                FirebaseApp.initializeApp(options);

            } catch (Exception e) {

                e.printStackTrace();

            }

       

        }

}

 

추가로 Firebase에 접속하기 위한 설정 파일을 하나 생성해주면 됩니다.

이렇게 해서 프로그램이 완성 되었습니다.


이제 테스트를 해 봅니다.

귀찮으니 조회만 해 봅니다.


Firestore spring boot crud


조회가 잘 되는 군요.

성의가 없는 것 같아 삭제도 해 봅니다.


Firestore spring boot crud


삭제가 되었다고 하는데 Firebase 데이터베이스에 들어가 확인해 봅니다.


Firestore spring boot crud


document 2번이 삭제 되어 있습니다이런 식으로 작업을 하면 됩니다.


- copy coding -


csv 데이터 json 변환 사이트

 

csv 데이터를 json으로 변환해주는 웹사이트는 검색을 해보면 많이 있습니다대부분 데이터를 복사해서 붙여 넣거나 파일을 업로드 하면 자동으로 변환이 진행 됩니다.

 

id,name,age,tel

1,kim,11,000-000-0000

2,lee,22,000-000-0000

 

이런 데이터를 넣으면

[

  {

    "id": "1",

    "name": "kim",

    "age": "11",

    "tel": "000-000-0000"

  },

  {

    "id": "2",

    "name": "lee",

    "age": "22",

    "tel": "000-000-0000"

  }

]

 

이렇게 변환을 해줍니다.

그렇지만 배열이나 Object가 있는 경우는 대부분의 사이트가 해결해주지 못합니다.

 

id,name,age,tel/home,tel/mobile,shoes/0,shoes/1,shoes/2

1,kim,11,000-000-0000,111-1111-1111,red,blue,yellow

2,lee,22,010-0100-0100,020-2222-2222,green,black,white

 

이런 데이터를 넣으면

 

[

  {

    "id": "1",

    "name": "kim",

    "age": "11",

    "tel/home": "000-000-0000",

    "tel/mobile": "111-1111-1111",

    "shoes/0": "red",

    "shoes/1": "blue",

    "shoes/2": "yellow"

  },

  {

    "id": "2",

    "name": "lee",

    "age": "22",

    "tel/home": "010-0100-0100",

    "tel/mobile": "020-2222-2222",

    "shoes/0": "green",

    "shoes/1": "black",

    "shoes/2": "white"

  }

]

 

이런 결과가 나옵니다.


검색을 하다 보니 이런 문제를 해결해 주는 사이트가 있습니다.

https://www.convertcsv.com/csv-to-json.htm

 

id,name,age,tel/home,tel/mobile,shoes/0,shoes/1,shoes/2

1,kim,11,000-000-0000,111-1111-1111,red,blue,yellow

2,lee,22,010-0100-0100,020-2222-2222,green,black,white

 

이런 데이터를 넣으면

 

[

 {

   "id": 1,

   "name": "kim",

   "age": 11,

   "tel": {

      "home": "000-000-0000",

      "mobile": "111-1111-1111"

   },

   "shoes": [

      "red",

      "blue",

      "yellow"

   ]

},

 {

   "id": 2,

   "name": "lee",

   "age": 22,

   "tel": {

      "home": "010-0100-0100",

      "mobile": "020-2222-2222"

   },

   "shoes": [

      "green",

      "black",

      "white"

   ]

}

]

 

이렇게 배열도 객체도 잘 변환해 줍니다.

 

 

대용량 csv 변환

 

온라인으로 csv 데이터를 json으로 변환하는 방법은 데이터가 대용량인 경우에는 불가능 합니다이런 경우에는 csvtojson을 이용해서 변환하면 됩니다.

먼저 설치를 하고

 

>npm i csvtojson


csv to json

 

csvtojson.js 파일 위치를 확인 하여 절대 경로나 상대 경로로 실행을 하면 됩니다.

D:\copycoding\node_modules\csvtojson\bin>csvtojson d:\copycoding\test.csv > d:\copycoding\test.json

 

이렇게 하면 몇 십만 건도 변환이 되는걸 테스트 해 보았는데 잘 변환 됩니다

 

- copy coding -



빨간 나비를 보는 꿈 해몽

 -> 정치인이나 공무원 교사 등 공적인 직업을 갖게 될 조짐이다.


호랑나비가 어깨나 치마 앉는 꿈 해몽

 -> 자신을 줄기차게 따라다니며 괴롭히는 사람이 생길 것을 암시하고 있다.


나비가 꽃에 앉은 것을 보는 꿈 해몽

 -> 미혼자는 연애를 하게 되며 반가운 사람을 만나기도 한다.


나비가 날아다니는 것을 보는 꿈 해몽

 -> 매사에 불길한 기운이 감돌고 있으니 주의를 요하는 꿈이다.


나비가 공중을 날아다니는 것을 보는 꿈 해몽

 -> 이성과 연관된 일로 신경을 쓰게 되는데, 특히 상대방의 바람기로 인해 낭패를 볼 수 있다.


나비가 되어 날아 다니는 꿈 해몽

 -> 작업을 잘 마무리짓거나 작품을 발표하여 널리 명성을 떨치게 된다.


나비가 떼지어 날아 다니는 꿈 해몽

 -> 집안에 경사가 생겨서 기쁨이 있는 세월을 보내게 된다.


butterfly dream 나비 꿈 해몽



나비가 죽거나 다치는 꿈 해몽

 -> 부인에게 나쁜 일이 일어나고, 외도하던 상대방과 말썽이 생길 징조이다.


죽은 나비의 꿈 해몽

 -> 위험에 빠질 수 있으니 조심해야 한다.


나비나 잠자리 등이 부화하는 꿈 해몽

 -> 사업이 크게 확장되거나 이득을 보게 된다.


나비를 잡으려다가 넘어지는 꿈 해몽

 -> 허황된 꿈을 이루려고 하다가 정신과 물질의 손실만 보게 된다.


나비와 벌이 꽃에 날아드는 꿈 해몽

 -> 연애가 순조롭게 진행되고 행복한 생활이 계속될 것이다.


나비와 벌이 서로 어울려 있는 꿈 해몽

 -> 진행하던 일이 잘못되거나 말썽이 생겨서 손실을 보게 된다.


불 속으로 나비가 날아다는 꿈 해몽

 -> 일이 중도에 좌절되거나 경쟁자에게 패하는 등의 불길한 일이 일어날 징조이다.


나비, 나방의 애벌레의 꿈 해몽

 -> 질투의 증거로 누군가 당신에게 수치스러운 일을 하려고 한다.


별이 떨어진 주위를 나비 여러 마리가 나는 꿈 해몽

 -> 자손이 여러 사람과 깊은 인연을 맺는다.


화려한 무늬를 가진 나비 꿈 해몽

 -> 더 이상 바랄 나위가 없을 정도로 생활이 만족스러워진다.


나비가 조명 주위를 날고 있는 꿈 해몽

 -> 현재 자신이 이룩한 업적은 오래가지 못할 것이다.


하늘 위로 파란 나비가 날아가는 꿈 해몽

 -> 기분이 상쾌해지고 추진하는 일들이 잘 풀리거나, 승진, 당선, 합격 등에서 길한 조짐이 있다.


- copy coding -


Firebase의 기능 중 데이터베이스에 데이터를 밀어넣는 작업을 하려고 합니다몇개 되지 않으면 수작업으로 하면 되는데 데이터의 양이 많을 경우에는 하나씩 입력 한다는 건 불가능 하죠우리가 지금까지 사용해 오던 oracle이나 mysql 등 처럼 한번에 밀어 넣는 방법이 있으면 좋을 텐데 아직은 좀 귀찮은 작업들이 필요 합니다언젠가는 좋은 기능들이 추가되겠죠.


firebase firestore excel csv json




작업 순서

1. json 데이터 생성

2. node.js 준비

3. Firebase 설정

4. account key

5. import.js

6. 데이터 입력

 

엑셀자료와 csv 데이터도 실제로는 json 형태로 변경을 해야 입력이 가능 합니다결론적으론 json 형태로 파일을 만들어 입력 하는 방법을 알아 보려고 합니다.

 

1. json 데이터 생성

 

다음과 같은 엑셀 자료가 있고 firestore에 입력 하기위해 json 형태로 변형을 해야 합니다.


firebase firestore excel csv json


먼저 엑셀을 다음과 같이 csv로 저장 합니다.


firebase firestore excel csv json

 

메모장으로 열어보면 쉼표로 데이터들이 구분이 되어 있는데 이걸 복사해서 인터넷에서 온라인으로 csvjson으로 변환해주는 사이트를 이용해 변형을 합니다.

 

{

“member” : [

 {

   "id": "a",

   "name": "copy",

   "age": 11,

   "tel": "000-0000-0000"

 },

 {

   "id": "b",

   "name": "coding",

   "age": 22,

   "tel": "000-1111-1111"

 },

 {

   "id": "c",

   "name": "test",

   "age": 33,

   "tel": "000-2222-2222"

 },

 {

   "id": "d",

   "name": "hohoho",

   "age": 44,

   "tel": "000-3333-3333"

 }

]

}

 

변환된 데이터를 확장자가 json으로 해서 저장을 합니다저는 member.json으로 저장 했습니다.

붉은색 부분은 firestorecollectionmember로 생성을 해서 그곳에 입력을 하기 위해 추가를 했습니다.

 


2. node.js 준비

 

npm 명령을 사용해야 하기 때문에 먼저 node.js가 설치되어 있어야 합니다.  node.js가 설치되어 있다면 먼저 초기화를 위해

 

>npm init

명령을 사용 합니다그리고 추가 입력 부분은 그냥 엔터로 넘어가도 됩니다.


firebase firestore excel csv json


그리고 제일 중요한 firestore 관련 패키지를 설치 합니다.

 

>npm install firestore-export-import


firebase firestore excel csv json


명령이 실행되고 아무것도 없던 폴더에 생성된 파일을 보면


firebase firestore excel csv json


이런 식으로 폴더에 파일들이 생성 되었습니다.

 


3. Firebase 설정

 

이제 firestore에 접속하기 위한 환경 변수들을 생성해야 합니다.  firebase에 접속해서 프로젝트를 선택 합니다.


firebase firestore excel csv json


여기서 [+앱 추가]를 선택 하고


firebase firestore excel csv json


확장된 아이콘들에서 </>를 선택하여 웹 앱을 추가 합니다.


firebase firestore excel csv json


웹 앱을 만들기 위해 이름을 적당히 입력하고 [앱 등록] 버튼을 클릭 합니다.


firebase firestore excel csv json

 

웹 앱에 접속하기 위한 설정 값들이 보이는 군요복사를 해서 옮겨 놓습니다.

 

<!-- The core Firebase JS SDK is always required and must be listed first -->

<script src="https://www.gstatic.com/firebasejs/7.14.5/firebase-app.js"></script>

 

<!-- TODO: Add SDKs for Firebase products that you want to use

     https://firebase.google.com/docs/web/setup#available-libraries -->

<script src="https://www.gstatic.com/firebasejs/7.14.5/firebase-analytics.js"></script>

 

<script>

  // Your web app's Firebase configuration

  var firebaseConfig = {

    apiKey: "AIzaSyCkC3cqbmGfb4XGCX_BUaLKTePvE3em0sU",

    authDomain: "copycoding-bca04.firebaseapp.com",

    databaseURL: "https://copycoding-bca04.firebaseio.com",

    projectId: "copycoding-bca04",

    storageBucket: "copycoding-bca04.appspot.com",

    messagingSenderId: "413154097054",

    appId: "1:413154097054:web:046f67449283eca596488f",

    measurementId: "G-6JQFB5C1Z7"

  };

  // Initialize Firebase

  firebase.initializeApp(firebaseConfig);

  firebase.analytics();

</script>

 

여기에서 var firebaseConfig = {...} 이 부분을 이용해서

 

var firebaseConfig = {

    apiKey: "AIzaSyCXXxxxXXXXxxxxXXXXxxXXxXXXxxXXxXXX0sU",

    authDomain: "copycoding-bca04.firebaseapp.com",

    databaseURL: "https://copycoding-bca04.firebaseio.com",

    projectId: "copycoding-bca04",

    storageBucket: "copycoding-bca04.appspot.com",

    messagingSenderId: "41323232323232324",

    appId: "1:41312323232323:web:02323232323232323232323238f",

    measurementId: "G-623reddfhgjkhfgsdZ7"

}

module.exports = firebaseConfig;

 

config.js 파일을 생성 합니다.

 

 

4. Service Account Key 생성

 

데이터베이스에 접근하기 위한 공개키를 생성하는 단계 입니다아무나 와서 디비를 헤집고 다니지 못하도록 하는 키를 생성하는 단계 입니다.  [서비스 계정] 탭을 선택하면 됩니다.


firebase firestore excel csv json


지금 node.js 를 사용하려는 거니 라디오 버튼을 확인 하고 [새 비공개 키 생성] 버튼을 클릭 합니다.


firebase firestore excel csv json


키를 잘 보관하라는 안내가 나옵니다.  [키 생성] 버튼을 클릭 합니다.


firebase firestore excel csv json


 

[확인] 버튼을 이용해서 키를 저장 합니다파일명은 대충 copycoding-bca04-firebase-adminsdk-vdj8s-4728099cc6.json 이렇게 저장 됩니다.

 

{

  "type": "service_account",

  "project_id": "copycoding-bca04",

  "private_key_id": "4728098675uygf65yfdertu7fgy9upjoi87tgyi5rytt36",

  "private_key": "-----BEGIN PRIVATE KEY-----\nMIIEvQ=\n-----END PRIVATE KEY-----\n",

  "client_email": "firebase-adminsdk-vdj8s@copycoding-bca04.iam.gserviceaccount.com",

  "client_id": "118876654423786789765453",

  "auth_uri": "https://accounts.google.com/o/oauth2/auth",

  "token_uri": "https://oauth2.googleapis.com/token",

  "auth_provider_x509_cert_url": "https://www.googleapis.com/oauth2/certs",

  "client_x509_cert_url": "https://www.googleapis.com/serviceaccount.com"

}

 

생각보다 키의 내용이 긴데 대충 잘랐습니다그리고 serviceAccount.json 이름으로 저장을 했습니다.

 

 

 

5. import.js 작성

 

firestore에 입력할 데이터와 설정 파일, 키 파일이 준비가 되었으니 실제 데이터를 추가하는 프로그램을 생성 합니다. 물론 파일명은 자유롭게 해서 생성하면 됩니다.

 

// Imports

const firestoreService = require('firestore-export-import');

const firebaseConfig = require('./config.js');

const serviceAccount = require('./serviceAccount.json');

 

// JSON To Firestore

const jsonToFirestore = async () => {

  try {

    console.log('Initialzing Firebase');

    await firestoreService.initializeApp(serviceAccount, firebaseConfig.databaseURL);

    console.log('Firebase Initialized');

 

    await firestoreService.restore('./member.json');

    console.log('Upload Success');

  }

  catch (error) {

    console.log(error);

  }

};

 

jsonToFirestore();

 

위에서 생성한 3개의 파일이 사용됩니다최종적인 폴더 내 파일들의 모습입니다.

 


firebase firestore excel csv json


이렇게 파일 작업이 완료 되었습니다.

 

 

5. 데이터 입력

 

마지막으로 작성한 import.js 를 실행해 줍니다.

 

>node import.js


firebase firestore excel csv json


upload가 성공했다고 하는데 진짜인지 함 확인해 봅니다.


firebase firestore excel csv json


데이터들이 잘 입력 되었습니다.


- copy coding -


1···891011121314···62

+ Recent posts