Note_

데이터엔지니어

yewon — Wed, 5 Apr 2023 15:34:25 +0900

데이터 엔지니어링 분야

1. 데이터 전달 시스템

스트리밍

실시간으로 데이터를 다른 저장소로 전달
기존 데이터와 실시간 데이터를 같이 집계하여 서비스에서 즉각활용
기술스택: 일반 서버 어플리케이션, Storm, Flink, Spark Streaming

* Apache Storm
스트리밍 데이터의 일괄, 분산처리를 가능하게하는 서버이자 프레임워크;
실시간분석, 연속계산, ETL작업에 주로 사용
* Apache Flink
스트리밍 데이터의 상태 저장 계싼을 위한 프레임워크 및 분산 처리 엔진

배치

주기적으로 데이터를 백업, 다른 저장소로 이동, 병합(merge), 삭제, 가공
기술스택: Quartz, Spring Batch, Airflow, Spark

* Quartz
Java기반의 오픈소스 스케쥴링 라이브러리
*Spring Batch
대용량 데이터처리 프레임워크; 일괄,분산처리,트랜잭션관리
* Apache Airflow
오픈소스 워크플로 관리 플랫폼; Python기반

2. 데이터 가공 시스템

3. 데이터 분석 및 활용 시스템

4. 데이터 저장소

AI 및 자동화로 규정 준수 비용을 줄이는 5가지 방법

yewon — Thu, 26 May 2022 09:57:29 +0900

1. RPA 및 NLP를 사용한 규정 변경 관리

금융기관같은경우 연 최대3억페이지의 새로운규정처리의 필요성이 있음

RPA는 규정 변경 사항을 수집하도록 프로그래밍할 수 있을 뿐만아니라 규정을 이해하고 비즈니스 프로세스에 적용

정교한 OCR, NLP 및 AI 모델 등장

+OCR은 규제 텍스트를 기계가 읽을수 있는 텍스트로 변환가능

+NLP는 텍스트를 처리, 복잡한 문장 및 복잡한 규제용어 이해에 사용

+AI모델은 출력을 활용하여 유사과거사례를 기반으로 정책 변경에 대한 옵션제공, 새로운 규정을 필터링하여 비즈니스 관련규정에 플래그 지정

2. 규제보고 간소화

규제보고의 가장큰 시간낭비중 하나는 보고대상시기 및 방법 파악

분석가는 규정검토뿐아니라 규정의 비즈니스 적용방법에 대한 텍스트 작성 및 관련데이터검색을 위한 코드변환이 필요

3. 마케팅 자료 검토 프로세스 단축

규제가 심한 시장의 판매프로세스에는 마케팅 자료를 준수해야함

인력을 추가하지않고 AI를 사용하여 컨테츠를 스캔하고 규정준수를 효율적으로 결정

어떠한 경우엔 AI봇이 규정 준수 마케팅 카피를 편집하고 작성하는데 사용되기도 함

4. 트랜잭션 모니터링 오류감소

AI를 레거시 트랜잭션 모니터링 시스템에 통합함으로써 잘못된 규정준수 경고를 최소화, 검토비용을 절감

규정 준수 담당자는 고위험 플래그가 지정된 트랜잭션에만 작업

새로운 경향 식별시 AI를 사용하여 기존 규칙 엔진 및 모니터링 시스템을 업데이트

5. 배경 및 법적 확인 수행

봇은 클라이언트에 대한 언급을 위해 웹을 크롤링하고 감정분석을 활용하여 부정적콘텐츠에 플래그를 지정하는 데 사용

NLP 기술은 법원 문서에서 불법 활동의 징후와 분석에 가장 관련성이 높은 언론 언급을 스캔

Dictionary

*RPA(Robotic Process Automation)

소프트웨어 로봇을 사용하여 반복적인 작업과 수동 프로세스를 자동화하는 기술

*NLP(Natural Language Process)

**NLP의 일반적 작업

- 문장 분할/ 기계 번역/ 요약/ 분류/ 주제 추출/ 자연어생성(NLG)

**RPA의 NLP는 정형, 비정형 및 반정형 데이터를 분석하고 추가분석을 위해 추출할 수 있음

**RPA 공급업체는 AI기반 사례를 통해 NLP기능을 확장하여 자동화의 요구를 맞춰야 함

*OCR(Optical Character Recognition)

스캔한 문서, 이미지파일에서 인쇄되거나 작성된 텍스트에서 데이터 추출을 자동화한 다음 텍스트를 기계가 읽을 수 있는 형식으로 변환하여 편집, 검색과같은 데이터 처리에 사용할 수 있는 비즈니스 솔루션

https://www.cio.com/article/100000276?utm_source=Adestra&utm_medium=email&utm_content=Description%3A%205%20ways%20to%20reduce%20compliance%20costs%20with%20AI%20and%20automation&utm_campaign=CIO%20US%20First%20Look&utm_term=CIO%20US%20Editorial%20Newsletters&utm_date=20220526001420&huid=826cde49-fdef-4842-9a27-2e300ec2bee3

5 ways to reduce compliance costs with AI and automation

Increased use of AI can drive efficiencies and reduce costs in compliance management. Here's what that means for CIOs in highly regulated industries.

www.cio.com

kakao login api

yewon — Mon, 13 Sep 2021 20:45:58 +0900

1. Android Studio 프로젝트 생성 [empty activity]

2. App 등록

https://developers.kakao.com/apps

카카오계정 로그인

여기를 눌러 링크를 확인하세요.

accounts.kakao.com

2-1 앱만들기

2-2 네이티브앱 키 프로젝트의 res/values에 kakao_strings.xml파일을 만들어 저장

kakao_strings.xml

<?xml version="1.0" encoding="utf-8"?>

</resources>

2-3 플랫폼 추가

패키지 명은 AndroidManifest.xml 상단에 나와있는 패키지 명

2-4 활성화 설정 on

3. 해시키 생성

* 안드로이드 스튜디오에서 디버깅 목적으로 카카오톡 로그인을 테스트 해보기 위해서는 디버그 해쉬키

PlayStore에 등록을 하게되면 릴리즈 해시키를 사용

OpenSSL 다운로드 ( 해시키 추출을 위해 필요 )

https://code.google.com/archive/p/openssl-for-windows/downloads

3-1 디버그해시키

환경변수 설정후

keytool -exportcert -alias androiddebugkey -keystore %USERPROFILE%\.android\debug.keystore -storepass android -keypass android | openssl sha1 -binary | openssl base64

3-2 릴리즈 해시키

keytool -exportcert -alias release -keystore C:\Users\User\release.jks | openssl sha1 -binary | openssl base64

debug key
8m2ZrRY203XUmUxH4hXDoBxoSoI=

release key
+ENmryaOSYCZvQHSqH6hfzg0qqQ=

4. 디버그 해시키 등록

https://dev-donghwan.tistory.com/3

5. gradle 설정하기

* androidStudio Gradle

Gradle을 이용하면 소스를 받을 필요 없고, 로컬에 인스톨해줘야 하는 모듈도 리모트에서 받아올 수 있으며,

필요한 기능 라이브러리만 사용하여 앱파일 크기를 줄일 수 있음

- gradle.build (project)

// Top-level build file where you can add configuration options common to all sub-projects/modules.
buildscript {
repositories {
google()
mavenCentral()
maven { url 'http://devrepo.kakao.com:8088/nexus/content/groups/public/' }

}
dependencies {
classpath "com.android.tools.build:gradle:7.0.2"
classpath "org.jetbrains.kotlin:kotlin-gradle-plugin:1.5.20"

// NOTE: Do not place your application dependencies here; they belong
// in the individual module build.gradle files
}
}

task clean(type: Delete) {
delete rootProject.buildDir
}

- gradle.properties

#Mon Sep 13 19:43:11 KST 2021
distributionBase=GRADLE_USER_HOME
distributionUrl=https\://services.gradle.org/distributions/gradle-7.0.2-bin.zip
distributionPath=wrapper/dists
zipStorePath=wrapper/dists
zipStoreBase=GRADLE_USER_HOME
KAKAO_SDK_GROUP=com.kakao.sdk
KAKAO_SDK_VERSION=1.1.7

- gradlue.build (app)

...

dependencies {

implementation 'androidx.core:core-ktx:1.6.0'
implementation 'androidx.appcompat:appcompat:1.3.1'
implementation 'com.google.android.material:material:1.4.0'
implementation 'androidx.constraintlayout:constraintlayout:2.1.0'
testImplementation 'junit:junit:4.+'
androidTestImplementation 'androidx.test.ext:junit:1.1.3'
androidTestImplementation 'androidx.test.espresso:espresso-core:3.4.0'
compile group: project.KAKAO_SDK_GROUP, name: 'usermgmt', version: project.KAKAO_SDK_VERSION
}

6. 카카오 버튼 만들기

<?xml version="1.0" encoding="utf-8"?>

<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"

android:layout_width="match_parent"

android:layout_height="match_parent">

<com.kakao.usermgmt.LoginButton

android:id="@+id/com_kakao_login"

android:layout_width="match_parent"

android:layout_height="60dp"

android:layout_gravity="center"

android:layout_margin="20dp"/>

</LinearLayout>

[출처] [Android] AndroidStudio 카.. : 네이버블로그 (naver.com)Bitpump

Well begun is half done. : 네이버 블로그

Android 암호화폐관련 Bitpump 앱 개발, 새로운 기술에 대한 내용을 공부하며 포스팅

blog.naver.com

7. 코드

[Android] AndroidStudio 카.. : 네이버블로그 (naver.com)

[Android] AndroidStudio 카카오톡 로그인 연동하기(4) - 로그인 연동 (마지막)

▶ 이전 포스팅 [Android] AndroidStudio 카카오톡 로그인 연동하기(3) - 로그인버튼 만들기 http://blo...

blog.naver.com

09.02 Android App API (LOGIN)

yewon — Thu, 2 Sep 2021 15:48:57 +0900

1. 카카오 로그인 API

공식문서

https://developers.kakao.com/docs/latest/ko/kakaologin/android

Kakao Developers

카카오 API를 활용하여 다양한 어플리케이션을 개발해보세요. 카카오 로그인, 메시지 보내기, 친구 API, 인공지능 API 등을 제공합니다.

developers.kakao.com

참고 블로그

https://youngest-programming.tistory.com/93

[안드로이드] 카카오톡 로그인

구글로그인과 페이스북로그인에 이어서 카카오톡 로그인을 해본 걸 정리하는 포스팅을 갖도록 해보겠습니다. [2020-06-21 업데이트] 참고로 저는 구글 파이어베이스의 OAuth 토큰을 사용하기 위해��

youngest-programming.tistory.com

https://m.blog.naver.com/woo171tm/221461720960

안드로이드에서 카카오 로그인 API 적용하기 (2) : 버튼 클릭 시 로그인 수행하기

※궁금한 거 있으시면 주저하지 마시고 댓글로 물어보세요! 이틀 이내로 답변해 드립니다. ★전체 프로젝트...

blog.naver.com

2. 페이스북 로그인 API

참고 블로그

https://yhong.tistory.com/34

[Android] 페이스북 로그인 연동 코드

미리 말씀드리면 Firebase를 통한 페이스북로그인연동이 아닙니다. (다릅니다) 일단 다른 로그인연동과 마찬가지로 Facebook for Develover에서 가입을 해줘야합니다. 페이스북아이디가 없다면 회원가��

yhong.tistory.com

https://lakue.tistory.com/12

[Android/안드로이드] 페이스북 로그인 / Facebook Login 연동

페이스북 로그인을 하기 위해서는 페이스북에서 제공하는 SDK를 이용해야 합니다. App Key 발급 및 등록 연동을 하기 위해서는 SDK외에도 App Key를 발급받아 프로젝트에 등록을 해주어야 합니다. App

lakue.tistory.com

https://re-build.tistory.com/11

[Android] 페이스북 계정으로 로그인 하기

이전 카카오 계정으로 로그인하기 포스팅에 이어, 페이스북 계정으로 로그인 하는 방법을 알아보겠습니다. 전체적인 구현 방법은 비슷하니, 이전 포스팅을 읽으셨거나, 다른 계정으로 연동하는

re-build.tistory.com

3. 네이버 로그인 API

개발 가이드

https://developers.naver.com/docs/login/android/android.md

Android - LOGIN

Android용 네이버 아이디로 로그인 라이브러리는 서드파티 애플리케이션에서 네이버 아이디로 로그인이 제공하는 로그인, 로그아웃, 토큰 관리 등의 기능을 쉽게 구현할 수 있게 합니다. 1. 요구

developers.naver.com

참고 블로그

http://blog.naver.com/PostView.nhn?blogId=waitout1&logNo=221421665687

[Android] 네이버 아이디로 로그인(네아로) API 사용하기 - 안드로이드 스튜디오

오늘은 네이버 로그인 기능에 대해 사용해보려고 합니다 .현재 개발 환경 안드로이드 스튜디오 3.2.1맥 ...

blog.naver.com

https://bourbonkk.tistory.com/35

#안드로이드 Third party 로그인 연동 2(네이버 연동)

오늘은 네이버 로그인 API 연동을 해볼거에요! 네이버의 경우에는 CLIENT_ID와 SECRET 문자열이 필요한데요! 네이버 개발자 센터에 앱을 등록하신 후 해당 문자열을 아래와 같이 붙여넣으주면 됩니다

bourbonkk.tistory.com

네이버로그인 가이드 참고

https://developers.naver.com/docs/login/bi/

네이버아이디로로그인 로그인 버튼 사용 가이드

NAVER Developers - 네이버아이디로로그인 로그인 버튼 사용 가이드

developers.naver.com

Google Sign-In for Android 문서

1 Android 앱에 Google 로그인 통합 시작

전제 조건

Android 4.1 이상을 실행하고 Android 4.2.2 이상을 기반으로 하는 Google API 플랫폼을 실행
Google Play 서비스 버전 15.0.0 이상이 있는 AVD가 있는 에뮬레이터 또는 Google Play 스토어를 포함하는 호환 가능한 Android 기기
SDK 도구 구성요소를 포함한 최신 버전의 Android SDK.
Android 4.1(Jelly Bean) 이상에 대해 컴파일하도록 구성된 프로젝트

권장 개발 환경 : Android Studio

1. Google Play 서비스 추가

2. Google API 콘솔 프로젝트 구성

3. 백엔드 서버의 OAuth 2.0 클라이언트 ID 가져오기

2 Android 앱에 Google 로그인 통합

시작 전

구글 API 콘솔 프로젝트를 구성하고 안드로이드 스튜디오 프로젝트를 설정

1. Google 로그인 및 GoogleSignInClient 개체 구성

당신의 로그인 활동 년대 onCreate 방법, 구성

구글 로그인 앱에서 필요로하는 사용자 데이터를 요청합니다.

활동의 로그인 onCreate 방법, GoogleSignInClient 사용자가 지정한 옵션을 사용하여 객체를 생성

2. 기존 로그인한 사용자 확인

활동의에서 onStart 사용자가 이미 구글과 앱에 로그인 한 경우 방법 확인

3. 앱에 Google 로그인 버튼 추가

추가

4. 로그인 흐름 시작

3 프로필 정보 얻기

Google로 사용자로 로그인 한 후 DEFAULT_SIGN_IN 매개 변수 또는 requestProfile 메소드를 사용 하여

Google 로그인 을 구성한 경우 사용자의 기본 프로필 정보에 액세스 할 수 있음.

requestEmail 메소드로 Google 로그인을 구성한 경우 이메일 주소도 가져올 수 있음.

로그인 한 사용자의 프로필 정보 검색

현재 로그인 한 사용자의 프로필 정보를 요청 > GoogleSignIn.getLastSignedInAccount 메소드를 사용

4 사용자 로그 아웃 및 계정 연결 해제

사용자가 앱에서 로그 아웃하고 앱에서 계정을 완전히 연결 해제하도록 설정

사용자 로그 아웃

앱에 로그 아웃 버튼을 추가하려면 먼저 앱에서 로그 아웃 버튼 역할을 할 버튼 추가

그런 다음 버튼에 onClickListener 를 연결하고 signOut 을 호출하도록 onClick 메서드를 구성

계정 연결 해제

Google로 로그인 한 사용자에게 앱에서 Google 계정 연결을 해제 할 수있는 기능을 제공

사용자가 계정을 삭제하는 경우 앱이 Google API에서 얻은 정보를 삭제

5 백엔드 서버로 인증

서버에 ID 토큰 보내기

먼저 사용자가 로그인할 때 ID 토큰을 가져옴

ID 토큰의 무결성 확인

HTTPS POST로 ID 토큰을 받은 후 토큰의 무결성을 확인해야함

계정 또는 세션 만들기

토큰을 확인한 후 사용자가 이미 사용자 데이터베이스에 있는지 확인

사용자가 아직 사용자 데이터베이스에 없으면 ID 토큰 페이로드의 정보에서 새 사용자 레코드를 만들고 사용자에 대한 세션을 설정

교차 계정 보호로 사용자 계정 보호

6 서버 측 액세스 활성화

이전의 로그인 추가 절차를 사용하면 앱이 클라이언트 측에서만 사용자를 인증

이 경우 사용자가 앱을 적극적으로 사용하는 동안에 만 Google API에 액세스 할 수 있음

서버가 사용자를 대신하여 Google API 호출을 할 수 있도록하려면 (오프라인 일 때도 가능) 서버에 액세스 토큰이 필요

앱에 대한 서버 측 API 액세스 활성화

참고 문서

https://developers.google.com/identity/sign-in/android/start-integrating

Android 앱에 Google 로그인 통합 시작 | Google Sign-In for Android

이 페이지는 Cloud Translation API를 통해 번역되었습니다. Switch to English Android 앱에 Google 로그인 통합 시작 자체 앱에서 Google 로그인 통합을 시작하려면 먼저 Google API 콘솔 프로젝트를 구성하고 Androi

developers.google.com

깃 허브 샘플

https://github.com/googlesamples/google-services

GitHub - googlesamples/google-services: A collection of quickstart samples demonstrating the Google APIs for Android and iOS

A collection of quickstart samples demonstrating the Google APIs for Android and iOS - GitHub - googlesamples/google-services: A collection of quickstart samples demonstrating the Google APIs for A...

github.com

참고 블로그

https://siisee111.medium.com/android-app%EC%97%90%EC%84%9C-google-%EB%A1%9C%EA%B7%B8%EC%9D%B8-%EC%82%AC%EC%9A%A9-235da1c61153

Android app에서 google 로그인 사용

만들면서 바로 정리

siisee111.medium.com

https://develop-writing.tistory.com/32

[Android] 구글 로그인을 안드로이드 앱에 연동하기

이번에는 구글 로그인을 연동해보겠습니다. 구글 로그인도 카카오 로그인처럼 실 서비스에 적용하기 위해서는 다음 3단계를 거쳐야 합니다. 1. 앱 등록 및 설정 2. 기능 구현 3. 릴리즈 키 등록 저

develop-writing.tistory.com

0825/0826 수업메모

yewon — Thu, 26 Aug 2021 19:34:54 +0900

GCP

오늘 수업 내용

Network 보안 구축

IAM(Identity and Access Management),

IAP(Identity-Aware Proxy), VPC Networks Controlling Access,

구글 공유 폴더

https://c11.kr/cccrsungsu

IAM

https://cloud.google.com/iam/docs/overview

IAM 환경에서 권한은 service.resource.verb 형식으로 표시

Compute Engine 에서 인스턴스 목록 확인 : compute.instance.list

인스턴스 중지 ; compute.instance.stop

사용자 지정 역할을 생성하려면 iam.roles.create권한이 있어야 함

조직 역할 관리자 :roles/iam.organizationRoleAdmin

IAM 역할 관리자 : roles/iam/roleAdmin

IAM 보안 검토자 : roles/iam/SecurityReviewer

IAM의 2가지 역할

- 사전 정의된 역할

Google에서 만들고 유지 관리

cloud에 새로운 기능이나 서비스가 추가되는 경우와 같이 필요에 따라 권한이 자동으로 업데이트

- 사용자 지정 역할

사용자가 정의하며 특정 요구 사항을 충족하기 위해 하나 이상의 지원되는 권한을 묶을 수 있음

Google에서 유지 관리 해주지 않음

사용자가 따로 업데이트를 진행

*프로젝트 리소스에 대한 기본 roles

roles/viewer

상태에 영향을 주지 않는 읽기 전용 작업에 대한 권한이 있습니다. 예를 들면 기존 리소스 또는 데이터의 조회(수정 제외)가 여기에 해당합니다.

2. roles/editor

모든 뷰어 권한에 더해 기존 리소스 변경과 같이 상태를 변경하는 작업에 대한 권한까지 포함됩니다.

3. roles/owner

모든 편집자 권한 및 다음 작업에 대한 권한:

프로젝트 및 프로젝트 내의 모든 리소스에 대한 역할 및 관리

프로젝트에 대한 결제 설정

roles/탐색

폴더, 조직, Cloud IAM 정책을 포함한 프로젝트 계층 구조를 탐색할 수 있는 읽기 액세스 권한입니다. 프로젝트의 리소스를 볼 수 있는 권한은 포함되어 있지 않습니다.

각자 자신의 프로젝트 : 자신이 소유자

다른 교육생 : role (뷰어 역할을 배당)

cloud storage : 버킷 생성 - 파일 업로드 -> 해당 파일만 접근

기존 프로젝트 ID에 뷰어 권한을 제거.

역할 추가 : cloud storage > 저장소 개체 뷰어 storage object viewer

만든 프로젝트의 이름과 아이디

한번 생성된것은 수정이 불가능하다.

리소스추가후

구성원을 추가

권한은 뷰어로 주어서 2명을 추가

버킷추가

버킷 자체적으로 권한추가삭제가 가능

다른 방법으로는 IAM에 따로 권한을 부여한 구성원을 추가 할 수도 있음

IAM목록을 확인하면 구성원이 잘 추가된 것을 확인 할 수 있음

사용자권한과 방화벽

키를 등록하지 않은 instance에 들어가서 방화벽 규칙 확인

키 값주고 비밀키를 복사

커널로 들어가서 버킷의 파일 리스트를 확인하고 비밀키를 인스턴스에 복사

옮긴 키 파일을 등록

network-manager 권한이 부족해서 방화벽 룰을 삭제x

so 새로운 서비스 계정을 생성 ( compute security manager)

1. 서비스 계정 추가 : 이름:security manager 역할:compute security manager

2. 생성한 서비스 계정에 key추가 (json 파일 다운로드)

3. 테스트할 VM 인스턴스에 key json을 업로드 (cloud storage 버킷 이용)

4. instance 2에서 json 키 다운로드

5. key json 파일로 사용자 인증

버킷에 생성한 키를 넣어주고 instan2에 옮겨서 권한 부여.

APP Engine

PHP 어플리케이션 다운로드

테스트

애플리케이션 배포 (app engine )

GCP 계정 로그인 > console 접속 > gcloud shell

$ gcloud auth list 계정 정보

$ gcloud config list project 프로젝트ID 확인

app engine을 위한 API 활성화 : 탐색 메뉴 > API 및 서비스 > 라이브러리 > app engine 검색 : App Engine Admin API 선택> 사용 클릭 (활성화)

배포

(gcloud shell에서 계정과 프로젝트 ID확인)

링크를 타고 들어가면 다음과 값이 index에 설정된 내용이 나온다.

app Engine 대시보드로 전체적인 상황을 확인 할 수 있다

---------------------------------------------------------------------------------

IAP(Identity-Aware Proxy)

network performance

사용자 인증: IAP(Identity-Aware Proxy)

https://cloud.google.com/iap/docs/concepts-overview?hl=ko

로그인을 위해 브라우저 쿠키에 토큰을 저장하는 OAuth 2.0 Google 계정 로그인 과정으로 사용자가 리디렉션

요청 사용자 인증 정보가 유효하면,

인증 서버가 해당 사용자 인증 정보를 사용하여 사용자의 ID(이메일 주소 및 사용자 ID)를 가져옴.

그런 다음 인증 서버가 ID를 사용하여 사용자의 IAM 역할을 확인하고 사용자에게 리소스에 액세스할 권한이 있는지 확인

개발자 책임

https://cloud.google.com/iap/docs/concepts-overview?hl=ko#your_responsibilities

OAuth 2.0

https://datatracker.ietf.org/doc/html/rfc6749

https://developers.google.com/identity/protocols/oauth2?hl=ko

IAP 실습

소스 : github https://github.com/googlecodelabs/user-authentication-with-iap

소스 다운로드

$ git clone https://github.com/googlecodelabs/user-authentication-with-iap.git

그냥 html 파일

인증없이 deploy 페이지 확인1번 소스 :

IAP 활성화 -> 사용자 등록되어 있지 않으면 페이지 안보임.

사용자 계정 등록 -> 등록한 사람만 페이지가 보임.

2번 소스 : 인증된 사용자의 ID, email 전송 -> 웹페이지에 보임.

3번 소스 : email, id정보를 확인하여 화면에 출력

IAP 구성

탐색 메뉴 > 보안 > Identity-Aware Proxy > 활성화(enable API) > IAP로 이동

IAP문서

https://cloud.google.com/iap/docs?_ga=2.262243595.-602123755.1629764672

IAP 페이지 > https 리소스 > App engine 앱 체크박스 > 우측 화면 > add member 구성원 추가 ( 자신의 email, 짝꿍 email 추가)

역할 : Cloud IAP > IAP secured web app user

-------------------------------------------------------------------------------------------------------------

network performance testing

deployment manager

https://cloud.google.com/deployment-manager/docs

networking-lab.yaml

imports:

- path: vm-template.jinja

- path: network-template.jinja

- path: subnetwork-template.jinja

- path: compute-engine-template.jinja

- path: firewall-template.jinja

compute engine 서비스 중에 VM instance 삭제

app engine URL : imports:

- path: vm-template.jinja

- path: network-template.jinja

- path: subnetwork-template.jinja

- path: compute-engine-template.jinja

- path: firewall-template.jinja

타이완 (asia-east1)

벨기에 (europe-west1)

오리건 (us-west1)

사우스캐롤라이나 (us-east1)

대륙간의 delay 지연 시간 파악 : ping

미국 VM(오리건)-------------------------유럽 VM (벨기에) → 89

e1-vm eu1-vm

미국 VM(오리건) -------------------------아시아 VM (타이완) -> 181

e1-vm asia1-vm

intance SSH 접속 $ ping [external IP address]

[Internal IP address]

[FQDN]

hostname.

내부 DNS

FQDN(정규화된 도메인 이름) : hostName.[zone].c.[projectID].internal

미국 동부 지역에서 유럽 서부 지역까지 대기시간

e1-vm$ ping eu1-vm.europe-west1-d (또는 internal IP)

https://cloud.google.com/solutions/best-practices-compute-engine-region-selection/?hl=ko#region-latency

서브마린

https://www.submarinenetworks.com/en/insights/complete-list-of-google-s-subsea-cable-investments

EU와 아시아 위치 간의 지연 시간이 매우 김.

현재 Compute Engine에는 유럽과 아시아 간의 사용할 수 있는 직접 링크가 없음.

네트워크 관점에서 하나의 글로벌 위치만 사용하여 서비스를 실행하는 경우, 해당 위치를 미국 중부에 두는 것이 좋음.

MTR 유틸을 이용해서 네트워크 진단 : ping + traceroute

iperf (server/client) 성능 테스트

Host : 목적지까지 거쳐가는 게이트웨이어 IP

Loss : 손실율

Snt : ping을 보낸 수(누적)

Last : ping 최근 응답시간

Avg : ping 평균 응답시간

Best : ping 중 제일 빠른 응답시간

Wrst : ping 중 최악 응답시간

StDev : 표준편차

H : 설명, D:디스플레이모드, R: 통계 재시작, O:정렬 필드 선택, q:종료

성능 테스트 iperf

server / client

system1 system2

eu1-vm e1-vm

iperf -s 서버

대기 iperf -c [eu1-vm정보]

tcp 세션 맺어 데이터 전송

\* 주의사항 : 기가 바이트로 전송을함. 이에 따른 인터넷 요금 부가 가능성이 있음.

us - asia

eu - asia

instance 머신 유형

tcp 윈도우 사이즈 변경

Server : iperf -s -w 사이즈

UDP 성능 테스트

server : iperf -s -u

client : iperf -c -u [servre정보]

eu1-vm : iperf -s -u

e1-vm : iperf -c eu1-vm.europe-west1-d -u -b 2G

미국 - EU 사이에 다 빠른 속도

멀티 쓰레드로 전송하기 (-P 숫자)

eu1-vm : iperf -s

e1-vm : iperf -c eu1-vm.europe-west1-d -P 10

패킷 캡쳐 하는 툴 : CLI -> tcpdump

메뉴얼 페이지

https://www.tcpdump.org/manpages/tcpdump.1.html

유럽 : 패킷 캡쳐 시작

sudo tcpdump -c 1000 -i eth0 host 10.20.0.2

not tcp port 22

미국 : 데이터 전송

ping -c 100 시스템IP

유럽 ; 패킷 캡쳐 중지 ctrl+c

유럽 ; 웹접속 데이터 캡쳐

sudo apt-get install -y apaceh2

유럽 : 패킷캡쳐 시작-저장

sudo tcpdump -i eth0 -c 1000 -s 1460 -w webserver.pcap tcp tcp 80

미국 : curl eu1-vm.europe-west1-d

유럽 : 캡쳐 중지 ctrl + c

본인 pc로 다운로드 하여 wireshark(무료) 분석

wireshark :GUI 유틸리티.

tcpdump 캡쳐한 파일을 저장해서 다운로드 해서 본인 pc에서 확인.

cloudshark (회원가입) - 보안 이슈가 없는 파일만 볼것.

https://www.cloudshark.org/captures/1a9c284c49b0

GCP 삭제

스냅샵, disk, 이미지 삭제

app engine : 인스턴스, app 구버전

고정 IP 해제

app engine 애플리케이션 서비스 중지. 기존 버전, 인스턴스 삭제

compute eingie 중지 - 삭제

스토리지 : 버킷 내에 파일이나 디렉토리 먼저 삭제, 버킷 삭제

deployment manager 중지되어있는지 확인

네트워크 : nw-testing, 방화벽 정책

IAP 사용중지

API 사용중지

프로젝스 삭제

결제 - 결제 중지

[08.26] 주피터 매개변수/음성인식/음성변환...등등

yewon — Thu, 26 Aug 2021 15:09:45 +0900

Python 및 Jupyter 노트북의 음성 인식

터미널에서 음성 인식, PyAudio 및 Jupyter Notebook 다운로드

음성 인식을 다운로드하려면:

python -m pip install SpeechRecognition

PyAudio를 다운로드하기 전에 homebrew에서 설치해야 하는 몇 가지 파일이 있음

양조 설치 portaudiopip install --allow-external pyaudio --allow-unverified paudio pyaudio

(Jupyter Notebook을 설치하기 전에 Python 버전을 확인)

기본 브라우저에서 Jupyter 노트북 열기

터미널에 "jupyter notebook"을 입력

바탕 화면으로 이동하여 J새 Python 파일을 추가(터미널을 닫으면 안됌).

코드를 순서대로 입력하세요.
새 Python 파일이 생성되면 아래 수식을 추가하고 실행합니다.

축하합니다! 당신은 당신만의 음성 인식 공식을 만들었습니다.
선택 사항: 언어를 변경합니다.
선택한 언어를 변경하려면 인쇄 코드를 계속 입력하여 언어를 추가하십시오

참고문헌

https://developers.google.com/admin-sdk/directory/v1/languages

http://jupyter.org/

참고사이트

https://janicesandadi.wordpress.com/2018/09/12/learning-journal-voice-recognition-in-python-and-jupyter-notebook/

Learning journal: Voice recognition in Python and Jupyter Notebook

Discovering the unlimited usage in Python triggers developers to learn more platforms that supported by Python. Each platform has different uses and purposes. OpenCV is usually used to create gestu…

janicesandadi.wordpress.com

Speech Recognition - Jupyter Notebook 영상

https://www.youtube.com/watch?v=S1Ow2D_DL0s

tts 음성변환

(그냥 읽어본내용기록)

TTS 모델 학습 > 두 가지 단계로 나뉘어 수행

텍스트 문장을 Mel spectrogram으로 변환
Mel spectrogram을 오디오 데이터로 변환

*Mel spectrogram

음성 데이터의 주파수를 잘 표현한 데이터 형식

두 모델 모두 사전 학습 모델을 사용하여 학습을 진행함.

또한 둘 중 하나의 모델만을 학습시켜도 음성 합성 결과를 테스트해볼수 있음.

정확한 설명은 아니지만,,

Glow-TTS는 생성하는 음성의 말투와 음색을 결정하게 되고,

HiFi-GAN은 Glow-TTS로 생성한 음성을 실제 화자의 음색과 더 비슷하게 만들어준다고 볼 수 있음

문제 개선

만약 합성된 음성의 말투가 이상하다면 Glow-TTS 모델을 더 학습

합성된 음성에 이상한 노이즈가 있거나 음색이 다르다면 HiFi-GAN 모델을 더 학습

Glow-TTS
HiFi-GAN

SCE-TTS: 내 목소리로 TTS 만들기

문서를 불러오고 있습니다...

sce-tts.github.io

참고

TTS 모델 학습 (sce-tts.github.io)

구글링 사이트

(일단기록)

https://github.com/topics/korean-text-processing

GitHub: Where the world builds software

GitHub is where over 65 million developers shape the future of software, together. Contribute to the open source community, manage your Git repositories, review code like a pro, track bugs and feat...

github.com

https://docs.microsoft.com/ko-kr/azure/cognitive-services/speech-service/how-to-specify-source-language?pivots=programming-language-csharp

음성 텍스트 변환에 대한 소스 언어를 지정하는 방법 - Azure Cognitive Services

Speech SDK를 사용하면 음성을 텍스트로 변환할 때 소스 언어를 지정할 수 있습니다. 이 문서에서는 FromConfig 및 SourceLanguageConfig 메서드를 사용하여 Speech Service에 소스 언어를 알리고 사용자 지정 모

docs.microsoft.com

https://zzsza.github.io/mlops/2020/03/08/airflow-with-notebook-using-papermill/

Papermill을 사용해 Jupyter Notebook에 파라미터 주입하기(feat. airflow)

Papermill Jupyter Notebook(노트북 파라미터화)에 대한 내용과 Airflow에서 활용하는 방법에 대해 작성한 글입니다 jupyter notebook run with parameter, run jupyter notebook with parameters, execute notebook with the custom argumen

zzsza.github.io

HiFi-GAN [X]

yewon — Thu, 26 Aug 2021 15:06:23 +0900

SCE-TTS: HiFi-GAN 학습

이 문서는 SCE-TTS 프로젝트의 HiFi-GAN 학습용 문서입니다.

이 데모에 대한 더 자세한 정보는 아래 링크에서 확인하실 수 있습니다.
https://sce-tts.github.io/

실제 학습을 진행하시려면, 위쪽 메뉴에서 런타임 -> 모두 실행을 클릭하신 후,
문서 최하단의 HiFi-GAN 학습 진행까지 정상적으로 실행되는걸 확인해주시면 됩니다.

도중에 문제가 발생한다면, 문제의 원인을 해결한 후 런타임 -> 런타임 초기화를 클릭하고,
다시 런타임 -> 모두 실행을 클릭해주세요.

1. 할당된 GPU 확인

현재 런타임에 할당된 GPU를 확인합니다.

만약, GPU: NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver. Make sure that the latest NVIDIA driver is installed and running. 라는 메시지가 출력된다면, 위쪽 메뉴에서 런타임 -> 런타임 유형 변경을 클릭하고 하드웨어 가속기를 GPU로 변경하여 저장한 후 다시 실행해주세요.

import os

GPU_NAME = os.popen('nvidia-smi --query-gpu=name --format=csv,noheader').read().strip()

os.environ['GPU_NAME'] = GPU_NAME

print(f'GPU: {GPU_NAME}')

2. 구글 드라이브 마운트

음성합성을 위해 학습한 모델이 있는 구글 드라이브를 마운트합니다.
마운트할 구글 드라이브 내에 다음 파일이 존재하는지 꼭 확인해주세요.

/Colab Notebooks/data/filelists.zip

(존재하지 않는다면, 음성 데이터셋 변환문서를 참조하여 준비해주세요.)

만약 아래에 Enter your authorization code:과 같은 메시지가 출력될 경우,
같이 출력된 링크에 접속하여, 마운트할 구글 계정을 선택하신 후, 인증 코드를 복사하여 입력해주세요.

from google.colab import drive

drive.mount('/content/drive')

Mounted at /content/drive

3. 필수 라이브러리 및 함수 불러오기

실행에 필요한 라이브러리 및 함수를 불러옵니다.

이 과정은 약 10분 정도 소요될 수 있습니다.

import sys

from pathlib import Path

%cd /content

!git clone --depth 1 https://github.com/sce-tts/TTS.git -b sce-tts

%cd /content/TTS

!pip install -q --no-cache-dir -e .

/content Cloning into 'TTS'... remote: Enumerating objects: 447, done. remote: Counting objects: 100% (447/447), done. remote: Compressing objects: 100% (415/415), done. remote: Total 447 (delta 56), reused 287 (delta 20), pack-reused 0 Receiving objects: 100% (447/447), 13.77 MiB | 6.18 MiB/s, done. Resolving deltas: 100% (56/56), done. /content/TTS Installing build dependencies ... done Getting requirements to build wheel ... done Preparing wheel metadata ... done |████████████████████████████████| 20.1MB 33.0MB/s |████████████████████████████████| 71kB 42.5MB/s |████████████████████████████████| 122kB 48.5MB/s Installing build dependencies ... done Getting requirements to build wheel ... done Installing backend dependencies ... done Preparing wheel metadata ... done |████████████████████████████████| 3.2MB 39.1MB/s |████████████████████████████████| 235kB 44.8MB/s |████████████████████████████████| 1.3MB 32.6MB/s |████████████████████████████████| 71kB 42.5MB/s |████████████████████████████████| 25.3MB 51.6MB/s Building wheel for coqpit (PEP 517) ... done Building wheel for umap-learn (setup.py) ... done ERROR: tensorflow 2.5.0 has requirement numpy~=1.19.2, but you'll have numpy 1.18.5 which is incompatible. ERROR: datascience 0.10.6 has requirement folium==0.2.1, but you'll have folium 0.8.3 which is incompatible. ERROR: albumentations 0.1.12 has requirement imgaug<0.2.7,>=0.2.5, but you'll have imgaug 0.2.9 which is incompatible.

4. 학습할 데이터셋 불러오기

학습에 사용할 음성 데이터를 구글 드라이브에서 가져옵니다.

%cd /content/TTS

!cp "/content/drive/My Drive/Colab Notebooks/data/filelists.zip" ./filelists.zip

!rm -rf ./filelists

!unzip -q filelists.zip -d ./filelists

5. 사전 학습 데이터 불러오기

사전 학습 데이터가 구글 드라이브에 존재하지 않을 경우,
SleepingCE Speech Dataset의 사전 학습 데이터를 내려받습니다.

%cd /content/TTS

!mkdir -p "/content/drive/My Drive/Colab Notebooks/data/hifigan-v2"

if not Path("/content/drive/My Drive/Colab Notebooks/data/hifigan-v2/config.json").exists():

!gdown --id 1vRxp1RH-U7gSzWgyxnKY4h_7pB3tjPmU -O hifigan-v2.zip

!unzip -q hifigan-v2.zip -d ./

!cp -R ./hifigan-v2/* "/content/drive/My Drive/Colab Notebooks/data/hifigan-v2/"

/content/TTS Downloading... From: https://drive.google.com/uc?id=1vRxp1RH-U7gSzWgyxnKY4h_7pB3tjPmU To: /content/TTS/hifigan-v2.zip 802MB [00:11, 69.0MB/s]

%cd /content/TTS

if not Path("/content/drive/My Drive/Colab Notebooks/data/hifigan-v2/scale_stats_new.npy").exists():

!python TTS/bin/compute_statistics.py "/content/drive/My Drive/Colab Notebooks/data/hifigan-v2/config.json" "/content/drive/My Drive/Colab Notebooks/data/hifigan-v2/scale_stats_new.npy" --data_path "/content/TTS/filelists/wavs/"

/content/TTS > Setting up Audio Processor...

| > sample_rate:22050

| > resample:False

| > num_mels:80

| > min_level_db:-100

| > frame_shift_ms:None

| > frame_length_ms:None

| > ref_level_db:20

| > fft_size:1024

| > power:1.1

| > preemphasis:0.98

| > griffin_lim_iters:60

| > signal_norm:False

| > symmetric_norm:True

| > mel_fmin:0

| > mel_fmax:8000.0

| > spec_gain:20.0

| > stft_pad_mode:reflect

| > max_norm:4.0

| > clip_norm:True

| > do_trim_silence:False

| > trim_db:60

| > do_sound_norm:False

| > stats_path:None

| > base:10

| > hop_length:256

| > win_length:1024

> There are 1293 files.

100% 1293/1293 [00:38<00:00, 33.74it/s]

> Avg mel spec mean: -46.7018863060251

> Avg mel spec scale: 13.119082008487203

> Avg linear spec mean: -25.91060780083531

> Avg lienar spec scale: 13.282709919047338 > stats saved to /content/drive/My Drive/Colab Notebooks/data/hifigan-v2/scale_stats_new.npy

6. TensorBoard 실행

학습 진행을 확인하기 위해 TensorBoard를 실행합니다.

최신 학습 진행 상황을 확인하려면 TensorBoard 우측 상단의 새로고침 아이콘을 클릭해주세요.

%load_ext tensorboard

%tensorboard --logdir="/content/drive/My Drive/Colab Notebooks/data/hifigan-v2"

7. HiFi-GAN 학습 진행

실제 HiFi-GAN 학습을 진행합니다.

학습이 정상적으로 진행되면, 이 셀은 종료되지 않고 계속 실행되는 상태를 유지합니다.

학습 진행 정도를 시각적으로 확인하시려면 바로 위의 TensorBoard를 참고해주세요.

학습된 결과를 확인하고 싶으시다면, 가장 최근 체크포인트를 SCE-TTS: 음성합성 데모에서 불러와 확인할 수 있습니다.

처음 학습을 수행할 때에는 아래 셀을 그대로 실행하면 됩니다.

이전에 학습을 진행하던 모델을 이어서 학습을 진행하시려면 다음과 같이 수정한 후 실행해주세요.

아래 셀에서 2 ~ 3번째 줄의 코드를 주석을 해제합니다.
3번째 줄의 경로를 이어서 학습을 진행할 모델의 경로로 변경합니다.
(예시: /content/drive/My Drive/Colab Notebooks/data/hifigan-v2/hifigan-v2-May-31-2021_08+26AM-d897f2e)
4번째 줄 아래의 코드를 제거합니다.

%cd /content/TTS

# !(python TTS/bin/train_vocoder_gan.py \

# --continue_path "/content/drive/My Drive/Colab Notebooks/data/hifigan-v2/CONTINUE_DIRECTORY")

!(python TTS/bin/train_vocoder_gan.py \

--config_path "/content/drive/My Drive/Colab Notebooks/data/hifigan-v2/config.json" \

--coqpit.data_path "/content/TTS/filelists/wavs" \

--coqpit.audio.stats_path "/content/drive/My Drive/Colab Notebooks/data/hifigan-v2/scale_stats_new.npy" \

--coqpit.output_path "/content/drive/My Drive/Colab Notebooks/data/hifigan-v2/" \

--coqpit.num_loader_workers 2 \

--coqpit.num_val_loader_workers 2 \

--restore_path "/content/drive/My Drive/Colab Notebooks/data/hifigan-v2/model_file.pth.tar")

/content/TTS

> Using CUDA: True

> Number of GPUs: 1

> Git Hash: d897f2e

> Experiment folder: /content/drive/My Drive/Colab Notebooks/data/hifigan-v2/hifigan-v2-May-31-2021_08+26AM-d897f2e

> Loading wavs from: /content/TTS/filelists/wavs

> Setting up Audio Processor...

| > sample_rate:22050

| > resample:False

| > num_mels:80

| > min_level_db:-100

| > frame_shift_ms:None

| > frame_length_ms:None

| > ref_level_db:20

| > fft_size:1024

| > power:1.1

| > preemphasis:0.98

| > griffin_lim_iters:60

| > signal_norm:True

| > symmetric_norm:True

| > mel_fmin:0

| > mel_fmax:8000.0

| > spec_gain:20.0

| > stft_pad_mode:reflect

| > max_norm:4.0

| > clip_norm:True

| > do_trim_silence:False

| > trim_db:60

| > do_sound_norm:False

| > stats_path:/content/drive/My Drive/Colab Notebooks/data/hifigan-v2/scale_stats_new.npy

| > base:10

| > hop_length:256 | > win_length:1024 > Generator

...

Glow-TTS[X]

yewon — Thu, 26 Aug 2021 14:59:29 +0900

SCE-TTS: Glow-TTS 학습

이 문서는 SCE-TTS 프로젝트의 Glow-TTS 학습용 문서입니다.

이 데모에 대한 더 자세한 정보는 아래 링크에서 확인하실 수 있습니다.
https://sce-tts.github.io/

실제 학습을 진행하시려면, 위쪽 메뉴에서 런타임 -> 모두 실행을 클릭하신 후,
문서 최하단의 Glow-TTS 학습 진행까지 정상적으로 실행되는걸 확인해주시면 됩니다.

도중에 문제가 발생한다면, 문제의 원인을 해결한 후 런타임 -> 런타임 초기화를 클릭하고,
다시 런타임 -> 모두 실행을 클릭해주세요.

1. 할당된 GPU 확인

현재 런타임에 할당된 GPU를 확인합니다.

import os

GPU_NAME = os.popen('nvidia-smi --query-gpu=name --format=csv,noheader').read().strip()

os.environ['GPU_NAME'] = GPU_NAME

print(f'GPU: {GPU_NAME}')

2. 구글 드라이브 마운트

음성합성을 위해 학습한 모델이 있는 구글 드라이브를 마운트합니다.
마운트할 구글 드라이브 내에 다음 파일이 존재하는지 꼭 확인해주세요.

/Colab Notebooks/data/filelists.zip

(존재하지 않는다면, 음성 데이터셋 변환문서를 참조하여 준비해주세요.)

from google.colab import drive

drive.mount('/content/drive')

Mounted at /content/drive

3. 필수 라이브러리 및 함수 불러오기

실행에 필요한 라이브러리 및 함수를 불러옵니다.

이 과정은 약 10분 정도 소요될 수 있습니다.

import sys

from pathlib import Path

%cd /content

!git clone --depth 1 https://github.com/sce-tts/TTS.git -b sce-tts

%cd /content/TTS

!pip install -q --no-cache-dir -e

/content Cloning into 'TTS'... remote: Enumerating objects: 447, done. remote: Counting objects: 100% (447/447), done. remote: Compressing objects: 100% (415/415), done. remote: Total 447 (delta 56), reused 287 (delta 20), pack-reused 0 Receiving objects: 100% (447/447), 13.77 MiB | 31.33 MiB/s, done. Resolving deltas: 100% (56/56), done. /content/TTS Installing build dependencies ... done Getting requirements to build wheel ... done Preparing wheel metadata ... done |████████████████████████████████| 235kB 28.1MB/s |████████████████████████████████| 20.1MB 56.7MB/s |████████████████████████████████| 122kB 63.3MB/s |████████████████████████████████| 1.3MB 22.0MB/s |████████████████████████████████| 3.2MB 55.5MB/s |████████████████████████████████| 71kB 47.9MB/s Installing build dependencies ... done Getting requirements to build wheel ... done Installing backend dependencies ... done Preparing wheel metadata ... done |████████████████████████████████| 71kB 59.4MB/s |████████████████████████████████| 25.3MB 64.3MB/s Building wheel for coqpit (PEP 517) ... done Building wheel for umap-learn (setup.py) ... done ERROR: tensorflow 2.5.0 has requirement numpy~=1.19.2, but you'll have numpy 1.18.5 which is incompatible. ERROR: datascience 0.10.6 has requirement folium==0.2.1, but you'll have folium 0.8.3 which is incompatible. ERROR: albumentations 0.1.12 has requirement imgaug<0.2.7,>=0.2.5, but you'll have imgaug 0.2.9 which is incompatible.

4. 학습할 데이터셋 불러오기

학습에 사용할 음성 데이터를 구글 드라이브에서 가져옵니다.

%cd /content/TTS

!cp "/content/drive/My Drive/Colab Notebooks/data/filelists.zip" ./filelists.zip

!rm -rf ./filelists

!unzip -q filelists.zip -d ./filelists

/content/TTS

5. 사전 학습 데이터 불러오기

사전 학습 데이터가 구글 드라이브에 존재하지 않을 경우,
SleepingCE Speech Dataset의 사전 학습 데이터를 내려받습니다.

%cd /content/TTS

!mkdir -p "/content/drive/My Drive/Colab Notebooks/data/glowtts-v2"

if not Path("/content/drive/My Drive/Colab Notebooks/data/glowtts-v2/config.json").exists():

!gdown --id 1DMKLdfZ_gzc_z0qDod6_G8fEXj0zCHvC -O glowtts-v2.zip

!unzip -q glowtts-v2.zip -d ./

!cp -R ./glowtts-v2/* "/content/drive/My Drive/Colab Notebooks/data/glowtts-v2/"

/content/TTS Downloading... From: https://drive.google.com/uc?id=1DMKLdfZ_gzc_z0qDod6_G8fEXj0zCHvC To: /content/TTS/glowtts-v2.zip 314MB [00:01, 176MB/s]

%cd /content/TTS

if not Path("/content/drive/My Drive/Colab Notebooks/data/glowtts-v2/scale_stats_new.npy").exists():

!python TTS/bin/compute_statistics.py "/content/drive/My Drive/Colab Notebooks/data/glowtts-v2/config.json" "/content/drive/My Drive/Colab Notebooks/data/glowtts-v2/scale_stats_new.npy" --data_path "/content/TTS/filelists/wavs/"

/content/TTS > Setting up Audio Processor...

| > sample_rate:22050

| > resample:False

| > num_mels:80

| > min_level_db:-100

| > frame_shift_ms:None

| > frame_length_ms:None

| > ref_level_db:20

| > fft_size:1024 | > power:1.1

| > preemphasis:0.98

| > griffin_lim_iters:60

| > signal_norm:False

| > symmetric_norm:True

| > mel_fmin:0

| > mel_fmax:8000.0

| > spec_gain:20.0

| > stft_pad_mode:reflect

| > max_norm:4.0

| > clip_norm:True

| > do_trim_silence:False

| > trim_db:60 | > do_sound_norm:False

| > stats_path:None

| > base:10

| > hop_length:256

| > win_length:1024

> There are 1293 files.

100% 1293/1293 [00:30<00:00, 42.75it/s]

> Avg mel spec mean: -46.7018863060251

> Avg mel spec scale: 13.119082008487203

> Avg linear spec mean: -25.91060780083531

> Avg lienar spec scale: 13.282709919047338

> stats saved to /content/drive/My Drive/Colab Notebooks/data/glowtts-v2/scale_stats_new.npy

with open("/content/TTS/test_sentences.txt", mode="w") as f:

f.write("""아래 문장들은 모델 학습을 위해 사용하지 않은 문장들입니다.

서울특별시 특허허가과 허가과장 허과장.

경찰청 철창살은 외철창살이고 검찰청 철창살은 쌍철창살이다.

지향을 지양으로 오기하는 일을 지양하는 언어 습관을 지향해야 한다.

그러니까 외계인이 우리 생각을 읽고 우리 생각을 우리가 다시 생각토록 해서 그 생각이 마치 우리가 생각한 것인 것처럼 속였다는 거냐?""")

6. TensorBoard 실행

학습 진행을 확인하기 위해 TensorBoard를 실행합니다.

최신 학습 진행 상황을 확인하려면 TensorBoard 우측 상단의 새로고침 아이콘을 클릭해주세요.

%load_ext tensorboard

%tensorboard --logdir="/content/drive/My Drive/Colab Notebooks/data/glowtts-v2"

7. Glow-TTS 학습 진행

실제 Glow-TTS 학습을 진행합니다.

학습이 정상적으로 진행되면, 이 셀은 종료되지 않고 계속 실행되는 상태를 유지합니다.

학습 진행 정도를 시각적으로 확인하시려면 바로 위의 TensorBoard를 참고해주세요.

학습된 결과를 확인하고 싶으시다면, 가장 최근 체크포인트를 SCE-TTS: 음성합성 데모에서 불러와 확인할 수 있습니다.

처음 학습을 수행할 때에는 아래 셀을 그대로 실행하면 됩니다.

이전에 학습을 진행하던 모델을 이어서 학습을 진행하시려면 다음과 같이 수정한 후 실행해주세요.

아래 셀에서 2 ~ 3번째 줄의 코드를 주석을 해제합니다.
3번째 줄의 경로를 이어서 학습을 진행할 모델의 경로로 변경합니다.
(예시: /content/drive/My Drive/Colab Notebooks/data/glowtts-v2/glowtts-v2-May-31-2021_08+17AM-d897f2e)
4번째 줄 아래의 코드를 제거합니다.

%cd /content/TTS

# !(python TTS/bin/train_glow_tts.py \

# --continue_path "/content/drive/My Drive/Colab Notebooks/data/glowtts-v2/CONTINUE_DIRECTORY")

!(python TTS/bin/train_glow_tts.py \

--config_path "/content/drive/My Drive/Colab Notebooks/data/glowtts-v2/config.json" \

--coqpit.datasets.0.path "/content/TTS/filelists" \

--coqpit.audio.stats_path "/content/drive/My Drive/Colab Notebooks/data/glowtts-v2/scale_stats_new.npy" \

--coqpit.test_sentences_file "/content/TTS/test_sentences.txt" \

--coqpit.output_path "/content/drive/My Drive/Colab Notebooks/data/glowtts-v2/" \

--coqpit.num_loader_workers 2 \

--coqpit.num_val_loader_workers 2 \

--restore_path "/content/drive/My Drive/Colab Notebooks/data/glowtts-v2/model_file.pth.tar")

/content/TTS

> Using CUDA: True

> Number of GPUs: 1

> Git Hash: d897f2e

> Experiment folder: /content/drive/My Drive/Colab Notebooks/data/glowtts-v2/glowtts-v2-May-31-2021_08+17AM-d897f2e >

Setting up Audio Processor...

| > sample_rate:22050

| > resample:False

| > num_mels:80

| > min_level_db:-100

| > frame_shift_ms:None

| > frame_length_ms:None

| > ref_level_db:20

| > fft_size:1024

| > power:1.1

| > preemphasis:0.98

| > griffin_lim_iters:60

| > signal_norm:True

| > symmetric_norm:True

| > mel_fmin:0

| > mel_fmax:8000.0

| > spec_gain:20.0

| > stft_pad_mode:reflect

| > max_norm:4.0

| > clip_norm:True

| > do_trim_silence:False

| > trim_db:60

| > do_sound_norm:False

| > stats_path:/content/drive/My Drive/Colab Notebooks/data/glowtts-v2/scale_stats_new.npy

| > base:10

| > hop_length:256

| > win_length:1024

| > Found 1293 files in /content/TTS/filelists

> Using model: glow_tts

> Restoring from model_file.pth.tar ...

> Model restored from step 26000

> Model has 28612177 parameters

> Starting with inf best loss.

> DataLoader initialization

| > Use phonemes: False

| > Number of instances : 1281

| > Max length sequence: 69

| > Min length sequence: 15

| > Avg length sequence: 29.27400468384075

| > Num. instances discarded by max-min (max=500, min=3) seq limits: 0

| > Batch group size: 128. > DataLoader initialization

| > Use phonemes: False

| > Number of instances : 12

| > Max length sequence: 43

| > Min length sequence: 25

| > Avg length sequence: 32.75

| > Num. instances discarded by max-min (max=500, min=3) seq limits: 0

| > Batch group size: 0.

> Data depended initialization ...

> EPOCH: 0/10000 > TRAINING (2021-05-31 08:17:56)

--> STEP: 24/40 -- GLOBAL_STEP: 26025

| > loss: 0.39434 (0.54076)

| > log_mle: 0.06230 (0.16396)

| > loss_dur: 0.33204 (0.37680)

| > align_error: 0.08134 (0.10245)

| > avg_spec_length: 256.4

| > avg_text_length: 62.5

| > step_time: 0.6024

| > loader_time: 0.01

| > current_lr: 3.9204383295092286e-05 --> TRAIN PERFORMACE -- EPOCH TIME: 29.78 sec -- GLOBAL_STEP: 26041 | > avg_loss: 0.43780

| > avg_log_mle: 0.09893

...

[12회차] 참조 사이트

yewon — Thu, 19 Aug 2021 17:05:50 +0900

https://cloud.google.com/architecture/speech-translation-android-microservice?hl=ko

Android 앱에 음성 번역 추가 | 클라우드 아키텍처 센터 | Google Cloud

샘플 코드 복제 다음 명령어를 사용하여 마이크로서비스 코드가 포함된 nodejs-docs-samples 저장소를 클론합니다. git clone https://github.com/GoogleCloudPlatform/nodejs-docs-samples.git Google Cloud 프로젝트에 대한

cloud.google.com

https://cloud.google.com/speech-to-text/docs/apis?hl=ko

API 및 참조 | Cloud Speech-to-Text 문서 | Google Cloud

Except as otherwise noted, the content of this page is licensed under the Creative Commons Attribution 4.0 License, and code samples are licensed under the Apache 2.0 License. For details, see the Google Developers Site Policies. Java is a registered trade

cloud.google.com

샘플 애플리케이션

프로그래밍 언어 예시

오디오를 Speech-to-Text에 보내고 해당 오디오의 텍스트 변환을 받는 데 사용할 수 있는 코드 샘플의 링크

Python 비 스트리밍 및 스트리밍 음성 인식 샘플

https://github.com/googleapis/python-speech/tree/master/samples

GitHub - googleapis/python-speech

Contribute to googleapis/python-speech development by creating an account on GitHub.

github.com

모바일 플랫폼 예시

Android 샘플

Cloud Speech RPC API와 함께 마이크를 사용하여 스트리밍 음성 인식을 제공 방법

https://github.com/GoogleCloudPlatform/android-docs-samples/tree/master/speech/Speech

GitHub - GoogleCloudPlatform/android-docs-samples

Contribute to GoogleCloudPlatform/android-docs-samples development by creating an account on GitHub.

github.com

그외 샘플 동기식

동기식 단어인식

동기식 구두점 인식

동기식 cloud storage파일 텍스트 변환

https://cloud.google.com/speech-to-text/docs/samples?hl=ko

샘플 애플리케이션 | Cloud Speech-to-Text 문서 | Google Cloud

[{ "type": "thumb-down", "id": "hardToUnderstand", "label":"이해하기 어려움" },{ "type": "thumb-down", "id": "incorrectInformationOrSampleCode", "label":"잘못된 정보 또는 샘플 코드" },{ "type": "thumb-down", "id": "missingTheInformationSa

cloud.google.com

[10,11회차] Cloud Speech-to-Text 가이드

yewon — Thu, 19 Aug 2021 16:57:26 +0900

짧은 오디오 파일을 텍스트로 변환

로컬 및 원격 오디오 파일에서 동기 음성 인식을 수행

로컬 파일에서 동기 음성 인식 수행

다음은 로컬 오디오 파일에서 동기 음성 인식을 수행하는 예입니다.

REST 및 명령줄 gcloud Go 자바 Node.js Python 추가 언어

자세한 내용은 speech:recognize API 엔드포인트를 참조하세요. 요청 본문 구성에 대한 자세한 내용은 RecognitionConfig 참조 문서를 확인하세요.

요청 본문에 제공된 오디오 콘텐츠는 base64로 인코딩되어야 합니다. 오디오를 base64로 인코딩하는 방법에 대한 자세한 내용은 오디오 콘텐츠를 Base64 로 인코딩을 참조하세요. content 필드에 대한 자세한 내용은 RecognitionAudio를 참조하세요.

아래의 요청 데이터를 사용하기 전에 다음을 바꿉니다.

LANGUAGE_CODE: 오디오 클립에서 사용된 언어의 BCP-47 코드
ENCODING: 텍스트로 변환할 오디오의 인코딩
SAMPLE_RATE_HERTZ: 텍스트로 변환할 오디오의 샘플링 레이트(Hz)
ENABLE_TIME_WORD_OFFSETS: 단어 시작 및 종료 시간 오프셋(타임스탬프)을 반환하려면 이 필드를 사용 설정
INPUT_AUDIO: 텍스트로 변환할 오디오 데이터의 base64 인코딩 문자열

원격 파일에서 동기 음성 인식 수행

요청 본문의 오디오 파일 콘텐츠를 보낼 필요없이 간편하게 Speech-to-Text API를 사용하여 Google Cloud Storage에 있는 오디오 파일에서 직접 동기 음성 인식을 수행할 수 있습니다.

다음은 Cloud Storage에 있는 파일에서 동기 음성 인식을 수행하는 예입니다.

REST 및 명령줄 gcloud Go 자바 Node.js Python 추가 언어

자세한 내용은 speech:recognize API 엔드포인트를 참조하세요. 요청 본문 구성에 대한 자세한 내용은 RecognitionConfig 참조 문서를 확인하세요.

아래의 요청 데이터를 사용하기 전에 다음을 바꿉니다.

LANGUAGE_CODE: 오디오 클립에서 사용된 언어의 BCP-47 코드
ENCODING: 텍스트로 변환할 오디오의 인코딩
SAMPLE_RATE_HERTZ: 텍스트로 변환할 오디오의 샘플링 레이트(Hz)
ENABLE_TIME_WORD_OFFSETS: 단어 시작 및 종료 시간 오프셋(타임스탬프)을 반환하려면 이 필드를 사용 설정
STORAGE_BUCKET: Cloud Storage 버킷
INPUT_AUDIO: 텍스트로 변환할 오디오 데이터 파일

긴 오디오 파일을 텍스트로 변환

원격 오디오 파일에서 비동기 음성 인식을 수행

스트리밍 입력의 오디오를 텍스트로 변환

로컬 오디오 파일과 기타 오디오 입력 스트림에서 스트리밍 음성 인식을 수행

https://cloud.google.com/speech-to-text/docs/how-to?hl=ko

안내 가이드 | Cloud Speech-to-Text 문서 | Google Cloud

cloud.google.com