스펙트로그램 정규화 필요성 음성 구간(30초)이 "노래구간"인지 "광고구간"인지 분류하는 이진분류 모델을 만들고 있습니다. 지금까지는 정규화하지 않은 데이터로 만든 모델을 만들어서인지, 색다른 데이터에 해보니까 분류를 꽤 못했습니다. 당연스럽게도 적절한 정규화 방법을 선택했어야 합니다. 저는 음성 데이터로 STFT, MFCC, Mel spectrogram의 세가지 스펙트로그램 데이터를 사용하고 있습니다. 각각의 스펙트로그램은 어떤 방식으로 정규화되어야 할까요? 저는 이렇게 정규화했습니다.* 먼저, 이상치는 제거하지 않았습니다. 분류기로 선택한 모델이 음성분류에 특화되었다고 해서 어차피 이상치에 덜 민감하지 않을까 싶어서입니다. 그리고 이상치에 대한 세밀한 분석은 하지 않았기 때문에, 그냥 두고 진행했습니..

이슈 (팀프로젝트 중) 팀원이 깃헙에 푸시해둔 코드가 작동하지 않았음 팀원에게 오류 상황을 보고하고 나는 그 모듈만 이전 커밋으로 돌려서 기다림없이 진행하고자 했음 해결 나는 "split_module"을 이전 커밋으로 돌리고자 했다. checkout을 통해 돌리더라. git checkout [커밋ID] [해당파일] ▼ ▼ ▼ git checkout 2b8c84 split_module 학습 checkout에 대하여! 기존에 나는 git checkout [branch명]으로 특정 브랜치로 이동하는 정도로만 알고 있었다. 그런데 꼭 branch로만 checkout할 수 있는 것이 아니며, 특정 commit id로 변경 가능하다는 것을 알게 되었다. 여기까지!

6월30일 7월2일

ImportError: cannot allocate memory in static TLS block 나는 이 문제를 한번도 만난 적이 없는데, 어떤 팀원은 몇달 전에도 최근에도 이 문제를 만나곤 했다. visual-radio | ImportError: /usr/local/lib/python3.10/site-packages/tensorflow/python/platform/../../../tensorflow_cpu_aws.libs/libgomp-cc9055c7.so.1.0.0: cannot allocate memory in static TLS block 왜 또다시 누군 되고 누군 안되는 문제가 일어났을까? 결론은, M1, M2 CPU에서 tensorflw가 정상 동작하려면 python 3.8 버전을 사용해야..

도커는 큰 고민 없이 쓰면 되는 줄 알았다. 어떤 컴퓨터에서 띄우든 동일한 개발환경을 제공하는 것이 큰 강점이기 때문이다. 그러나 팀원들끼리 협업하면서 그런 생각이 문제라는 것을 깨달았다.어떤 도커 이미지가 window에서는 정상 동작하지만 mac에서 돌아가지 않았던 것이다. 처음 문제를 발견했을 때는 docker-compose.yaml에 platform을 다음과 같이 명시하는 것으로 해결이 되었다. 이때 직접적으로 느꼈다. 도커 이미지들이 호스트 시스템에 영향을 이런식으로 받는다는 것을.. * 참고로, 내 window에서는 명시 안해도 오류 안터졌는데, 나와 같은 amd64인 M1에서는 저 문제가 터졌다. amd64라고 명시하고 다시빌드하니까 해결되었다. * M2에서는 arm64/v8이라고 명시해주어야..

네이버 클라우드 서버에 졸프 서비스를 올렸다. 이렇게 올려뒀다. - flask 컨테이너 - mysql 컨테이너 - nginx 컨테이너 오늘 아침까지는 서버에 putty로 ssh 접속해서 터미널 창에서 개발중이었다. 그나저나 한창 개발중이라 코드 변경이 잦아서 터미널이 좀 불편했다. (로컬에서 테스트 성공하면 git push한 다음에 터미널로 가서 git pull 하는 방식으로 반영했다.) 터미널로 접속해서 하니까 코드 수정하기랑 로그 보기가 좀 불편했다. vscode통해 접속 가능하지 않을까 싶었다. 찾아보니 가능하다. 진작 찾아볼걸!! 그래서 오늘을 기록해둔다. 1. vscode로 서버에 ssh 접속하기 2. vscode로 서버 내부의 컨테이너 접속하기 기본적으로.. - vscode에서 원격접속 하기 ..

Multiplexing (다중화) "여러 컴퓨터가 동시에 통신..? 어떻게해요?" - 동시에 통신하기 위해서는 자원을 나눠 써야 합니다. - 서로 다른 시간대에 보내거나, 서로 다른 주파수를 통해 보내는 등.. Multiplexing은 하나의 통신 선(링크)을 통해 여러 데이터 스트림을 전송하는 기술입니다. 위 그림에는 n개의 input이 들어오는데, 이를 링크 하나에 어떻게 잘 실어 보내고 있습니다. 링크를 지나온 이후, output은 원래대로 n개가 됩니다. 대충 데이터 전송 완료! 그럼 도대체 어떻게 여러 신호를 하나의 링크에 '잘 분리해' 실어 보낼까요? Multiplexing 기술 덕분입니다. Multiplexing은 네트워크 대역폭을 효율적으로 사용하기 위한 기술입니다. 그래서 대표적인 Mul..

깃허브 : https://github.com/notexactlyawe/abracadabra/ GitHub - notexactlyawe/abracadabra: Sound RecognitionSound Recognition. Contribute to notexactlyawe/abracadabra development by creating an account on GitHub.github.com shazam의 해시기반 노래인식기술을 공부하다가 abracadabra가 그러한 sound recognition을 구현해놓았다는 것을 알게되었습니다. shazam은 대략적인 노래 인식 기술에 대한 논문을 공개했는데, 직접 구현해보기에는 무리가 있습니다. 정보를 찾다가 너무 좋은 설명을 발견했습니다 : https://ww..

네트워크 통신 이해하기 서로 다른 네트워크간 통신은 어떻게 이루어지는지 이해해볼 것입니다. 아래 내용을 순차적으로 이해합시다. ─ 목차 ─ ∨ 패킷이란? ∨ TCP/IP Suite로 설명하는 데이터통신 └> PC에서 '계층별 정보' 확인해보기 ∨ 외부 네트워크로 패킷 보내기 - 라우터와 NIC └> PC에서 '라우팅 테이블' 확인해보기 ∨ 패킷이란? 패킷은 데이터 꾸러미입니다. 네트워크 통신할 때 데이터는 작은 단위로 나누어 전송됩니다. 이때 '패킷'을 전송한다고 하면 됩니다. OSI 7 모델을 생각해봅시다. 각 계층에서는 특정 기능을 수행하며 데이터를 다른 계층으로 전송합니다. 그런 네트워크 데이터 덩어리를 패킷이라고 부릅니다. 각 계층마다 패킷의 정보와 구조는 다릅니다. - 물리 계층에서는 패킷이 B..

요즘 날씨가 좋다 . . 2023.02.05 오후 7시 반쯤 . . 목성 시리우스 리겔 베텔기우스 리겔 & 위성 민타카 화성 알데바란 카펠라 멘칼리난 엘나스 알헤나 마지막으로 오늘의 주인공 보름달! 북쪽은 구름이 많은지 하나도 안 보였다 ⭐