3.17 AR-CNN과 AWS DeepComposer

인기 있는 생성 모델은 자기회귀 신경 네트워크(CNN)이다. 자기회귀 신경망은 새로운 데이터를 생성하기 위해 시간이 지남에 따라 반복적으로 변화한다.

 

이미지 기반 표현

거의 모든 기계 학습 알고리즘이 숫자 또는 번호 시퀀스로 데이터에 적용된다. AWS Deep Composer에서 입력 트랙은 피아노 roll**로 표시되며 *각 2차원 피아노 roll에서 시간은 수평축, 음조는 수직축이다*. 이 표현은 영상과 비슷해 보일 수 있다. AR-CNN 모델은 피아노 롤 이미지를 사용하여 데이터 세트의 오디오 파일을 나타낸다. 

 

AR-CNN 모델의 작동 방식

추론 중에 노트가 입력 트랙에서 추가되거나 제거되는 경우 이를 편집 이벤트라고 한다. AR-CNN 모델이 입력 트랙(이벤트 편집)에서 노트를 추가하거나 제거해야 하는 시기를 예측하도록 교육하기 위해 모델은 반복적으로 입력 트랙을 교육 데이터 세트처럼 업데이트한다. 훈련 기간 동안, 이 모델은 또한 원래의 피아노 롤과 새롭게 수정된 피아노 롤 사이의 차이점을 감지하는 데 어려움을 겪는다.