0. 속마음을 데이터화 시켜 DNN에 학습시키면 글로 나타낼 수 있을것 같다는 아이디어가 떠오름
1. 모든 human activity는 특정 brain region을 활성화시킨다는 사실을 알고 있었음.
2. 대화, Body movement, 인지 등 다양한 activity들을 담당하는 respective한 brain region이 있을 것이고, 각 행동을 수행할 때마다 respective한 brain region이 활성화 될 것이라고 추측
3. 정의하기 어렵지만, 그런 것 있잖음. 마음 속에서 말하는, 혼잣말이지만 입으로 하지 않는, 그런 속마음. 아무튼 이 activity를 담당하는 brain region도 존재할 것이라고 생각했음.
4. "Network"라는 단어와 "Vision"이라는 단어를 마음 속으로 말했을 때 활성화되는 tendency가 다르다면, 관련한 뇌 영상 스캔 데이터셋으로 DNN을 학습시켜 궁극적으로는 속마음을 글로 나타낼 수 있다고 생각했음
5. 일컫는 단어와 정의부터 알아보고자 구글링 한 결과 Inner Speech / Inner Speaking 이라는 키워드를 획득
6. 간단하게 찾아본 논문에 따르면 Inner Speech의 정의는 다음과 같음: Inner speech can be defined as “the subjective experience of language in the absence of overt and audible articulation” [1]
[1] Alderson-Day, B., & Fernyhough, C. (2015). Inner Speech: Development, Cognitive Functions, Phenomenology, and Neurobiology
7. 뇌의 활성화는 MRI로 알 수 있겠지? 하고 찾아본 결과 fMRI와 Electrocorticography를 사용한 두 논문 발견
1. Decoding Inner Speech Using Electrocorticography: Progress and Challenges Toward a Speech Prosthesis
2. NEURAL CORRELATES OF INNER SPEAKING, IMITATING AND HEARING: AN FMRI STUDY, Lœvenbruck H., et al
8. Skim 해서 정확하진 않지만 요약: 2번 논문은 '다양한 종류의 inner speech가 존재하고 각 activity에 mapping되는 brain region이 다르다', 1번 논문은 내가 위에 적은 방식을 다룸 (Figure 1 참조)
9. 1번 논문에는 머신 러닝을 사용한 구현 방법론까지 제시되어있음. (Figure 3 참조) 데이터셋만 있으면 되겠다 싶었지만 아직 찾지 못함. 아마 없을듯. (이쪽 분야 내에서 정보 공유가 잘 안된다는 말을 들음)
10. 어떤 조건들이 갖춰진다면 사업화할 수 있을까? 관련 데이터셋, 값싸고 휴대할 수 있는 fMRI나 ECoG장비 개발, ...
11. 결론: 아이디어 떠올리는건 참 어려운 것 같다