PictoBlox의 인체 감지 확장 프로그램을 사용하여 사람의 손동작을 따라 움직이는 그리기 도구 만들기
여러분, 안녕하세요. 리얼리에듀테크입니다.
우리 리얼리에듀테크 블러그에 오신 것을 환영합니다. 저희는 여러분 모두 안전하고 건강하기를 바랍니다.
예술은 공중(?)에 있습니다. 문자 그대로. 어떻게? PictoBlox의 인체 감지 기능으로!!!! 그럼 함께 경험하도록 하겠습니다.
PictoBlox의 인체 감지 확장은 프로그램에서 손가락 끝과 블록을 사용하여 여러분이 그리고 싶은 그림을 공중에 그리는 방법을 배우고 컴퓨터 화면에서 이를 추적합니다. 이제 스케치북이나 연필이 있어야만 그림을 그리는 것은 아닙니다. 손가락만 있으면 세상이 캔버스가 됩니다! 😉
이 독특한 형태의 그림을 함께 시도해 볼 준비가 되셨습니까?
제어의 미래는 사람의 몸 동작을 이용하고 이 몸 동작을 읽는 것입니다. 우리는 사람들의 신체적 언어와 행동을 이해하고 읽음으로써 그 사람의 정보를 얻을 수 있습니다. 이와 유사하게 가까운 미래에는 AI의 머신러닝이 보편화 되고 AI가 사람들이 사용하는 단어들에서 의미를 이해 게 될 것입니다. 모든 사람들이 Xbox Kinnect와 같은 게임 콘솔을 알고 있지만, 게임 내에서 인간의 행동과 이에 따르는 많은 세부 사항들을 어떻게 재연하는 지 궁금해 합니다. 그래서 오늘 우리의 활동에서는 카메라 앞에 우리의 손을 위치 시키고 화면에 그릴 수 있는 그리기 도구를 만들 것입니다
PictoBlox의 인체 감지 기능이 어떻게 가능할까요?
PictoBlox의 인체 감지 확장 프로그램으로 학생들은 손가락 끝과 블록을 사용하여 좋아하는 그림을 공중에 그리며 또 컴퓨터 화면에서 추적할 수 있습니다!
이 프로젝트를 위한 준비물은 노트북 또는 카메라가 있는 컴퓨터, 최신 버전의 PictoBlox 및 안정된 인터넷 연결입니다.
인체 감지 및 펜 확장프로그램을 추가하여 시작하겠습니다.
- 우선 PictoBlox을 엽니다.
- 이제 AI 및 머신러닝(ML) 확장 프로그램으로 작업하려면 PictoBlox에 등록하고/로그인해야 합니다.
- 보드를 클릭하고 evive를 선택합니다.
- 이제 확장 프로그램 추가 버튼을 선택합니다.
AI 및 머신러닝(ML) 확장 프로그램으로 작업하려면 컴퓨터를 인터넷에 연결해야 합니다.
- 인체 감지 확장 프로그램을 클릭하고 모델이 로드될 때까지 잠시 기다립니다.
이제 화면에 그리기 위해 Pen 확장(extension) 프로그램을 추가해야 합니다.
- 확장 프로그램 추가 버튼을 다시 클릭하세요.
- 그리고 펜 확장 프로그램을 선택합니다.
블록 팔레트에 인체 감지 및 펜 블록이 추가된 것을 볼 수 있습니다.
이제 새로운 연필 스프라이트를 추가하고 Tobi 스프라이트를 삭제해 보겠습니다.
- 스프라이트 선택 버튼을 클릭하고 라이브러리에서 연필 스프라이트를 선택합니다.
- Tobi에 마우스 오른쪽 버튼으로 클릭하고 삭제를 선택하여 Tobi의 스프라이트를 삭제합니다.
연필 스프라이트의 모양을 모양 탭으로 이동하여 변경해야 합니다.
- 모양을 편집하려면 모양 팔레트를 선택합니다.
- 그런 다음 연필 끝이 중앙 점에 오도록 연필을 모양 영역으로 이동 시킵니다.
다음으로 3개의 추가 스프라이트를 만들어야 합니다
- 화면에 그리기를 중지하기위한 “중지”
- 화면에 그리기를 위한 “그리기”
- 화면을 지우기 위한 “지우기”
- 스프라이트 선택(Choose A Sprite) 버튼을 클릭하고 그리기 (Paint) 옵션을 선택합니다. 사각형과 텍스트 도구를 사용하여 스프라이트를 만듭니다.
사각형 도구를 사용하여 배경을 그리고 텍스트 도구를 사용하여 메시지를 표시합니다.
유사하게, “그리기”과 “지우기” 두 개의 스프라이트도 “중지” 스프라이트와 같이 만듭니다.
스프라이트가 만들어지면 그릴 공간이 충분하도록 무대에 배열해 보겠습니다. 직선으로 정렬하려면 x 좌표 값을 동일하게 유지하면 됩니다.
스크립트 작성을 시작해 보겠습니다. 연필 스프라이트를 선택합니다.
“녹색 깃발을 클릭했을 때” 블록을 스크립팅 영역으로 끌어다 놓아 녹색 플래그를 클릭할 때마다 프로그램을 실행합니다.
공중에서 그림을 그리고 화면에서 그림을 추적하므로 카메라를 켜야 합니다. 따라서 Human Body detection 팔레트에서 “() % 투명도로 무대에서 () 동영상 켜기” 블록을 사용하여 비디오를 켭니다.
스크립트를 지속적으로 실행하려면 컨트롤 팔레트에서 “무한 반복하기” 블록을 추가하세요.
이제 실시간으로 손의 세부 사항 정보들이 필요하므로 Human Body detection 팔레트의 “카메라로 부터의 손 이미지 분석” 블록을 사용할 것입니다.
다음으로 손이 감지되는지 여부를 확인해야 합니다.
따라서 제어 팔레트에서 “만약 () (이) 라면” 블록을 가져와 위치 시킵니다.
“손이 감지되었나요?” 블록을 육각형 공간에 놓습니다.
손이 있으면 그에 따라 연필을 이동 시켜야 하고 또 집게 손가락 끝을 사용하여 그림을 그리게 될 것입니다.
따라서 검지 끝을 따라가려면 연필 끝의 정보가 필요합니다. 동작 팔레트의 “x:() y:() (으)로 이동하기“ 블록을 사용합니다.
다음으로 human body detection 팔레트에서 “() 의 () 위치 ()” 블록을 “x:() y:() (으)로 이동하기” 블록의 x 입력에 배치합니다. 마지막 드롭다운에서 “index finger” 선택합니다.
이 블록을 복제하여 y 입력에 배치하고 첫 번째 드롭다운에서 y를 선택합니다.
이것으로 우리의 손가락을 추적하는 스크립트가 완성되었습니다.
다음으로 그리기 시작, 그리기 중지 및 그린 것을 지우는 스크립트를 작성해야 합니다. 즉, 아래와 같이 하나하나 생성한 버튼을 활성화합니다.
“그리기” 스프라이트를 선택합니다.
스프라이트라 고도 하는 이 버튼을 클릭할 때마다 펜을 내려야 한다는 즉 그림을 그리기 시작하라는 메시지를 브로드캐스트해야 합니다.
이벤트 팔레트에서 “이 스프라이트를 클릭했을 때” 블록을 끌어다 놓습니다.
다음으로 이벤트 스프라이트에서 브로드캐스트 메시지 블록을 배치하고 새로운 메시지에 “그리기”를 씁니다.
클릭한 버튼에 따라 몇 가지 작업을 수행해야 합니다. 즉 연필이 그리기 시작해야 합니다.
따라서 연필 스프라이트로 돌아가 보겠습니다.
이벤트 팔레트에서 “() 신호를 받았을 때” 블록을 배치하고 드롭다운에서 “그리기”을 선택합니다.
이제 연필로 그리기를 하려면 펜 팔레트에서 펜을 끌어다 그아래 위치 시킵니다.
여기까지 하나의 버튼에 작업을 할당하여 완료 했습니다. 마찬가지로 다른 두 버튼에 작업을 할당합니다.
“그리기” 스프라이트를 클릭하여 이 스크립트를 복제하고 “중지” 그리고 “지우기” 스프라이트에 위치 시킵니다. 스크립트를 선택하고 해당 스프라이트에 하나씩 끌어다 놓습니다. 복사한 스프라이트의 아이콘이 약간 흔들릴 수 있습니다.
“중지” 스프라이트로 이동하여 브로드캐스트 새로운 메시지 블록에 “중지”을 씁니다.
다음으로, “지우기” 스프라이트의 브로드캐스트 메시지 블록에 “지우기”을 씁니다.
메시지가 브로드캐스트되고 나머지 두 개에 작업을 할당해야 합니다.
연필 스프라이트로 돌아갑니다.
“() 신호를 받았을 때“와 “그리기“블록을 두 번 복제합니다.
이제 그리기를 중지하려면 두 번째 “() 신호를 받았을 때” 블록에서 “중지”을 선택하고 “그리기” 블록을 펜 팔레트에서 “중지” 블록으로 바꿔줍니다.
마지막으로 그렸던 그림을 지우려면 세번째 “지우기”블록을 선택하고 “() 신호를 받았을 때” 블록에서 “그리기” 블록을 “지우기 “ 블록으로 변경합니다.
이것으로 스크립트가 완성되었습니다.
녹색 깃발을 클릭하고 그리기를 시작합니다.
이 확장 프로그램을 사용하여 에어 픽션어리 놀이를 할 수도 있습니다.
Facebook의 PictoBlox 커뮤니티에서 멋진 작업 결과물을 공유하는 것을 잊지 마세요!
블로그가 마음에 드시면 리얼리에듀테크를 구독하시고 Facebook, Instagram 및 Twitter에서 리얼리에듀테크를 팔로우 해주세요.
