Бидний тухай
Багш ажилтан
Виртуал бодит байдал (VR) технологи нь боловсрол, соёлын өвийг сурталчлах, энтертайнмент зэрэг салбарын программ хангамжийн бүтээгдэхүүний хэрэглэгчид илүү гүнзгий, бодит мэдрэмжийг олгох хүчирхэг хэрэгсэл болон хөгжиж байна. Гэвч өнөөдөр ашиглагдаж буй виртуал аяллууд ихэвчлэн гараар эсвэл удирдлага ашиглан хийгддэг учир хэрэглэгчийн оролцоо, мэдрэмжийг хязгаарладаг. Энэхүү төслийн зорилго нь веб камер ашиглан нүдний болон нүүрний хөдөлгөөнөөр удирддаг виртуал аяллын системийг боловсруулахад оршино. Бид одоогоор “Веб Камер Ашиглан Нүдний Хөдөлгөөнөөр Виртуал Аяллыг Удирдах” сэдвээр судалгааны тодорхой үр дүнг гаргаж эрдэм шинжилгээний хуралд танилцуулаад байна. Тус судалгаагаар уламжлалт оролтын төхөөрөмжүүдийг нүдний хөдөлгөөнөөр солих замаар хэрэглэгчийн хүртээмж болон оролцоог нэмэгдүүлэхийг зорьсон. Веб камер ашиглан хэрэглэгчийн нүдний хөдөлгөөнийг бодит цаг хугацаанд илрүүлж, хянасан. Илрүүлсэн өгөгдлийг боловсруулж, хэрэглэгчийн харааны чиглэл болон төвлөрлийг тодорхойлов. Виртуал орчныг 3D хөдөлгүүр ашиглан бүтээж, нүдний хөдөлгөөнийг урагшлах, эргэх, ойртуулах зэрэг удирдлагын функцтэй холбон туршсан. Дээрх судалгааны үр дүнд нүдэн дээр нүүрний хөдөлгөөнийг нэмж ашиглах нь виртуал орчинг өргөн хүрээнд ашиглах боломжтой гэдгийг харсан бөгөөд тус сэдвээр хийгдсэн судалгааний ажил ховор байгаа нь бидэнд судлах гол шалтгаан болж байгаа юм. Энэхүү төслийн хүрээнд дараах үндсэн ажлуудыг хийж гүйцэтгэнэ. Үүнд: 1. Өмнөх судалгааны үр дүнгээ сайжруулах 2. Гүн сургалтын арга ашиглан хөдөлгөөнүүдийг сургах 3. Хүний нүд болон нүүрний үндсэн хөдөлгөөнүүдийг хянах боломжтой болгох 4. Өмнө хийгдсэн судалгааны ажлуудтай үр дүнгээ харьцуулах
Virtual Reality (VR) technology has rapidly evolved into a powerful tool that provides users of software products in fields such as education, cultural heritage promotion, and entertainment with a deeper and more immersive experience. However, most of today’s virtual tours are operated manually or through controllers, which limits user engagement and the sense of immersion. The main goal of this project is to develop a virtual tour system controlled by eye and facial movements using a web camera. Previously, we conducted a research study titled “Controlling a Virtual Tour Using Eye Movement with a Web Camera” and presented the results at an academic conference. That study aimed to enhance accessibility and user interaction by replacing traditional input devices with eye movement–based control. The system used a web camera to detect and track the user’s eye movements in real time. The captured data were processed to determine the direction and focus of the user’s gaze. A virtual environment was developed using a 3D engine, where the user’s gaze was mapped to navigation functions such as moving forward, turning, and zooming. Based on those results, we observed that incorporating facial movements in addition to eye tracking could expand the possibilities for interacting with virtual environments. Since very few studies have explored this topic, it has become the primary motivation for our current research. Within the scope of this project, the following key tasks will be carried out: 1. Improve and refine the results of previous research. 2. Train motion recognition models using deep learning techniques. 3. Enable real-time detection and tracking of basic human eye and facial movements. 4. Compare the experimental results with previously conducted studies.
Түлхүүр үгс:
