Дэлгэрэнгүй мэдээлэл

Нисгэгчгүй нисэх хэрэгсэл нь энгийн хэрэглээний төхөөрөмжөөс давж, бизнесийн олон салбарт (үйлчилгээ, логистик, аюулгүй байдал гэх мэт) өргөн ашиглагдах болсноор түүнийг ашиглагчид, иргэд болон нисэхийн байгууллагуудын хоорондын харилцааг зохицуулах хэрэгцээ улам бүр нэмэгдэж байна. Олон улсад дроны хэрэглээг зохицуулах эрх зүйн зохицуулалтууд олон үе шаттайгаар туршигдаж, үүний үндсэн дээр агаарын хөдөлгөөний зохицуулалтын системүүд (UTM) үүсэж хөгжиж байна. Энэхүү судалгааны ажилд Монгол улсын нам өндрийн нисгэгчгүй нисэх төхөөрөмжийн (UAV) агаарын хөдөлгөөний удирдлагын системд (UTM) зориулсан газарзүйн орон зайн өгөгдлийн сангийн загварыг боловсруулан, прототайп хэлбэрээр хэрэгжүүлж, туршин үнэллээ. Тодруулбал, International Civil Aviation Organization (ICAO)-ийн UTM мэдээллийн загварт тулгуурлан Монгол Улсын онцлог нөхцөл (алслагдсан бүс нутаг болон хүн амын нягтрал өндөртэй хот суурин)—д нийцсэн өгөгдлийн сангийн схемийг боловсруулсан. Үүний зэрэгцээ PostGIS-ийн орон зайн индексийг ашиглан нислэгийн зөрчил илрүүлэх болон geo-fence шалгалтын асуулгуудыг оновчлон гүйцэтгэсэн. Прототайпыг PostgreSQL/PostGIS өгөгдлийн сан, Python/FastAPI бэкэнд болон React/Leaflet фронтэнд ашиглан хөгжүүлэв. Улаанбаатар хот болон орон нутгийн бүсэд зориулсан дөрвөн туршилтын хувилбарыг ашиглан spatial query-н хурд, орон зайн индексийн үр ашиг болон нэгэн зэрэг олон UAV-ийн ачааллын үеийн гүйцэтгэлийг үнэллээ. Энэхүү судалгаа нь Монгол улсын Иргэний Нисэхийн Ерөнхий Газар (МСАА)-д UTM системийн өгөгдлийн дэд бүтцийг бий болгох бодлогын шийдвэр гаргахад болон ирээдүйд бүрэн хэмжээний UTM систем нэвтрүүлэхэд шинжлэх ухааны үндэстэй хувь нэмэр болно хэмээн найдаж байна.

Software defect prediction in the early stages of the Software Development Life Cycle (SDLC) is crucial to reducing project cost and ensuring the implementation’s success. Existing methods for software defect detection in a project rely on the implementation or testing phases of the SDLC, based on the source code. While relatively few studies have focused on identifying defects in the design phase of the SDLC, these approaches primarily employ machine learning or deep learning methods to detect and classify suspect code segments or classes in static diagrams as defective or clean. This study utilizes 24 model-based metrics extracted via SDMetrics, including structural and object oriented design features derived from UML class diagrams. To enhance classification performance, this study introduces an ensemble machine learning model with different techniques (stacking, voting) that combine multiple machine learning models. Specifically, wecompare ensemble models with different ensemble techniques to the individual models in terms of accuracy, precision, recall, F-measure, and AUC by utilizing a large dataset called the Unified Bug Dataset, comprising five publicly available sub-datasets. Experimental results show that the ensemble model with the stacking ensemble method outperformed other ensemble models and the individual classifiers (RF, XGBoost, ET) in terms of AUC.

Early and accurate detection of software defects is crucial for improving software quality and reducing development costs. While significant research has focused on defect prediction using source code, investigations at the design level, particularly with UML class diagrams, remain less explored. Graphs are widely used to represent the network structure of connected data, and graph learning methods leverage machine learning algorithms to extract meaningful features. As a result, they have attracted significant attention from researchers for tasks such as classification, prediction, and matching. In this study, we created a graph-based dataset from a UML class diagram to support predicting software defects, since the diagram represents connected data. Furthermore, we used a typical graph neural network method to show the capabilities of the dataset in software defect prediction at the design stage of the software development life cycle. Finally, we found that there are insignificant improvements from machine learning methods.

A software defect refers to a fault, failure, or error in software. With the rapid development and increasing reliance on software products, it is essential to identify these defects as early and easily as possible, given the efforts and budget invested in their creation and maintenance. In the literature, various approaches such as machine learning (ML) and deep learning (DL), have been proposed and proven effective in detecting defects in source code during the implementation or testing phases of the software development life cycle (SDLC). A promising approach is crucial for predicting defects at earlier stages of the SDLC, particularly during the design phase, with the goal of enhancing software quality while reducing time, effort, and costs. Meanwhile, software metrics provide a quantifiable way to analyze the software, making it easier to identify defects. Many researchers have leveraged these metrics to predict defects using ML and DL methods, achieving state-of-the-art performance. The objective of this paper is to present a novel approach to predict defects in class diagram (i.e., at design stage) using ML and DL with software metrics. Due to a lack of defect datasets extracted from class diagram, firstly, we created a model-based metric dataset using reverse engineering from a code-based dataset. Then, we apply various ML and DL techniques to the newly created dataset to predict defects in classes by classifying them as either defective or clean. The study utilizes a large dataset called the Unified Bug Dataset, which comprises five publicly available sub-datasets. We compare ML and DL models in terms of accuracy, precision, recall, F-measure, AUC and provide a performance comparison against code-based methods. Finally, we conducted a cross-dataset experiment to evaluate the generalizability of our approach.

Design flaws introduced during early software design phases propagate into development, leading to increased cost and complexity. This paper introduces a lightweight, web-based tool for early-stage UML class diagram quality evaluation using static design metrics and pre-trained machine learning models. Users submit UML diagrams in XMI format and select from Random Forest, XGBoost, or Extra Trees evaluators to predict design quality. The tool integrates SDMetrics for metric extraction and offers an accessible, dynamic frontend for immediate feedback. We present system architecture, technology stack, metric and model justification, and future directions.

Хураангуй: Энэ судалгааны зорилго нь өгөгдөл олборлолтын холболтын дүрэм (association rule) ашиглан оюутнуудын хичээлийн сурлагын хамаарлыг тодорхойлох явдал юм. Оюутнуудын хичээлийн үнэлгээ хоорондын хамаарлыг илрүүлснээр оюутны гүйцэтгэлийг урьдчилан таамаглах, хичээлийн ачааллыг зохицуулах, сургалтын хөтөлбөрийг үр дүнтэй болгох зэрэг боловсролын чанарыг сайжруулахад бодитой хувь нэмэр оруулах боломжтой. Судалгаанд Монгол улсын их сургуулийн Мэдээллийн технологи бакалаврын хөтөлбөрийн 5 жилийн туршид хуримтлагдсан оюутнуудын хичээл ба үнэлгээний өгөгдлийг ашиглав. Apriori алгоритмын тусламжтайгаар хичээлүүдийн A үнэлгээний давтамж болон хоорондын давхцал дээр үндэслэн хамаарлын дүрмүүдийг гаргасан. Түүнчлэн дээрх аргаар F үнэлгээний давтамж болон хоорондын давхцал дээр үндэслэн амжилтгүй суралцах хамаарлын дүрмүүдийг гаргасан. Судалгааны үр дүнд, жишээлбэл, “XXX хичээлд A үнэлгээ авсан оюутнуудын XXX% нь XXX хичээлд мөн A авсан" гэх мэт өндөр итгэлцүүр бүхий дүрмүүд илэрсэн. Энэ нь хичээлүүдийн агуулгын уялдаа, оюутны чадварын чиг хандлага, болон сургалтын төлөвлөгөөг оновчтой болгоход үнэтэй мэдээлэл өгч байгааг харуулж байна.

Бакалаврын судалгааны ажил нь оюутны их сургуулийн боловсролыг дүгнэх, эзэмшсэн мэдлэг чадварыг бодитоор хэрэгжүүлэх чухал судалгааны бүтээл юм. Энэ нь оюутанд мэргэжлийн мэдлэгийг гүнзгийрүүлэх, чадварыг бататгах, судалгаа шинжилгээний арга барилд суралцах, бие даан ажиллах, асуудлыг шинжлэх, дүгнэлт гаргах чадварыг хөгжүүлэх боломж олгодог. Сайн боловсруулсан бүтээл нь нь карьер эхлүүлэх, ахисан түвшинд судалгаагаа үргэлжлүүлэх гол түлхүүр болно. Харамсалтай нь олон тооны оюутнууд судалгааны ажлаа хугацаандаа дуусгадаггүй, эсвэл дутуу хэрэгжүүлснээр хангалттай дүн авч чаддаггүй байна. Оюутнууд судалгааны ажлын явцад сэдэв сонголт, эзэмшсэн мэдлэгийн хүрээ, судалгааны арга зүй, цагийн зохион байгуулалт зэрэг олон төрлийн бэрхшээлтэй тулгардаг. Тиймээс энэхүү судалгаанд бакалаврын судалгааны ажлын гүйцэтгэлд нөлөөлөх хүчин зүйлсийг машин сургалтын бүлэглэх арга болон энгийн статистикийн шинжилгээний аргыг ашиглан тодорхойлон тайлбарлахыг зорилоо. Энэхүү судалгаанд 2023-2024 оны Монгол Улсын Их Сургуулийн Мэдээллийн Технологийн чиглэлийн дөрвөн хөтөлбөрөөр суралцаж буй оюутнуудын бакалаврын судалгааны ажлын өгөгдөл, суралцсан хугацааны хичээлийн дүнгийн өгөгдөл зэргийг цуглуулан боловсруулж өгөгдлийн багцыг (нийт 267 оюутан) бүрдүүлсэн. Бакалаврын судалгааны ажилд нөлөөлж буй хүчин зүйлсийг тодорхойлохдоо уламжлалт статистикийн шинжилгээ (корреляцийн шинжилгээ) болон машин сургалтын бүлэглэх (clustering) аргыг ашигласан. Үр дүнгээс харахад БСА-ын гүйцэтгэлд мэргэжлийн хичээлийн дүн, явцын үнэлгээний дүн, сэдвийн сонголт зэрэг нь тодорхой нөлөөтэй байгаа бол багшийн нөлөө харьцангуй бага гэж тодорхойлогдлоо.

Өнөөгийн өрсөлдөөнт зах зээлд орон сууцны үнэ цэнийг тодорхойлохдоо дан ганц зардалд тулгуурлан үнэлэхээс гадна барилгын бүтээц, өрөөний зохион байгуулалт, байрлал, хэрэглэгчийн амьдралын хэв маяг, санхүүгийн үнэ цэн гэх мэт бусад хүчин зүйлсийг харгалзан үздэг болсон. Эдгээр хүчин зүйлсийн нэг нь сургууль юм. Олон улсад сургуулийн чанар болон байршил нь орон сууцны үнэд нөлөөлж буй олон судалгаанууд байдаг. Харин манай улсын хувьд орон сууцны үнийг таамаглах судалгааны ажил тэр дундаа сургуулийн байршлын нөлөөг судалсан ажил байдаггүй тул бид энэхүү ажлаар сургуулийн байрлал Улаанбаатар хотын орон сууцны үнэд хэрхэн нөлөөлж буйг машин сургалтын арга ашиглан судлахыг зорилоо. Тодруулбал бид үл хөдлөхийн мэргэжлийн байгууллагаас хүлээн авсан 61106 өрхийн, 418 төслийн орон сууцны өгөгдөл дээр ойролцоох 242 улсын сургууль, 65 хувийн сургуулийн байршлын координатыг цуглуулж, хамгийн ойр сургууль хүртэлх зайг тооцоолсон. Ингээд үл хөдлөх хөрөнгийн мэргэжлийн байгууллагаас авсан 25 онцлог шинж чанар бүхий өгөгдөл дээр нэмэлтээр сургуулийн зай, замын хөдөлгөөний бүсчлэл, инфляц, барилгын зардлын индекс зэрэг өгөгдөл цуглуулж түгээмэл хэрэглэгддэг машин сургалтын аргуудыг ашиглан орон сууцны үнийг таамагласан. Туршилтын үр дүнгээс харахад онцлог шинж чанарууд нэмэгдэхэд алдааны үзүүлэлт багассан бөгөөд ялангуяа сургуулийн зайн мэдээлэл орон сууцны үнийг тооцоолоход чухал ач холбогдолтой болох нь батлагдсан. Машин сургалтын аргуудын хувьд XGBoost болон Random Forest аргууд нь хамгийн сайн гүйцэтгэлийг үзүүлсэн.

In this study, we address the challenge of defect prediction at the design stage by creating a model-based metric dataset. Due to the lack of defect datasets extracted from class diagrams, we generated a new dataset using reverse engineering techniques from a code-based defect dataset. Specifically, we leveraged the Unified Bug Dataset, which consists of five publicly available sub-datasets. This newly created dataset enables defect prediction in class diagrams by applying machine learning (ML) and deep learning (DL) techniques to classify classes as either defective or clean.

With the rapid development and increasing reliance on software products, the efforts and amount of money spent on creating and maintaining them make it crucial to find defects as early as easily as possible. The existing software defect prediction methods mostly based on the source codes at the implementation stage or testing stage of the software development life cycle (SDLC). Due to a lack of design defect datasets, few studies have been proposed to predict defects before implementation phase. In this work, we created a design metric-based dataset using reverse engineering from a code metric-based dataset. Furthermore, we used typical machine learning methods to show the capabilities of the dataset in design defect prediction. Finally, we found that there are insignificant differences in the performance of the model trained on code metrics and the model trained on design metrics.

Сагсан бөмбөгийн тоглолтод хожил байгуулахад нөлөөлөх гол хүчин зүйлсийн нэг нь шидэлтийн сонголт юм. Гэвч тухайн шидэлт оновчтой болох магадлал нь хэд хэдэн хүчин зүйлээс шалтгаалдаг тул тоглолтын явцад ялангуяа тоглолтын төгсгөлд довтолгоог хэрхэн зохион байгуулах (шидэлтийг хаанаас гүйцэтгэх) шийдвэр гаргахад дасгалжуулагч, тамирчдад хүндрэлтэй байдаг. Үүнээс шалтгаалан бид шидэлтийн оновчийг урьдчилан тооцоолоход машин сургалтын арга, техникийг ашиглах судалгаа хийлээ. Бид энэхүү судалгааны ажлаар Монгол улсын сагсан бөмбөгийн дээд лигийн 2023-2024 оны улирлын тоглолтын шидэлтийн мэдээллийг цуглуулж өгөгдлийн сан бий болгон, сагсан бөмбөгийн талбайн аль хэсгээс шидэлт гүйцэтгэсэн байршлаар тухайн шидэлтийн оновчийг таамаглах аргыг боловсрууллаа. Тодруулбал бид Монгол улсын сагсан бөмбөгийн дээд лигийн тоглолтын бичлэг үзэн, тоглогч шидэлт гүйцэтгэх үед шидэлтийн байршил болон шидэлт амжилттай болсон эсэхийг бүртгэсэн ба нийт 13 багийн 110 тоглолтын 15,048 мөр шидэлтийн өгөгдлийг цуглуулсан. Цуглуулсан өгөгдөл дээр машин сургалтын арга ашиглан судалгаа, таамаглал хийж, гарсан үр дүнг хооронд нь харьцуулж, хамгийн сайн машин сургалтын аргыг олохыг зорив. Бид K-Nearest Neighbors (KNN), Logistic Regression болон Random forest машин сургалтын аргуудыг ашиглан шидэлтийн оновчийг 57-65 хувийн амжилттайгаар урьдчилан таамаглаж чадсан.

Үл хөдлөх хөрөнгө нь хувь хүмүүс төдийгүй үндэсний эдийн засгийн чухал хүчин зүйл юм. Тиймээс үл хөдлөх хөрөнгийн үнэ цэнэ эсвэл үл хөдлөх хөрөнгийн үнэлгээг урьдчилан таамаглах нь зөвхөн худалдан авагчдад төдийгүй үл хөдлөх хөрөнгийн агент, эдийн засагч, банк санхүү, бодлого боловсруулагчдад ач холбогдолтой, идэвхтэй судалгааны салбар юм. Манай улсын хувьд үл хөдлөх хөрөнгийн үнэлгээг шууд таамаглах судалгааны ажил харьцангуй цөөн тул бид үл хөдлөх хөрөнгийн мэргэжлийн байгууллагаас гаргасан өгөгдлийг ашиглан Улаанбаатар хотын орон сууцны үнийг үнэн зөв таамаглах хамгийн үр дүнтэй аргыг тодорхойлох ажлыг хийхийг зорьлоо. Тодруулбал бид 2019 онд ашиглалтанд орсон 61106 өрхийн, 418 төсөл буюу орон сууцны өгөгдөл хүлээн авч, түүнийг цэвэрлэн боловсруулж Linear regression, Lasso болон Ridge regression, XGBoost, Random forest, Support vector machine, Decision tree, AdaBoost, ElasticNet машин сургалтын аргуудыг харьцуулан судалсан. Эдгээр аргууд нь сайн үр дүн үзүүлснээс XGBoost болон Random forest нь Улаанбаатар хотын үл хөдлөх хөрөнгийн үнийг урьдчилан таамаглахад маш чухал хувилбар болсон.

Хөгжингүй орнууд хот, хөдөө орон нутгийн нийтийн тээврийн мэдээлэл, цагийн хуваарийг нэгдсэн мэдээллийн сан (Google maps гэх мэт)-д оруулж, гадаад дотоодын жуулчдад утасны аппликейшн ашиглан аяллын маршрут, хугацааг оновчтой төлөвлөх боломжийг олгосон байдаг. Харин Монгол улсын хувьд орон нутгийн тээврийн сүлжээний нэгдсэн мэдээллийн сан байдаггүйгээс хөдөө орон нутагт аяллын маршрут төлөвлөхөд хүндрэл учирдаг. Нөгөөтэйгүүр, жил ирэх тусам монголын хүн ам нэмэгдэж, хөдөө орон нутаг руу зорчих иргэдийн тоо нэмэгдэхийн сацуу монголыг зорин ирэх жуулчдын тоо ч нэмэгдэж байна. Иймд, хөдөө орон нутгийн тээврийн сүлжээний өгөгдлийг нэгтгэн аяллын хуваарийг санал болгох шаардлага бий болж байна. Бид энэхүү судалгааны ажлаар Монгол улсын орон нутгийн автобус, галт тэрэгний мэдээлэл, цагийн хуваарийн өгөгдлийг цуглуулж нэгдсэн граф өгөгдлийн санг бий болгон, орон нутгийн нийтийн тээврийн цагийн хуваарь болон холбогдох газарзүйн өгөгдлийн нийтлэг стандартын дагуу өгөгдлөө боловсруулж, улмаар аяллын цагийн хуваарь, зогсолт хоорондын зайг олох боломжтой RAPTOR алгоритмыг ашиглан аяллын хуваарь санал болгох туршилтуудыг хийж гүйцэтгэлээ.

программ хангамжийн бүтээгдэхүүн хурдацтай нэмэгдэж буй өнөө үед программ хангамжийн алдаа, согогийг аль болох эрт урьдчилан таамагласнаар төслийн нийт зардлыг бууруулж, төсөл амжилттай хэрэгжихэд чухал нөлөөтэй. Одоо байгаа программ хангамжийн согогийг урьдчилан таамаглах аргууд нь программ хангамжийн хөгжлийн амьдралын мөчлөгийн (SDLC) хэрэгжүүлэлтийн үе шат эсвэл шалгалтын үе шатанд байгаа эх код дээр тулгуурладаг. Энэ судалгааны ажилд SDLC-ийн зохиомжийн үе шатанд сэжигтэй классыг таамаглах зохиомжийн статик хэмжүүрт суурилсан машин сургалтын аргыг санал болгож байна. Тодруулбал, бид эхлээд жава эх код бүхий PROMISE өгөгдлийн багцаас урвуу инженерчлэлийн аргаар UML статик загвар гарган, түүнээс зохиомжийн статик хэмжүүр бүхий өгөгдлийн багц үүсгэж, сэжигтэй классыг машин сургалтын арга ашиглан таамаглах туршилтыг гүйцэтгэнэ. PROMISE өгөгдлийн багц дээрх туршилтын үр дүнгээс харахад бидний арга нь эх кодоос статик хэмжүүрт суурилсан хувилбараас дутахгүй үр дүн харуулж байгааг батлан харуулна.

Тамирчдын гүйцэтгэлийн өгөгдлийг зөв аргачлалаар шинэжилж, үнэлэх нь тамирчид, дасгалжуулагч, сэтгэл зүйч нарт өөрийн болон өрсөлдөгч тамирчны үр дүнг таамгаар бус бодитоор үнэлэх, харьцуулах, цаашлаад тамирчдын сул болон давуу талыг олж харахад тусалдаг. Харин Монгол улсын хувьд өнөөг хүртэл спортын өгөгдөлд өгөгдлийн шинжилгээ хийсэн судалгаа хангалтгүй байна. Энэхүү ажлаар бид жүдо бөхийн тамирчдын гүйцэтгэлийн өгөгдлийг вэб скрапинг хийн цуглуулж, өгөгдлийг цэвэрлэн боловсруулж тамирчдын гүйцэтгэлд дүн шинжилгээ хийнэ. Ингэхдээ бид тамирчдын ижил төстэй байдлыг судлахын тулд Монгол болон Япон улсын жүдо бөхийн эмэгтэй бага жингийн 36 тамирчдын өгөгдөлд машин сургалтын бүлэглэх (clustering) аргыг ашиглана. Үр дүнгээс харахад Япон улсын тамирчид Монгол улсын тамирчдаас торгуулийн менежмент сайн байна.

Програм хангамжийн бүтээгдэхүүн хурдацтай нэмэгдэж буй өнөө үед програм хангамжийн алдаа, согогийг аль болох эрт урьдчилан таамагласнаар төслийн нийт зардлыг бууруулж, төсөл амжилттай хэрэгжихэд чухал нөлөөтэй. Одоо байгаа програм хангамжийн согогийг урьдчилан таамаглах аргууд нь програм хангамжийн хөгжлийн амьдралын мөчлөгийн (SDLC) хэрэгжүүлэлтийн үе шат эсвэл шалгалтын үе шатанд байгаа эх код дээр тулгуурладаг. Энэ судалгааны ажилд SDLC-ийн зохиомжийн үе шатанд сэжигтэй классыг таамаглах зохиомжийн статик хэмжүүрт суурилсан машин сургалтын аргыг санал болгож байна. Тодруулбал, бид эхлээд жава эх код бүхий PROMISE өгөгдлийн багцаас урвуу инженерчлэлийн аргаар UML статик загвар гарган, түүнээс зохиомжийн статик хэмжүүр бүхий өгөгдлийн багц үүсгэж, сэжигтэй классыг машин сургалтын арга ашиглан таамаглах туршилтыг гүйцэтгэнэ. PROMISE өгөгдлийн багц дээрх туршилтын үр дүнгээс харахад бидний арга нь эх кодоос статик хэмжүүрт суурилсан хувилбараас дутахгүй үр дүн харуулж байгааг батлан харуулна.

Семантик технологид түшиглэн өгөгдлийг нэгтгэж мэдлэгийн граф үүсгэх замаар өгөгдлийн суурь бүтцийг байгуулах асуудал чухал болж байна. Их сургуулийн хувьд профессор, судлаачид, хичээл, өгүүлэл, төсөл зэргийн өгөгдөл нь олон янзын мэдээллийн системд тархаж байрлах тохиолдол элбэг байдаг. Энэ судалгааны ажлын зорилго нь их сургуулийн мэдлэгийг илэрхийлэх онтологи хөгжүүлж үүнийг өгөгдлийн семантик нэгтгэлд ашиглах илүү үр дүнтэй, үр ашигтай өгөгдлийн суурь бүтцийн шийдлийг боловсруулах юм. Бид боловсруулсан шийдлийн дагуу орчин үеийн шинэ технологи, дижитал үйлчилгээнд ашиглах боломжтой 322 мянган гурвал бүхий мэдлэгийн граф үүсгэсэн болно.

Recently, the state-of-the-art algorithms on image classication as well as audio classication are mostly based on deep Convolutional Neural Network (CNN). In this study we identify bird species based on their images and sounds in audio recordings using CNN. We utilize CNN not only to extract features from image and audio data (spectrogram) but also to combine the features across modalities.

Evolutionary algorithms (EAs) and swarm algorithms (SAs) have shown their usefulness in solving combinatorial and NP-hard optimization problems in various research fields. However, in the field of computer vision, related surveys have not been updated during the last decade. In this study, inspired by the recent development of deep neural networks in computer vision, which embed large-scale optimization problems, we first describe a literature survey conducted to compensate for the lack of relevant research in this area. Specifically, applications related to the genetic algorithm and differential evolution from EAs, as well as particle swarm optimization and ant colony optimization from SAs and their variants, are mainly considered in this survey.

In the recent decade, the development of 3D scanners brings the expansion of 3D models, which yields in the increase of demand for developing effective 3D point cloud retrieval methods using only unorganized point clouds instead of mesh data. In this paper, we propose a meshing-free framework for point cloud retrieval by exploiting a bidirectional similarity measurement on local features. Specifically, we first introduce an effective pipeline for keypoint selection by applying principal component analysis to pose normalization and thresholding local similarity of normals. Then, a point cloud based feature descriptor is employed to compute local feature descriptors directly from point clouds. Finally, we propose a bidirectional feature match strategy to handle the similarity measure. Experimental evaluation on a publicly available benchmark demonstrates the effectiveness of our framework and shows it can outperform other alternatives involving state-of-the-art techniques.

Recently, deep convolutional neural networks (CNN) have become a new standard in many machine learning applications not only in image but also in audio processing. However, most of the studies only explore a single type of training data. In this paper, we present a study on classifying bird species by combining deep neural features of both visual and audio data using kernel-based fusion method. Specifically, we extract deep neural features based on the activation values of an inner layer of CNN. We combine these features by multiple kernel learning (MKL) to perform the final classification. In the experiment, we train and evaluate our method on a CUB-200-2011 standard data set combined with our originally collected audio data set with respect to 200 bird species (classes). The experimental results indicate that our CNN+MKL method which utilizes the combination of both categories of data outperforms single-modality methods, some simple kernel combination methods, and the conventional early fusion method.

In recent decade, many state-of-the-art algorithms on image classification as well as audio classification have achieved noticeable successes with the development of deep convolutional neural network (CNN). However, most of the works only exploit single type of training data. In this paper, we present a study on classifying bird species by exploiting the combination of both visual (images) and audio (sounds) data using CNN, which has been sparsely treated so far. Specifically, we propose CNN-based multimodal learning models in three types of fusion strategies (early, middle, late) to settle the issues of combining training data cross domains. The advantage of our proposed method lies on the fact that we can utilize CNN not only to extract features from image and audio data (spectrogram) but also to combine the features across modalities. In the experiment, we train and evaluate the network structure on a comprehensive CUB-200-2011 standard data set combing our originally collected audio data set with respect to the data species. We observe that a model which utilizes the combination of both data outperforms models trained with only an either type of data. We also show that transfer learning can significantly increase the classification performance.