دسته: مقالات ترجمه شده isi
بازدید: 335 بار
فرمت فایل: doc
حجم فایل: 347 کیلوبایت
تعداد صفحات فایل: 8
ارزیابی روشهای SVD و NMF برای آنالیز پنهان مفهومی
چکیده
تکنیکهای ریاضیاتی مختلفی به منظور کاهش ابعاد دادهها در مجموعه دادههای بزرگ، برای بازیابی مناسب اطلاعات موردنیاز ایجاد میشوند. آنالیز پنهان مفهومی (LSA)، شکل تقریب اصلاح شدهی مدل فضای برداری با رتبه کم است که میتوان از آن برای شناسایی روابط مفهومی بسیار مهم در مجموعه نوشتارهای متنی استفاده کرد. LSA یک تقریب با رتبه کم را بر روی ماتریس جمله-سند انجام میدهد، که با تبدیل دادههای متنی به یک نمایش برداری ایجاد میشود، و در نتیجه ارتباط معنایی موجود میان اسناد مجموعه نوشتارهای متنی را بیان میکند. تجزیهی مقادیر تکین (SVD) یک روش تقریب متعارف است که برای LSA استفاده میشود، که در آن مولفهها با ابعاد کمتر حاصل از تجزیه کوتاه میشوند. در کوتاهسازی، نویز زبانی موجود در نمایش برداری حذف میشود، و ارتباط مفهومی قابل مشاهده میشود. یکی از مشکلات استفاده از SVD این است که ماتریس کوتاه شده دارای مولفههای منفی خواهد بود، که برای بیان نمایش متنی عادی نیست. فاکتورگیری نامنفی ماتریس (NMF) با ایجاد بیان مبتنی بر بخشهای نامنفی به عنوان تقریب رتبه کم برای انجام LSA به این مساله میپردازد. این مقاله بررسی جامعی در مورد نحوه استفاده از هر دو روش به منظور بازیابی اطلاعات انجام میدهد. ارزیابی عملکرد این روشها با استفاده از مجموعه دادههای آزمایشی استاندارد انجام شده است.
Evaluation of SVD and NMF Methods for Latent Semantic Analysis
Rakesh Peter, Shivapratap G, Divya G, Soman KP
Amrita University/CEN, Coimbatore, India
Email: {p_rakesh, g_shivapratap, g_divya, kp_soman}@ettimadai.amrita.edu
Abstract -Different mathematical techniques are being developed to reduce the dimensionality of data within large datasets, for robust retrieval of required information. Latent Semantic Analysis (LSA), a modified low rank approximation form of Vector Space Model, can be used for detecting underlying semantic relationships within text corpora. LSA performs a low-rank approximation on term-document matrix, which is generated by transforming textual data into a vector representation, thereby bringing out the semantic connectedness present among the documents of the corpus. Singular Value Decomposition (SVD) is the traditional approximation method used for LSA, wherein lower dimensional components from the decomposition are truncated. On truncation, the linguistic noise present in the vector representation is removed, and the semantic connectedness is made visible. One of the pitfalls of using SVD is that the truncated matrix will have negative components, which is not natural for interpreting the textual representation. Nonnegative Matrix Factorization (NMF) addresses this issue by generating non-negative parts-based representation as the low rank approximation for performing LSA. The paper provides an in-depth overview of how both methods are being used for the purpose of Information Retrieval. Performance evaluation of the methods has been performed using standard test datasets.
- مقدمه
VSM بر این واقعیت تکیه دارد که میتوان معنای سند را از جملات تشکیل دهندهی سند بدست آورد. VSM بر روی تبدیل مجموعه نوشتارهای متنی به یک ماتریس سند-جمله کار میکند،