متن کاوی و ارزیابی مهمترین متد های متن کاوی

متن کاوی و ارزیابی مهمترین متد های متن کاوی

الگوریتم خوشه بندی
روش های استخراج اطلاعات
متن کاوی
داده کاوی
یکپارچه کردن داده کاوی
دسته بندی و مرتب سازی داده ها
دانلود مقاله متن کاوی و ارزیابی مهمترین متد های متن کاوی
سیستم همکاری در فروش فایل
همکاری در فروش فایل
فروش فایل
خرید مقاله و تحقیق رشته نرم افزار
fileina
فروشگاه ساز فایل
فروشگاه فایل

رفتن به سایت اصلی

متن کاوی و ارزیابی مهمترین متد های متن کاوی

 

چکیده

    رشد فزاینده پایگاه داده ها در تقریبا هر ناحیه از فعالیت انسان باعث شده است که نیاز برای ابزارهای قدرتمند جدید برای تغییر دادن داده به دانش مفید افزایش یابد. برای برآوردن این نیاز محققان در ناحیه های مختلف مانند یادگیری ماشین ، شناسایی الگو، آنالیز داده آماری، بصری سازی داده ، شبکه های عصبی، اقتصاد سنجی، بازیابی اطلاعات، استخراج اطلاعات و….. روش ها و ایده هایی را کاوش کرده اند. ذات غیرساخت یافته ی این متون، اعمال همان روشهایی را که ما در مورد پایگاه داده های غیرمتنی بکار می بریم، غیر ممکن می سازد. بنابراین روش ها و الگوریتم-های پردازش (پیش پردازش)خاصی برای استخراج الگوهای مفید موردنیاز است. متن کاوی اطلاعات متنی غیرساختیافته را استفاده می کند و آنرا برای کشف ساختار و معناهای ضمنی پنهان در متن بررسی می کند. 

 

در این مقاله ما به بررسی یکی از جدیدترین زمینه-های مورد تحقیق در داده کاوی، متن کاوی می پردازیم. در این مقاله روش های موجود برای پیش پردازش کردن، رده بندی ، استخراج اطلاعات ، روش های یافتن روابط شرح داده می شوند در پایان هر بخش ارزیابی و مقایسه ای روی روش های بیان شده در آن بخش صورات می-گیرد و در پایان تعدادی از کاربردهای متن کاوی بیان می گردند.

 

 

کلمات کلیدی:

متن کاوی

داده کاوی

استخراج اطلاعات

یکپارچه  کردن داده کاوی

دسته بندی و مرتب سازی داده ها

 

 

 

مقدمه

   بخش قابل توجهی از اطلاعات قابل دسترس در پایگاه داده های متنی (یا پایگاه داده های سند ) كه شامل مجموعه بزرگی از اسناد منابع مختلف (مثلا مقالات خبری، paperها، كتاب ها، ایمیل ها و صفحات وب) ذخیره شده اند. پایگاه داده های متنی به علت افزایش مقدار اطلاعات موجود به فرم الكترونیكی سریع رشد می كنند. امروزه بیشتر اطلاعات در صنعت، کسب و کار  و سازمان های دیگر به صورت الكترونیكی و به فرم پایگاه داده متنی ذخیره شده اند.   داده های ذخیره شده در بیشتر پایگاه  داده های متنی، داده های نیمه ساختاریافته هستند چون نه به طور كامل غیرساختیافته هستند و نه به طور كامل ساختیافته هستند. 

 

برا ی مثال یك سند شامل تعدادی فیلد ساختیافته مانند عنوان، نویسندگان، تاریخ انتشار، رده  و ….. و از طرف دیگر شامل برخی كامپوننت های متنی غیرساختاریافته مانند چكیده و محتویات است. تكنیك های بازیابی اطلاعات مانند (متدهای ایندکس کردن متن ) برای هندل كردن سندهای غیر ساختاریافته ایجاد شده اند. تكنیك های بازیابی اطلاعات قدیمی برای مقدار زیادی داده متنی كه به طور فزاینده افزایش می یابند، ناكارآمد هستند. بدون دانستن محتویات سندها، فرمول بندی كردن Queryهای مناسب برای آنالیز كردن و استخراج كردن اطلاعات مفید از داده، مشكل است.

 

 كاربرها نیاز به ابزارهایی برای مقایسه سندهای مختلف، مرتب كردن سندها بر اساس موبوط بودن آن ها و یافتن الگوها دارند.  بنابراین یکی از جدیدترین زمینه های مورد تحقیق در داده کاوی، متن کاوی برای این منظور گسترش یافت. متن کاوی یعنی جستجوی الگوها در متن غیرساختیافته. متن کاوی برای کشف اتوماتیک دانش مورد علاقه یا مفید از متن نیمه ساختیافته استفاده می شود. چندین تکنیک برای متن کاوی پیشنهاد شده است عبارتند از ساختار مفهومی ،کاوش association ruleها درخت تصمیم گیری، روش های استنتاج قوانین ، همچنین تکنیک های بازیابی اطلاعات برای کارهایی مانند تطبیق دادن سندها، مرتب کردن کردن، کلاسترینگ و…..

 

 

فهرست مطالب

چکیده 3

1 مقدمه 3

1.1 کشف دانش و ارتباط آن متن کاوی 5

2.1 تعاریف متن کاوی 5

3.1 ناحیه های سرچ مرتبط 6

2 روش ها پیش پردازش کردن متون 7

1.2 مدل فضای برداری 9

2.2 پیش پردازش زبان شناختی 10

3 روش های متن کاوی … 10

1.3 فازهای اصلی فرآیند کتن کاوی… 11

2.3 رده بندی … 12

1.2.3 انتخاب ترم ایندکس 12

2.2.3 رده کننده Naïve Bayes 12

3.2.3 رده بندی کننده نزدیکترین همسایه 13

4.2.3 درخت تصمیم گیری 14

5.2.3 متدهای هسته و SVM 14

6.2.3 ارزیابی رده بندی کننده ها 15

3.3  استخراج اطلاعات 16

1.3.3 رده بندی برای استخراج اطلاعات 16

2.3.3 مدل مارکوف پنهان 17

3.3.3 فیلدهای رندم شرطی 17

4.3.3 مقایسه روش های استخراج اطلاعات 18

2.2 پیش پردازش زبان شناختی 18

4.3 روش ها ترکیبی 18

1.4.3 روش های dicsotex 18

1.1.4.3 مقدمه 19

2.1.4.3 یکپارچه  کردن داده کاوی و استخراج اطلاعات 19

3.1.4.3 سیستم dicsotex 19

2.4.3روش textminer 21

1.2.4.3 مقدمه 21

2.2.4.3 استخراج اطلاعات 22

3.2.4.3 الگوریتم خوشه بندی 23

3.4.3 یافتن روابط 25

4.4.3 مقایسه روش های ترکیبی 26

4 کاربردهای متن کاوی 26

5 نتیجه گیری و کارهای آینده 27

6 مراجع 28

 

 

 

 

 

 

 

  • پاورپوینت داروهای شایع در ICU

    پاورپوینت داروهای شایع در ICU رفتن به سايت اصلي دانلود پاورپوینت داروهای شایع در ICU جهت رشته ی پزشکی در قالب 54 اسلاید و با فرمت pptx به صورت کامل و جامع و با قابلیت ویرایش       اینوتروپ…

  • پاورپوینت ديدگاههاي برنامه ريزي درسي (دیدگاه ماورای فردی)

    پاورپوینت ديدگاههاي برنامه ريزي درسي (دیدگاه ماورای فردی) کلمات کلیدی : پاورپوینت ديدگاههاي برنامه ريزي درسي (دیدگاه ماورای فردی) پاورپوینت ديدگاههاي برنامه ريزي درسي پاورپوینت دیدگاه ماورای فردی نظريه ماوراي فردي برنامه هاي آموزشي ماوراي فردي آموزش و پرورش والدورف…

  • پرسشنامه ارزیابی عملکرد پلیس در ایجاد احساس امنیت در مسیرهای کوهنوردی

    پرسشنامه ارزیابی عملکرد پلیس در ایجاد احساس امنیت در مسیرهای کوهنوردی پرسشنامه ارزیابی عملکرد پرسشنامه ارزیابی عملکرد پلیس پرسشنامه ارزیابی عملکرد پلیس در ایجاد احساس امنیت پرسشنامه شاخص های احساس امنیت اجتماعی پرسشنامه شاخص های امنیت اجتماعی پرسشنامه مولفه های امنیت اجتماعی پرسشنامه عوامل موثر بر احساس امنیت…

  • دانلود تحقیق درباره شخصیت و تاثیر آن بر خلاقیت word

    دانلود تحقیق درباره شخصیت و تاثیر آن بر خلاقیت word رفتن به سايت اصلي هدف از این تحقیق بررسی شخصیت و تاثیر آن بر خلاقیت با فرمت docx در قالب 17 صفحه ورد بصورت کامل و جامع و با قابلیت…

  • مبانی نظری و پیشینه تحقیق استرس در ورزشکاران

    مبانی نظری و پیشینه تحقیق استرس در ورزشکاران کلمات کلیدی : مبانی نظری در مورد استرس مبانی نظری پایان نامه استرس مبانی نظری استرس در ورزشکاران پیشینه تحقیق استرس در ورزشکاران پیشینه داخلی استرس در ورزشکاران پیشینه خارجی استرس در…

  • سابقه و کیفیت تکوین مدیریت و بررسی نظریه های متقدم و متاخر مدیریت اسلامی

    سابقه و کیفیت تکوین مدیریت و بررسی نظریه های متقدم و متاخر مدیریت اسلامی نظریه پردازان و رویکردشان در مدیریت مدیریت اسلامی مبتنی بر نامه 53 نهج البلاغه مبانی نظری تدوین الگوی مدیریت اسلامی مبانی نظری تدوین مدل جهت مدیریت…

  • پاورپوینت آشنایی با نارسایی حاد تنفسی

    پاورپوینت آشنایی با نارسایی حاد تنفسی رفتن به سايت اصلي دانلود پاورپوینت آشنایی با نارسایی حاد تنفسی جهت رشته پزشکی در قالب 25 اسلاید و با فرمت ppt به صورت کامل و جامع و با قابلیت ویرایش      …

  • بررسی کالبدی باغ ایرانی

    بررسی کالبدی باغ ایرانی باغهای ایرانی عناصر باغ ایرانی معماری باغ ایرانی بررسی کالبدی باغ ایرانی دانلود پایان نامه هنر دانلود پایان نامه رشته هنر رفتن به سایت اصلی دانلود پایان نامه رشته هنر بررسی کالبدی باغ ایرانی *قابل استفاده…

  • برنامه ریزی و تصمیم گیری در مدیریت بحران و ابزارهایی جهت تجزیه و تحلیل تصمیمات پرمخاطره در مدیریت

    برنامه ریزی و تصمیم گیری در مدیریت بحران و ابزارهایی جهت تجزیه و تحلیل تصمیمات پرمخاطره در مدیریت مدیریت بحران شرایط بحرانی وظیفه مدیریت بحرانی تصمیمات پرمخاطره در مدیریت دانلود مقالات رشته مدیریت برنامه ریزی و تصمیم گیری در مدیریت…

  • چارچوب نظری و پیشینه پژوهش سازمانهای مردم نهاد توانمندسازی کودکان خیابانی

    چارچوب نظری و پیشینه پژوهش سازمانهای مردم نهاد توانمندسازی کودکان خیابانی مبانی نظری توانمندسازی کودکان خیابانی دانلود مبانی نظری توانمندسازی کودکان خیابانی پیشینه تحقیق توانمندسازی کودکان خیابانی ادبیات نظری توانمندسازی کودکان خیابانی فصل دوم پایان نامه توانمندسازی کودکان خیابانی مبانی…

  • زمینه های تعارضات زناشویی و عوامل موثر بر آن

    زمینه های تعارضات زناشویی و عوامل موثر بر آن زمینه های تعارضات زناشویی تحقیق درباره  تعارضات زناشویی تاثیر نوع محل سکونت بر خشونت خانگی نظریه های مربوط به مواجهه با خشونت بین والدین رفتن به سايت اصلي هدف از این…

  • گزارش کارآموزی رشته مکانیک – ساخت و تولید با عنوان چرخ دنده تراشی

    گزارش کارآموزی رشته مکانیک – ساخت و تولید با عنوان چرخ دنده تراشی چرخدنده چرخ دنده تراشی ماشینکاری اسپارک دانلود گزارش کارآموزی رشته مکانیک – ساخت و تولید با عنوان چرخ دنده تراشی دانلود کارآموزی رشته مکانیک سیستم همکاری در…

  • چارچوب نظری و پیشینه پژوهش سرمایه اجتماعی

    چارچوب نظری و پیشینه پژوهش سرمایه اجتماعی مبانی نظری سرمایه اجتماعی دانلود مبانی نظری سرمایه اجتماعی پیشینه تحقیق سرمایه اجتماعی ادبیات نظری سرمایه اجتماعی فصل دوم پایان نامه سرمایه اجتماعی مبانی نظری و پیشینه تحقیق سرمایه اجتماعی ادبیات و مبانی…

  • پاورپوينت ساختار و انواع برگ

    پاورپوينت ساختار و انواع برگ پاورپوینت برگ پاورپوینت برگ گیاهان پاورپوینت در مورد برگ رفتن به سايت اصلي دانلود پاورپوينت ساختار و انواع برگ جهت رشته زیست شناسی در قالب 34 اسلايد و با فرمت ppt به صورت کامل و…

  • پاورپوينت درس مديریت تحول

    پاورپوينت درس مديریت تحول رفتن به سايت اصلي دانلود پاورپوينت آشنایی با درس مديرت تحول جهت رشته مدیریت در قالب 346 اسلايد و با فرمت ppt به صورت کامل و جامع و با قابليت ويرايش       مديريت تحول…

  • پرسشنامه تاثیر عوامل اقتصادی، فردی و سازمانی بر بروز فساد اداری

    پرسشنامه تاثیر عوامل اقتصادی، فردی و سازمانی بر بروز فساد اداری پرسشنامه عوامل موثر بر فساد اداری پرسشنامه فساد اداری در سازمان های دولتی پرسشنامه عوامل موثر بر فساد اداری از دیدگاه کارکنان پرسشنامه فساد اداری پرسشنامه استاندارد فساد اداری…

  • دانلود پاورپوینت تغذیه قبل حین و بعد از ورزش

    دانلود پاورپوینت تغذیه قبل حین و بعد از ورزش رفتن به سايت اصلي دانلود پاورپوینت تغذیه قبل حین و بعد از ورزش جهت رشته تربیت بدنی در 22 اسلاید و با فرمت pptx  بصورت کامل و جامع و با قابلیت…

  • پاورپوینت پرسشنامه کیفیت زندگی سازمان بهداشت جهانی WHOQOL

    پاورپوینت پرسشنامه کیفیت زندگی سازمان بهداشت جهانی WHOQOL رفتن به سايت اصلي دانلود پاورپوینت پرسشنامه کیفیت زندگی سازمان بهداشت جهانی WHOQOL جهت رشته پزشکی در قالب 21 اسلاید و با فرمت pptx بصورت کامل و جامع و با قابلیت ویرایش…

  • پاورپوینت آموزشی مخصوص کودکان با موضوع وسوسه های شيطان

    پاورپوینت آموزشی مخصوص کودکان با موضوع وسوسه های شيطان پاورپوینت کودکان با موضوع وسوسه های شيطان دانلود پاورپوینت کودکان با موضوع وسوسه های شيطان پاورپوینت درباره کودکان با موضوع وسوسه های شيطان رفتن به سايت اصلي دانلود پاورپوینت آموزشی مخصوص…

  • پاورپوينت کتاب جغرافیای انسانی ایران

    پاورپوينت کتاب جغرافیای انسانی ایران رفتن به سايت اصلي دانلود پاورپوينت کتاب جغرافیای انسانی ایران جهت رشته جغرافيا قالب 148 اسلايد و با فرمت pptx بصورت کامل و جامع و با قابليت ويرايش         آشنايي دانشجويان رشته…

  • ارتباط با پایگاه داده‌های اکسس در ویژوال بیسیک

    ارتباط با پایگاه داده‌های اکسس در ویژوال بیسیک بانک اطلاعاتی پایگاه داده‌ اکسس زبان برنامه نویسی ویژوال بیسیک دانلود پایان نامه کارشناسی مهندسی کامپیوتر ارتباط با پایگاه داده‌های اکسس در ویژوال بیسیک دانلود پایان نامه کامپیوتر خرید پایان نامه کامپیوتر…

  • پاورپوينت آموزشی سیستم ایمنی بدن

    پاورپوينت آموزشی سیستم ایمنی بدن پاورپوینت سیستم ایمنی بدن پاورپوینت دستگاه ایمنی بدن دانلود پاورپوینت ایمنی بدن رفتن به سايت اصلي دانلود پاورپوينت آموزشی سیستم ایمنی بدن جهت رشته پزشکی در قالب 21 اسلايد و با فرمت ppt به صورت…

  • حل تعارضات زناشویی با دو رویکرد زوج درمانی عقلانی عاطفی و واقعیت درمانی

    حل تعارضات زناشویی با دو رویکرد زوج درمانی عقلانی عاطفی و واقعیت درمانی کلمات کلیدی : حل تعارضات زناشویی واقعیت درمانی گلاسر زوج درمانی عقلانی عاطفی الیس حل تعارضات زناشویی با واقعیت درمانی گلاسر حل تعارضات زناشویی با زوج درمانی…

  • پاورپوینت شبکه عصبی

    پاورپوینت شبکه عصبی رفتن به سايت اصلي دانلود پاورپوینت شبکه عصبی جهت رشته روانپزشکی در قالب 56 اسلاید و با فرمت pptx بصورت کامل و جامع و با قابلیت ویرایش         شبکه عصبی مصنوعی روشی عملی برای…

  • پاورپوینت کیسه های پلاستیکی پلی پروپیلن

    پاورپوینت کیسه های پلاستیکی پلی پروپیلن رفتن به سايت اصلي دانلود پاورپوینت کیسه های پلاستیکی پلی پروپیلن جهت رشته شیمی در قالب 41 اسلاید و با فرمت pptx بصورت کامل و جامع و با قابلیت ویرایش       عبارت…

  • پاورپوینت بررسی باغ تاريخی پاسارگاد

    پاورپوینت بررسی باغ تاريخی پاسارگاد پاورپوینت درباره باغ پاسارگاد دانلود پاورپوینت درباره باغ پاسارگاد پاورپوینت باغ پاسارگاد رفتن به سايت اصلي دانلود پاورپوينت بررسی باغ تاريخی پاسارگاد جهت رشته باستان شناسی در قالب 16 اسلايد و با فرمت ppt به…

  • پاورپوینت الودگی تصویری

    پاورپوینت الودگی تصویری دانلود،پاورپوینت،الودگی، تصویری رفتن به سایت اصلی آلودگی تصویری شهر محیطی است با گوناگونی بسیار، فضای شهر بیش‌ترین ارتباط را با مردم و محیط زندگی برقرار می‌سازد. در نتیجه نقش بسزایی در هویت‌بخشی و احساس آرامش به شهروندان…

  • پاورپوینت انواع ریسک در جامعه

    پاورپوینت انواع ریسک در جامعه دانلود پاورپوینت انواع ریسک در جامعه تعریف ریسک ریسک عینی ریسک ذهنی احتمال وقوع خسارت خطر و شرایط خطر زا گروه های عمده ریسک ریسک خالص (محض) و ریسک ذهنی (سودا گرانه) ریسک بنیادی (عام)…

  • تحلیل صور خیال در شاهنامه فردوسی و بررسی ترکیبها و تصاویر در آن

    تحلیل صور خیال در شاهنامه فردوسی و بررسی ترکیبها و تصاویر در آن عناصر خیال در شاهنامه شناخت تصاویر و تركیبها در شاهنامه شناخت شیوه های تصویر سازی در شاهنامه تنوع مجاز در شاهنامه استعاره در شاهنامه تشبیه در شاهنامه…

  • چارچوب نظری و پیشینه پژوهش تبلیغات

    چارچوب نظری و پیشینه پژوهش تبلیغات مبانی نظری تبلیغات دانلود مبانی نظری تبلیغات پیشینه تبلیغات پیشینه تحقیق تبلیغات ادبیات نظری تبلیغات فصل دوم پایان نامه تبلیغات مبانی نظری و پیشینه تحقیق تبلیغات ادبیات و مبانی نظری تبلیغات رفتن به سایت…

  • فصل دوم پایان نامه سلامت روان

    فصل دوم پایان نامه سلامت روان کلمات کلیدی : مبانی نظری روانشناسی سلامت مبانی نظری سلامت روانی پیشینه روانشناسی سلامت پیشینه تحقیق سلامت روان پیشینه نظری سلامت روان پیشینه داخلی سلامت روان پیشینه پژوهش سلامت روان پیشینه تحقیق در مورد…

  • پاورپوینت ساختار کلی سازمانها

    پاورپوینت ساختار کلی سازمانها پاورپوینت ساختار سازمانها پاورپوینت عمکرد سازمانها رفتن به سايت اصلي دانلود پاورپوینت ساختار کلی سازمانها جهت رشته صنایع در قالب 33 اسلاید و با فرمتpptxبصورت کامل و جامع و با قابلیت ویرایش    معرفی   موثر بر…

  • پاورپوینت فصل اول کتاب حسابداری مدیریت پیشرفته سجادی و صوفی با موضوع هزینه یابی بر مبنای هدف

    پاورپوینت فصل اول کتاب حسابداری مدیریت پیشرفته سجادی و صوفی با موضوع هزینه یابی بر مبنای هدف پاورپوینت فصل اول کتاب حسابداری مدیریت پیشرفته سجادی و صوفی با موضوع هزینه یابی بر مبنای هدف پاورپوینت فصل اول کتاب حسابداری مدیریت…

  • ارزیابی ارتباط تبلیغات موبایلی با قصد خرید مشتریان

    ارزیابی ارتباط تبلیغات موبایلی با قصد خرید مشتریان کلمات کلیدی : پایان نامه قصد خرید پایان نامه تبلیغات موبایلی قصد خرید مصرف کننده قصد خرید در رفتار مصرف کننده پایان نامه قصد خرید مصرف کنندگان عوامل موثر برای استفاده از…

  • پاورپوینت روش های دارویی و غیر دارویی کاهش درد زایمان

    پاورپوینت روش های دارویی و غیر دارویی کاهش درد زایمان دانلود پاورپوینت روش های دارویی و غیر دارویی کاهش درد زایمان دانلود پاورپوینت درمورد روش های دارویی و غیر دارویی کاهش درد زایمان رفتن به سايت اصلي دانلود پاورپوینت روش…