چکیده پروژه : پروژه بررسی میزان تشابه متون خبری کوتاه با روش ترکیبی شباهت معنایی و شباهت رشته ای (کد پروژه 1184)

امروزه با رشد چشمگیر اسناد منتشر شده در وب و نیاز اساسی به نگهداری، دسته بندی، بازیابی و پردازش آن‌ها، توجه به پردازش زبان طبیعی توسط رایانه، بیش از پیش احساس می‌شود. در بسیاری از مواقع در کاربردهای مختلف پردازش زبان طبیعی، نیازمند محاسبه ی تشابه معنایی بین جملات و متناظراً کلمات هستیم. این مبحث در کاربردهای متعددی نظیر رفع ابهام واژه ها، خلاصه سازی متن، تصحیح خودکار لغات، ارزیابی خلاصه سازها و مترجم های ماشینی و موارد مشابه به شکل قابل توجهی مورد نیاز خواهد بود. اندازه گیری میزان تشابه ظاهری کلمات، نتایج چندان مطلوبی را در بر نخواهد داشت. روش هایی که برای اندازه گیری ارتباط معنایی کلمات از یک منبع لغوی استفاده می نمایند، آن منبع لغوی را به عنوان یک شبکه یا گراف می بینند و ارتباط معنایی را بر اساس خصوصیات مسیرها در این گراف محاسبه می نمایند. در بین منابع موجود، شبکه واژگان به شدت مورد توجه قرار گرفته و روش های متعددی برای محاسبه ی ارتباط بین کلمات بر اساس شبکه واژگان پیشنهاد گردیده است. در زبان فارسی نیز با توجه به تولید و توسعه ی دو شبکه ی واژگان فارس نت و فردوس نت، می‌توان محاسبه ی شباهت معنایی لغات را به جای محاسبه ی شباهت املایی و ظاهری لغات در کاربردهای فوق جهت بهبود نتایج مد نظر قرار داد .به طور کلی برای بررسی شباهت متون 3 روش وجود دارد : روش مبتنی بر بردار : در این روش از ویژگی های آماری متن و مدل فضای برداری استفاده می شود . روش مبتنی بر دانش : در این روش برای بررسی شباهت از پایگاه دانش هایی مانند wordnet ، linkit ، alembic و . . . استفاده می شود . روش مبتنی بر پیکره : که نیاز به یک پیکره متنی بزرگ دارد و مهم تر از آن نیاز به یک الگوریتم جستوجوی پیشرفته و سریع که مرتبه زمانی قابل قبولی داشته باشد دارد.روش های موجود برای محاسبه تشابه متون به طور عمده یا بر متن های بزرگ و یا بر کلمات فردی تمرکز دارند. در این مقاله یک روش اندازه گیری شباهت معنایی متون با استفاده از اندازه گیری شباهت معنایی کلمات و نرمال کردن آها و محاسبه طولانی ترین زیر رشته مشترک ارائه شده است که بر محاسبه شباهت میان دو جمله یا میان دو پاراگراف تمرکز دارد . این الگوریتم مشابه روش مبتنی بر بردار برای متون کوتاه می‌باشد . در روش مبتنی بر بردار بر اساس تعداد کلمات مشابه به جملات امتیاز دهی می شود و بر اساس امتیاز جملات ، میزان تشابه متون محاسبه می شود . در الگوریتم شباهت رشته ای بر اساس طول بزرگترین زیر رشته مشترک به کلمات امتیاز دهی می شود و میزان تشابه متون بر اساس امتیازات کلمات محاسبه می شود .

پروژه های مشابه

توضیحات پروژه : پروژه بررسی میزان تشابه متون خبری کوتاه با روش ترکیبی شباهت معنایی و شباهت رشته ای (کد پروژه 1184)

پردازش زبان طبیعی از جمله مسائل اساسی در حوزه هوش مصنوعی است که با توجه به گسترش روز افزون اسناد و اطلاعات منتشر شده در سالیان اخیر، توجهات گسترده ای را در زمینه-های گوناگون به خود معطوف کرده است.شباهت جملات مبحثی است که در زمینه های مختلف پردازش زبان طبیعی، بسیار تاثیرگذار می‌باشد. سیستم های پرسش و پاسخ، نیازمند تعیین شباهت بین جفت های سوال-پاسخ و یا سوال-سوال می باشند [1]. در زمینه خلاصه سازی مبتنی بر گراف برای وزن دهی به یال ها، به شباهت بین جملات نیاز است [2]. کاربردهای دیگری چون دسته بندی متن [3]، و ترجمه ماشینی [4] از جمله زمینه های دیگری هستند که از شباهت جملات استفاده می نمایند. فرآیند محاسبه شباهت بین جملات، فرایندی بسیار دشوار و پیچیده است.علی رغم اینکه بسیاری از کاربرد ها از معیارهای شباهت استفاده می کنند، اما بیشتر روش ها جملات را فقط بر مبنای سطح ظاهری مقایسه می کنند تا بر اساس معنا. علاوه بر این در اکثر روش هایی که پردازش های زبانی جمله را نیز در نظر می گیرند، تنها سطوح پایینی از آن مانند برچسب های بخش های سخن را مد نظر قرار می دهند.
0

نظرات کاربران

امتیاز کاربران به: پروژه بررسی میزان تشابه متون خبری کوتاه با روش ترکیبی شباهت معنایی و شباهت رشته ای (کد پروژه 1184)

4.0 از 5 ( 0 نفر )
شما هم می توانید در مورد این کالا نظر بدهید.
برای ثبت نظرات، نقد و بررسی شما لازم است ابتدا وارد حساب کاربری خود شوید. اگر این محصول را قبلا خریده باشید، نظر شما به عنوان مالک محصول ثبت خواهد شد.

مشخصات پروژه

مقطع تحصیلی :
نوع پروژه :
حجم فایل اصلی :
0.38 MB
فایل ورد دارد؟
سورس کد به صورت فایل مجزا دارد ؟
مهم ! حتما بخوانید
کد ها در داخل داکیومنت توضیح داده شده است ؟
فایل pdf دارد ؟
پشتیبانی دارد ؟
مهم ! حتما بخوانید
لعبت رضائيان مدت زمان عضویت در نمره الف :۶ ماه
0.0
0 total
5 0 
4 0 
3 0 
2 0 
1 0 
فروش پروژه های شما در نمره الف
4.8
Votes : 23