پاورپوینت روش های ارزیابی کیفیت آنتولوژی

مقدمه:

آنتولوژی ها ابزارهایی موثر برای سازمان دهی و به اشتراک گذاری دانش در سیستم های هوشمند هستند. آن ها با تعریف ساختار مفهومی مشخص، ارتباط بین سیستم های ناهمگون را بهبود می دهند. با این حال ممکن است خود باعث ایجاد ناسازگاری مفهومی شوند. از این رو ارزیابی کیفیت آنتولوژی ها برای بهبود عملکرد و کاربرد دقیق تر آن ها ضروری است.

اهمیت ارزیابی آنتولوژی ها

با توجه به نقش کلیدی آنتولوژی ها در سیستم های مبتنی بر دانش، ارزیابی و سنجش کیفیت آنها از اهمیت ویژه ای برخوردار است. آنتولوژی ها که به عنوان اجزای اصلی وب معنایی شناخته می شوند، باید به گونه ای معتبر و قابل اعتماد مورد ارزیابی قرار گیرند.

هم اکنون روش استاندارد و پذیرفته شده ای برای ارزیابی آنتولوژی ها وجود ندارد و این حوزه به عنوان فرصتی مناسب برای پژوهش و توسعه مطرح است.

روش های اصلی ارزیابی آنتولوژی ها

1. روش های مبتنی بر مقایسه با یک مدل مرجع (golden standard)
2. روش مبتنی بر application
3. روش های چند معیاره
4. روش مبتنی بر افراد خبره
5. ….

1. روش های مبتنی بر مقایسه با یک مدل مرجع

مقایسه ی آنتولوژی مورد نظر با یک آنتولوژی یا یک منبع اطلاعاتی دیگر که بعنوان مرجع و منبع اصلی در حوزه مورد بحث شناخته شده است.

مثال: ارزیابی یک آنتولوژی مربوط به حوزه تست نرم افزار

اگر آنتولوژی شناخته شده و مرجعی وجود داشته باشد آن را به عنوان مرجع مقایسه انتخاب می کنیم.
اگر هم چنین آنتولوژی ای موجود نباشد منابع دیگر را مورد استفاده قرار می دهیم. مثلاً یکسری مستندات رسمی و دقیق را که دانش مربوط به حوزه تست نرم افزار را بخوبی در بر گرفته است، انتخاب کرده و آنتولوژی را با آن مقایسه می نماییم.

مقایسه آنتولوژی با آنتولوژی

مدل مرجع: یک آنتولوژی
کار ما مقایسه آنتولوژی با آنتولوژی خواهد بود و کار ساده تر از حالت دوم است.

در این حالت می توانیم اجزای آنتولوژی اول را با آنتولوژی مرجع مقایسه نموده و هر چه تشابه این دو آنتولوژی بیشتر باشد آنتولوژی مورد بررسی به آنتولوژی مرجع نزدیک تر است و در نتیجه می توان گفت که از کیفیت بالاتری برخوردار است.

منظور از اجزای آنتولوژی، کلاس ها، روابط، خصیصه ها، قیود و نمونه ها می باشند.

خلاصه سازی آنتولوژی (Ontology Summarization)

منظور از خلاصه سازی یک آنتولوژی، آن است که مهمترین قسمت های یک آنتولوژی را استخراج کنیم و در قالب یک آنتولوژی جدید ذخیره نماییم. بدین ترتیب با حذف جزئیات غیر ضروری، می توانیم فهم و درک آنتولوژی را ساده تر کنیم.

مساله: فرض کنید می خواهید برای یک کاربرد خاص، از آنتولوژی استفاده کنید.

ایده: در موتورهای جستجوی مخصوص، نظیر SWOOGLE، جستجو کنید و ببینید آیا در حال حاضر در زمینه مورد نظر شما، آنتولوژی آماده ای وجود دارد یا خیر.

انتخاب آنتولوژی مورد نظر ما با توجه به ارزیابی آنتولوژی های پیشنهادی موجود.

بررسی و ارزیابی یک نسخه ی سبک و خلاصه شده از آنتولوژی ها بدون ذکر جزئیات اضافی، کار ساده تری است.

راه حل اول: بهره گیری از Visualizer مناسب.

امکان نمایش آنتولوژی در سطوح مختلفی از جزئیات جهت مشاهده و ارزیابی آن در سطوح مختلف برای کاربران.

مشکل: همواره نمی توان به امکانات Visualizer ها تکیه کرد. بعنوان مثال در برخی کاربردها، لازم است که یک عامل نرم افزاری، یک آنتولوژی را بررسی کند(مثلاً در بحث ارزیابی و انتخاب آنتولوژی توسط عامل نرم افزاری، این مساله پیش می آید).
در این حالت بحث مشاهده بصری در مورد آن صدق نمی کند و بایستی تمهیدات دیگری را جهت بهبود مساله بیندیشیم.

راه حل: تهیه ی یک نسخه ی خلاصه شده از آنتولوژی ها بدون ذکر جزئیات اضافی.

اگر بجای بررسی کل آنتولوژی، یک نسخه خلاصه شده آن را مورد پردازش قرار دهد، قاعدتاً کارایی بهتری حاصل خواهد شد.

بنابراین، انگیزه اصلی برای بحث خلاصه سازی آنتولوژی، همان درک و پردازش ساده تر آن، چه توسط انسان و چه توسط ماشین، می باشد.
در این زمینه کارهای بسیار کمی انجام شده است که می توان از ایده ها و نظریه های مطرح شده در زمینه خلاصه سازی متن (Text Summarization) در این حیطه نیز بهره گرفت.

مقایسه آنتولوژی با مستندات رسمی و دقیق علمی

مدل مرجع: مجموعه ای از مستندات رسمی و دقیق علمی
باز هم به مقایسه اجزای آنتولوژی با اجزای آن مجموعه مستندات می پردازیم و هرچه تشابه بیشتری بین آنها وجود داشته باشد، کیفیت آنتولوژی بالاتر است چون دانش نمایش داده شده در آن آنتولوژی با دانش بیان شده در آن مجموعه مستندات تشابه بیشتری دارد.

مساله: محدودیت در مورد اجزای مورد مقایسه.
روش ساده آن است که منظور از اجزا، را فقط اجزای متنی بدانیم یعنی فقط لغات، عبارات و کلمات کلیدی موجود در مستندات مرجع را با نام کلاس ها، روابط و خصیصه های آنتولوژی مقایسه نماییم.

به بیان دیگر در این حالت به نوعی مقایسه ما صرفاً یک مقایسه در سطح syntax است و نه یک مقایسه در سطح semantic.

یعنی مثلاً بررسی می کنیم که چنددرصد از کلمات کلیدی مستندات مرجع، در نام عناصر آنتولوژی استفاده شده است. اما نمی توانیم (یا خیلی سخت است که) بررسی کنیم چه میزان از ساختارها و روابط موجود در مستندات مرجع، در ساختار آنتولوژی ذخیره شده است.

معیارهای ارزیابی در این روش:

• precision: نسبت تعداد مفاهیمی از آنتولوژی که در مرجع مورد استفاده نیز ذکر شده اند به تعداد کل مفاهیمی که در آنتولوژی موجود می باشند.
• recall: نسبت تعداد مفاهیم و کلمات کلیدی موجود در مرجع مورد استفاده که در آنتولوژی هم موجود می باشند به تعداد کل مفاهیم موجود در مرجع مذکور.

2. روش مبتنی بر application

در این روش، آنتولوژی ای که می خواهیم آن را ارزیابی نماییم، را در یک برنامه کاربردی مورد استفاده قرار می دهیم و سپس بر اساس میزان تاثیر مثبتی که استفاده از آن آنتولوژی در برنامه کاربردی مذکور دارد، به سنجش کیفیت آنتولوژی مورد نظر می پردازیم.

مشکلات:

اولاً: باید ابتدا یک برنامه کاربردی مناسب برای حوزه مربوط به آن آنتولوژی، در دسترس باشد و بتوانیم آن برنامه کاربردی را برای استفاده از آن آنتولوژی، customize کنیم و آنتولوژی را با آن integrate نماییم. این موارد کارهای ساده ای نیستند و همیشه امکان چنین کاری وجود ندارد.

ثانیاً: اینکه کارایی برنامه کاربردی را به چه میزان و بر اساس چه قاعده ای به کارایی آنتولوژی مورد استفاده مرتبط نماییم، خودش جای بحث دارد.

یعنی بالفرض که یک آنتولوژی را در یک برنامه کاربردی بکار بردیم و کارآیی آن را اندازه گرفتیم، حال آیا نباید فاکتورهای دیگری را نیز در این افزایش یا کاهش کارایی دخیل بدانیم؟

آیا می توانیم تمام این تغییر کارایی را به آنتولوژی مورد استفاده مربوط بدانیم؟ برنامه کاربردی باید چه ویژگی هایی داشته باشد تا کیفیت آنتولوژی را بخوبی منعکس نماید؟

ثالثاً: اینکه بخواهیم یک آنتولوژی را قبل از ارزیابی، در یک برنامه کاربردی بطور کامل مورد استفاده قرار دهیم و آن برنامه کاربردی را هم به مدت کافی مورد تست و ارزیابی قرار دهیم تا بتوانیم کارایی آن را بسنجیم، ممکن است هزینه این تصمیمات زیاد باشد.

همچنین اگر بخواهیم چند آنتولوژی را با هم مقایسه نماییم باید همه آن ها را در آن برنامه کاربردی مورد استفاده قرار دهیم، که این امر هزینه ها را بشدت افزایش می دهد.

3. روش های چند معیاره

• تعریف و توجیه معیارهای ارزیابی
• بیان نقش و اهمیت این معیارها برای ارزیابی آنتولوژی ها
• یکپارچه کردن کمیت هر یک از این معیارها با بهره گیری از یک فرمول مناسب طراحی شده.
• محاسبه ی یک کمیت نهایی که مبین میزان کیفیت آنتولوژی می باشد.

4. روش مبتنی بر افراد خبره

در روش مبتنی بر افراد خبره در واقع بیش از آنکه بحث فنی داشته باشد، مباحث فلسفی و انسانی در آن مطرح است.

در این روش، یک فرد خبره که در حوزه مذکور بعنوان یک فرد متخصص شناخته می شود، آنتولوژی را بصورت دستی و با روش های نظری و بطور غیرخودکار مورد ارزیابی و سنجش قرار می دهد.

بررسی مدلی برای رتبه بندی آنتولوژی های بازیابی شده از موتورهای جستجوی آنتولوژی

همانطور که پیش تر گفته شد از یک سو، آنتولوژی ها بعنوان عنصر پایه در سیستم های مبتنی بر دانش مطرح می باشند و تمایل به سمت استفاده از آنها بسیار زیاد می باشد. از سوی دیگر، طراحی، توسعه و بروزرسانی آنتولوژی های خوب و دقیق، کار سخت و زمانبری می باشد که نیاز به دقت و تخصص دارد.

در نتیجه مشابه همان موضوعی که در مورد توسعه سیستم های نرم افزاری مطرح است، یعنی بحث استفاده مجدد، در اینجا هم مطرح است و استفاده مجدد از آنتولوژی های موجود، مطلوب است.

نحوه ی عملکرد SWOOGLE

موتور جستجوی آنتولوژی SWOOGLE فراهم آوردن واسطی برای جستجوی آنتولوژی های موجود در مخزن آن بر حسب کلمه کلیدی مورد نظر.
اما مساله اصلی که سعی در بهبود آن داریم،آن است که SWOOGLE عمل جستجو را فقط بر حسب کلمه کلیدی کاربر انجام می دهد و نه بر حسب معیارهای معنایی.

در واقع می توان اینگونه بیان کرد که SWOOGLE مانند Google، دارای یک crawler است که بر روی web به جستجوی آنتولوژی ها می پردازد و آنها را index می کند. سپس به هر یک از این آنتولوژی ها یک rank می دهد. همانند کاری که google با استفاده از الگوریتم pageRank خود انجام می دهد.

SWOOGLE برای رتبه بندی آنتولوژی ها از الگوریتمی شبیه PageRank استفاده می کند و آنتولوژی هایی را که در آنتولوژی های بیشتری import شده باشند را در اولویت قرار می دهد.

در حالیکه این ترتیب لزوماً مناسب نیست و ترتیب نتایج باید بر حسب میزان نزدیکی معنایی آنتولوژی ها با کلمه کلیدی کاربر تعیین شود. یعنی آنتولوژی ای در اولویت قرار گیرد که از نظر معنایی به کلمه یا کلمات کلیدی کاربر نزدیک تر باشد.

بدین ترتیب، مشکل اصلی آن است که جستجو SWOOGLE در واقع یک جستجوی keyword-based و بدون توجه به معنا، می باشد.

راه حل پیشنهادی

معرفی یک چارچوب با عنوان AKTiveRank.
ایده اصلی: یک موتور جستجو، باید آنتولوژی ها را بر حسب نزدیکی ساختاری و معنایی آنها با کلمه کلیدی کاربر، رتبه بندی نماید.

روال کار این چارچوب بدین ترتیب است که کاربر با استفاده از واسطی که AKTiveRank فراهم می کند کلمه کلیدی خود (مثلاً نام کلاس هایی که می خواهد آنتولوژی های جواب، آن کلاس ها را داشته باشند) را وارد کرده و به جستجو می پردازد.

در واقع AKTiveRank در پشت صحنه، از SWOOGLE استفاده می کند و در واقع SWOOGLE عمل جستجو را انجام می دهد و AKTiveRank عمل رتبه بندی و ارائه نتایج نهایی به کاربر را بر عهده دارد.

AKTiveRank برای رتبه بندی آنتولوژی های نتایج، از 4 معیار استفاده می کند و برای هر یک از آنتولوژی ها، مقدار این 4 معیار را محاسبه کرده و سپس با ترکیب این 4 مقدار، یک مقدار نهایی برای هر آنتولوژی بدست می آورد و سپس آنتولوژی ها را بر حسب این مقدار نهایی، رتبه بندی می نماید.

معیارهای رتبه بندی

1. معیار CMM: Class Match Measure

مفهوم این معیار آن است که در آنتولوژی مورد ارزیابی، چه تعداد از کلمات کلیدی کاربر بعنوان نام کلاس ها، استفاده شده اند.
بدین ترتیب هرچه مقدار معیار CMM برای یک آنتولوژی بیشتر باشد این بدان معناست که آن آنتولوژی به میزان بیشتری مفاهیم مربوط به کلمات کلیدی مورد نظر کاربر را پوشش می دهد و آن کلمات کلیدی در آن آنتولوژی از جایگاه مهمی برخوردار می باشند.

2. معیار DEM: Density Measure

این معیار مشخص کننده آن است که آنتولوژی مورد ارزیابی، کلمات کلیدی مورد نظر کاربر را تا چه حد و تا چه عمقی (تعداد خصیصه ها و زیر کلاس ها) مورد پوشش قرار می دهد و به چه میزان جزئیات آن مفهوم و آن کلمه کلیدی را در بر می گیرد.
هر چه مقدار این معیار برای یک آنتولوژی بیشتر باشد این بدان معناست که آن آنتولوژی، کلمه کلیدی مورد نظر را با جزئیات بیشتری مورد تعریف و پوشش قرار می دهد.
برای محاسبه مقدار DEM، تعداد زیرکلاس ها، superclass ها، روابط و sibling ها نیز مورد توجه قرار می گیرد.

3. معیار SSM: Semantic Similarity Measure

این معیار مشخص می کند که کلاس های موجود در آنتولوژی، که نامشان با کلمات کلیدی کاربر مطابقت دارد (مطابقت جزئی یا کامل) تا چه حد به هم نزدیکی معنایی دارند. هر چه آن کلاس ها، با هم، رابطه و نزدیکی معنایی بیشتری داشته باشند این بدان معناست که مفاهیم مستتر در کلمات کلیدی مذکور به شکل کاملتری (بهمراه مفاهیم نزدیک و مرتبط بیشتری) بیان شده اند.

برای اندازه گیری میزان نزدیکی این کلاس ها با هم، از معیار نزدیکترین مسیر استفاده شده است. ایده اصلی آن است که هر چه دو مفهوم A و B از نظر معنایی ارتباط بیشتری با هم داشته باشند، کلاس های معادل این دو مفهوم در آنتولوژی نیز به هم نزدیک تر می باشند.

4. معیار BEM: Betweenness Measure

ایده اصلی این معیار آن است که اگر کوتاهترین مسیر بین هر دو زوج مفهوم موجود در آنتولوژی را مشخص نماییم، آنگاه اگر برای یک مفهوم، تعداد کوتاهترین مسیرهایی که از این دو مفهوم می گذرند را محاسبه نماییم، هر چه این مقدار بزرگتر باشد، این بدان معناست که آن مفهوم، در آن آنتولوژی، نقش مهمتر و کلیدی تری داشته است و از محوریت و مرکزیت بیشتری برخوردار است.

هرچه کلمات کلیدی مورد نظر کاربر، در یک آنتولوژی از جایگاه مهمتر و مرکزی تری برخوردار باشند، آن آنتولوژی، به مفاهیم مورد نظر کاربر توجه بیشتری داشته است و به آن مفاهیم نزدیک تر می باشد. در نتیجه آن آنتولوژی از کیفیت و اولویت بیشتری برخوردار است.

همانطور که پیشتر گفته شد، در پایان پس از محاسبه مقدار این 4 کمیت برای هر آنتولوژی، یک مقدار نهایی برای آن آنتولوژی محاسبه می شود (ترکیب وزندار 4 کمیت مذکور) که میزان ارزش و قرابت معنایی آن آنتولوژی با کلمات کلیدی مورد نظر کاربر را مشخص می کند.

سپس بر اساس این مقادیر نهایی، آنتولوژی ها رتبه بندی می شوند.