برگشتن به برق

دانلود پایان نامه : محاسبه نقطه تعادل نش در روشهاي يادگيري تقويتي چندعاملي

۵,۳۰۰ تومان

Continue Shopping
دسته: برچسب: , , , , , , , , , ,

توضیحات

دانلود پایان نامه : محاسبه نقطه تعادل نش در روشهاي يادگيري تقويتي چندعاملي

130ص

 

دانشگاه آزاد اسلامی

واحد تهران جنوب

دانشکده فنی و مهندسی

پایان نامه براي دریافت درجه کارشناسی ارشد”M.Sc”

مهندسی  برقکنترل

 

فهرست مطالب

چكيده. 1

مقدمه  3

1-     کلیات.. 5

1-1-  سئوالات كليدي پروژه. 8

1-2-  مفروضات پروژه. 9

1-3-  روش کار و تحقیق… 10

1-4-  ساختاربندی پروژه. 10

2-     تئوری بازی   13

2-1-  رقابت در عامل‌ها 15

2-1-1-     بازيهاي بديهي.. 15

2-1-2-     بازيهاي بدون رقابت… 15

2-1-3-     بازيهاي كاملاً رقابتي.. 16

2-1-4-     بازیهای با تضاد جزئی.. 16

2-2-  ساختار بازیها 17

2-2-1-     بازيهاي نرمال.. 17

2-2-2-     بازیهای پویا 18

2-3-  مفهوم غلبه. 20

2-3-1-     غلبه اکید در استراتژی محض…. 20

2-3-2-     غلبه ضعیف… 21

2-3-3-     غلبه اکید در استراتژیهای مرکب… 22

2-4-  نقطه تعادل نش…. 22

2-5-  نقطه تعادل كامل زيربازي.. 24

2-6-  بهينگي پارتو. 24

2-7-  مفاهيم بسط يافته تعادل نش…. 25

2-7-1-     نقطه تعادل هم بسته. 25

2-7-2-     نقطه تعادل ε. 27

2-7-3-     نقطه تعادل کامل دست لرزان.. 27

2-7-4-     نقطه تعادل صحيح.. 30

2-7-5-     نقطه تعادل پاسخ دو جانبه‌اي (QRE). 31

2-7-6-     نقطه تعادل شبه كامل.. 33

2-7-7-     نقطه تعادل سلطه‌جو. 33

2-7-8-     نقطه تعادل متوالي.. 35

3-     روشهاي کلاسیک محاسبه نقطه تعادل نش    38

3-1-  محاسبه نقطه تعادل نش در بازيهاي نرمال.. 38

3-1-1-     Lamke-hawson method. 38

3-1-2-     Simple search method. 47

3-2-  محاسبه نقطه تعادل نش در بازيهاي پويا 51

3-2-1-     الگوريتم استقراء معكوس… 51

4-     يادگيري تقویتی.. 55

4-1-  مبانی اولیه. 56

4-2-  خاصیت مارکوف… 57

4-3-  فرآيند تصميم گيري ماركوف… 58

4-3-1-     تابع ارزش… 60

4-3-2-     تابع ارزش بهينه. 62

4-3-3-     روش‌هاي حل فرآيندهاي تصميم گيري مارکوف… 63

4-3-4-     برنامه ريزي پويا 63

4-3-5-     روش مونت کارلو. 64

4-3-6-     روش تفاضل زماني.. 65

4-4-  روش‌هاي يادگيري تک عاملي.. 67

4-4-1-     الگوريتم Sarsa. 68

4-4-2-     الگوريتم Q-Learning. 68

4-4-3-     الگوريتم Dyna_Q.. 70

5-     يادگيري تقويتي چندعاملي.. 73

5-1-  تاریخچه. 73

5-1-1-     يادگيري Nash-Q.. 73

5-1-2-     يادگيري Friend or Foe. 74

5-1-3-     يادگيري Asymmetric-Q.. 75

5-1-4-     Minimax. 76

5-1-5-     Infinitesimal Gradient Ascent (IGA) 77

5-1-6-     Wolf-IGA.. 79

5-1-7-     (Policy dynamic wolf) PD-Wolf. 80

5-2-  فرآيند بازي ماركوف… 81

6-     محاسبه نقطه تعادل نش در یادگيري تقويتي n-عامله. 86

6-1-  بازيهاي مارکوف نرمال n-عامله. 87

6-1-1-     استفاده از الگوریتم ژنتیک در محاسبه نقطه تعادل نش… 89

6-2-  بازيهاي مارکوف پويا n-عامله. 91

6-2-1-     استفاده از روش استقراء معكوس تعمیم یافته در محاسبه نقطه تعادل نش… 92

7-     شبیه سازی   95

7-1-  شبيه‌سازي در محيط مشبك…. 95

7-1-1-     استفاده از Q-Learning در محيط‌هاي چندعاملي.. 95

7-1-2-     مقايسه الگوريتم Nash-Q و Q-Learning. 97

7-1-3-     محاسبه نقطه تعادل نش در یادگیری تقویتی چندعاملی.. 98

7-2-  شبیه سازی بازار برق.. 100

7-2-1-     مطالعه موردی.. 104

8-     نتيجه‌گيري   111

مراجع   114

ABSTRACT   123

چكيده

 

در اين رساله، روش مناسبي جهت محاسبه نقطه تعادل نش در الگوريتم‌هاي يادگيري تقويتي چندعاملي با تعداد زياد عامل‌ها مطرح شده‌است، كه قادراست با ادغام محاسبات مربوط به نقطه تعادل نش و ايجاد مصالحه بين اكتشاف- استخراج، محاسبات را به صورت بهينه كاهش دهند. تركيب يادگيري تقويتي تك- عاملي و تئوري بازي ايده اصلي اكثر روشهاي يادگيري چندعاملي است. اين روش‌ها سعي دارند تا كل فرآيند يادگيري را به تعدادي متناهي از حالت‌هاي تصميم‌گيري چندعاملي با خاصيت ماركوف تقسيم كرده و با انتخاب نقطه تعادل نش در هر كدام از اين مراحل به تدبير بهينه براي هر عامل همگرا شوند. بنابراين محاسبه نقطه تعادل نش مسئله مهمي است كه در حال حاضر مشكلاتي شامل پيچيدگي محاسبات در روشهاي شناخته شده محاسبه نقطه تعادل نش، چندگانگي نقطه تعادل نش، و مختلط بودن نقطه تعادل نش باعث شده كه اكثر روشهاي پيشنهادي يادگيري تقويتي چندعاملي جايگاه مناسبي در حل مسائل دنياي واقعي پيدا نكنند. ناگفته نماند كه تقريباً تمام روشهاي يادگيري تقويتي چندعاملي مطرح شده، مبتني بر روشهاي off-policy بوده‌اند كه نيازي به در نظر گرفتن مسئله رويه انتخاب عمل و اكتشاف در اثبات همگرايي ندارند. بنابراين در رويه‌هاي اجرايي پيشنهاد داده‌اند كه ابتدا نقطه تعادل نش محاسبه شده و سپس با روش ϵ-greedy مصالحه بين اكتشاف و استخراج برقرار شود.

محاسبه نقطه تعادل ϵ-نش در بازي‌هاي نرمال در اين رساله به صورت يك مسئله مينيمم‌سازي تعريف شده كه جواب آن توسط الگوريتم‌هاي ژنتيك بدست آمده‌است. علاوه بر كاهش پيچيدگي روش محاسبه نقطه تعادل نش، با اضافه كردن جمله مناسب در محاسبه تابع برازندگي، هر عامل قادر است نقطه تعادل نش پارتو را محاسبه كند كه مسئله چندگانگي نقاط تعادل نش را نيز مرتفع مي‌سازد.

در پايان، روشهاي پيشنهادي در حل مسئله بازار برق مورد استفاده قرار گرفته‌است. اين مسئله كه در سال‌هاي اخير توجه زيادي را به خود جلب كرده در اين رساله به سه قسمت تقسيم شده‌است. در قسمت اول شركت برق با هدف كاهش هزينه‌ها يك مسئله برنامه‌ريزي مقيد را با كمك برنامه‌ريزي خطي حل مي‌كند. قيد‌هاي اين مسئله شامل لزوم تأمين نيازهاي مصرف‌كنندگان و افت توان در خطوط انتقال انرژي مي‌باشد. در قسمت دوم، هر ژنراتور با توجه به اطلاعات كسب شده مراحل قبلي اقدام به انتخاب قيمت‌گذاري جديد در ابتداي روز بعد مي‌كند. اين اطلاعات  شامل قيمت‌هايي كه خودش و ديگران به شركت برق ارائه كرده‌اند و تصميم شركت برق (كه منجر به پاداش (سود) براي خودش و ديگران شده) مي‌باشد. اين قسمت توسط الگوريتم‌هاي ژنتيك حل شده است. در قسمت سوم، از همان اطلاعات ذكر شده در قسمت قبل به منظور اصلاح ديدگاهش براي روز گذشته استفاده مي‌كند. الگوريتم يادگيري چندعاملي Nash-Q در اين قسمت استفاده شده است. در حالت كلي، انرژي مورد نياز شبكه و توپولوژي آن هر دو متغير هستند. ولي در اين رساله توپولوژي شبكه ثابت فرض شده است. شبيه‌سازي‌هاي انجام شده نشان مي‌دهد كه روش ارائه شده به خوبي قادر به حل مسئله يادگيري تقويتي چندعاملي در مسائل كاربردي با تعداد عامل بيشتر از دو است…

مقدمه

محاسبه نقطه تعادل ϵ-نش در بازي‌هاي نرمال در اين رساله به صورت يك مسئله مينيمم‌سازي تعريف شده كه جواب آن توسط الگوريتم‌هاي ژنتيك بدست آمده‌است. علاوه بر كاهش پيچيدگي روش محاسبه نقطه تعادل نش، با اضافه كردن جمله مناسب در محاسبه تابع برازندگي، هر عامل قادر است نقطه تعادل نش پارتو را محاسبه كند كه مسئله چندگانگي نقاط تعادل نش را نيز مرتفع مي‌سازد.

در پايان، روشهاي پيشنهادي در حل مسئله بازار برق مورد استفاده قرار گرفته‌است. در ابتداي هر روز، شركت برق با هدف كاهش هزينه و در عين حال تأمين نيازهاي مصرفي با توجه به توپولوژي شبكه، به كمك برنامه‌ريزي خطي ميزان خريد برق از هر ژنراتور را با توجه به قيمت‌هاي پيشنهادي آنها اعلام مي‌كند. علاوه بر آن در پايان هر ماه با توجه به تناسب قيمت‌هاي پيشنهادي، مبلغي را به عنوان پاداش به هر ژنراتور مي‌دهد. ژنراتورها با توجه به ميزان سودي كه از فروش برق بدست مي‌آورند، پارامترهاي مربوط به جدول ارزش‌هاي خود در آن روز را اصلاح مي‌كنند. اين جدول‌ها منعكس كننده مسئله تعيين قيمت با توجه به خواسته‌هاي شركت برق و نحوه قيمت‌گذاري ساير ژنراتورها است. ژنراتور‌ها در ابتداي هر روز با توجه به اين جدول به دنبال پيدا كردن بهترين پيشنهاد به شركت برق هستند كه در واقع همان مسئله تعيين نقطه تعادل نش است. با كمك يادگيري تقويتي چندعاملي، ارزش‌هاي اين جدول‌ها به مرور اصلاح شده و عامل‌ها قادر به جمع‌آوري سود بيشتري در طول يك ماه خواهند بود. شبيه‌سازيهاي انجام شده روند صعودي افزايش ميزان سود را نشان مي‌دهند…

1-1- بهينگي پارتو

اين مفهوم داراي كاربردهاي زيادي در اقتصاد، مهندسي و مسائل اجتماعي دارد. براي مجموعه‌اي از حالتهاي مربوط به تعدادي از افراد يك جامعه، اگر بتوان حركتي انجام داد و به حالت جديد رفت به گونه‌اي كه شرايط براي حداقل يكي از آنها بهتر شده باشد (درحاليكه براي بقيه بدتر نشده باشد) به آن بهبود از نوع پارتو مي‌گويند. يك حالت را بهينه پارتو مي‌گويند اگر ديگر امكان انجام هيچ بهبود پارتو ديگر وجود نداشته باشد. به اين حالت غالباً پارتو بهينه اكيد مي‌گويند.

به مجموعه نقاط كارآمد پارتو در مجموعه انتخاب‌هاي ممكن، مجموعه پارتو يا سرحد پارتو[2] مي‌گويند. در مهندسي نيز اين بحث كارآيي زيادي دارد. چرا كه يك طراح با داشتن مجموعه پارتو فقط كافي است مجموعه پارامترهاي پارتو را در طراحي امتحان كند و لازم نيست بقيه حالت‌ها را در نظر بگيرد. (Aumann, 1974)اين مجموعه به صورت كلاسيك به اين صورت تعريف مي‌شود كه، در يك فضاي طراحي n بعدي كه براي هر نقطه آن مي‌توان m پارامتر ارزيابي در نظر گرفت، كه اين ارزيابي توسط تابع f : n m ممكن است قسمتي از اين نقاط شدني نباشند. بنابراين فرض كنيد كه مجموعه نقاط شدني X از كل فضاي n مدنظر هستند كه يك مجموعه فشرده است. تصوير مجموعه X توسط تابع f را با Y نشان مي‌دهيم. حال دو بردار x، y از فضاي تصوير Y را در نظر بگيريد. بردار x به صورت اكيد بر بردار y تسلط دارد اگر حداقل يكي از المانهاي برداري آن اكيداً بزرگتر باشد. به عبارت ديگر xi yi براي اكثر و xi > yi براي بعضي از المانهاي بردار. راه نمايش اين توفق به صورت رياضي به اين صورت است، x > y .

نكته ‌اي كه بايد در نظر داشت، اين است كه نقطه بهينه پارتو به هيچ عنوان بيانگر اين نيست كه ديگر امكان بهبود دادن شرايط نيست. بلكه بيان مي‌كند كه صورت هر گونه حركت ديگر يك نفر حداقل ميزان كمتري را دريافت مي‌كند. نكته ديگري كه بايد در ذهن داشت اين است كه نقاط پارتو به يك ميزان مطلوبيت ندارند.

.

.

1-1-       شبیه سازی بازار برق

بازار برق از مفهوم توانایی فروشنده برای نگه داری قیمت در سطحی از رقابت در یک دوره زمانی مشخص بر گرفته شده است. پایه اصلی اقتصاد این است که در شرایط کامل رقابتی، بازار شرکت کننده‌ها بتواند حداکثر سود را به خود اختصاص دهد و قیمت پیشنهادی برابر با حداقل هزینه باشد.

در سالهای اخیر، بسیاری از کشورها در اقصی نقاط جهان به خصوصی سازی و تجدید ساختار در صنعت برق روی آورده اند. هدف از این فعالیتها، ایجاد یک محیط رقابتی برای دادوستد برق و در آخر افزایش رفاه اجتماعی، پایین آمدن قیمت برق و… بوده است. به این ترتیب برای فروش برق بازارهایی ترتیب داده شده است که در آن تولیدکنندگان با هم به رقابت مي‌پردازند. این رقابت در قالب یک بازی است که بازیکنان آن تولیدکنندگان برق مي‌باشند. در بازارهای برق بوجود آمده، از آنجا که تعداد تولیدکنندگان محدود مي‌باشد، رقابت کامل برقرار نمی شود و حتی در بعضی حالات بعضی از تولیدکنندگان بزرگ، بازار را در راستای اهداف خود سوق مي‌دهند. لذا رقابت بصورت ناقص خواهد بود و براساس سطح رقابت، مدل بازار متفاوت مي‌گردد. همچنین ساختار شبکه برق و محدودیتهای آن، یکی دیگر از عوامل در ایجاد رقابت ناقص مي‌باشد. تئوری بازيها هنوز در بازار برق استفاده زيادی نشده است. در اين رساله سعی بر اين است که توليدکنندگان چگونه مي توانند سود کنند، لذا بايد نوعی تعادل بين آنها برقرار شود.

تئوری بازی قادر است برای سیستم‌هاي چند عامله طرح واضحی را ارائه کند. تمام کارهایی که تا کنون در حوزه تئوری بازیها پیرامون بازار برق انجام گرفته علارغم اینکه تعداد ژنراتورها (عامل ها) بیشتر از دو بوده با استفاده از یادگیری تک عامله صورت گرفته است. به این صورت که هر یک از ژنراتورها به طور جداگانه به دنبال بهینه کردن سود خود بودند ولی ما در این رساله سعی داریم برای اولین بار با استفاده از یادگیری تقویتی چند عاملی تمام ژنراتور‌ها را با هم آموزش داده و سپس به وسیله روشی که در فصل 6 بدست آوردیم نقطه تعادل نش را محاسبه کنیم.

برای مدل کردن بازار برق سه روش وجود دارد كه بسته به سطح رقابت از حالت تك انحصاري به سمت رقابت كامل پيش مي رود، این روش‌ها تحت عنوانBertrand,SFE,Cournot  شناخته شده اند که در زیر به صورت مختصر توضیح داده شده است.

·         مدل Bertrand

در مدل کلاسیک Bettrand بازيكنان (توليدكنندگان برق) با يكديگر بر سر قيمت كالايشان به رقابت مي پردازند. در اين مدل سه فرض اصلي وجود دارد:

  1. بازيكنان محصولات مشابه ارائه مي دهند و مشتريان از توليدكننده با قيمت پايينتر خريد را انجام مي دهند. بر اين اساس اگر ميزان تقاضا q = D( p) باشد ( که در آن q ميزان کل تقاضا ار سوی شبکه و p قیمت مي‌باشد)، برای هر تولید کنندهi میزان تقاضایی که از آنها خریداری مي‌شود بر حسب قيمت به صورت زیر مي‌باشد.
  2. محدوديت ظرفيت براي توليدكنندگان وجود ندارد و توانايي تامين نياز شبكه بطور كافي وجود دارد. همچنين توليدكنندگان (نيروگاهها) هزينه هاي توليد يكساني را دارا مي باشند.
  3. توليدكنندگان بدون همكاري با يكديگر و همزمان پيشنهاد قيمت خود را ارائه مي دهند. مشخصه عدم همكاري توليدكنندگان و يا بازيگران بيانگر عملكرد مطابق با علاقه آنها مي باشد و ارائه همزمان پيشنهاد قيمت مبين عدم آگاهي از انتخاب و پيشنهاد رقبا و اثرگذاري آن در تصميم مربوطه مي باشد.

·         مدل Cournot

در اين مدل استراتژيهاي توليدكنندگان براساس ميزان عرضه براي فروش مي باشد. سه فرض اصلي براي حالت كلاسيك اين مدل عبارتند از:

  1. توليدكنندگان محصولات مشابه ارائه مي دهند و تابع هزينه هاي توليد آنها نيز مشابه مي باشد.
  2. توليدكنندگان استراتژي خود را در بازي بدون هماهنگي و بطور همزمان ارائه مي دهند. به عبارت ديگر هر بازيكن بدون مشاهده وآگاهي از استراتژي انتخاب شده از سوي رقبا به انتخاب استراتژي خود مي پردازد.
  3. قيمت پرداختي به توليدكنندگان تابعي از ميزان توليد مي باشد . در اين مدل فرض بر آنست كه تابع معكوس تقاضا[1] مشخص مي باشد. اين تابع اغلب خطي و به صورت شکل 11 در نظر گرفته مي شود.
  4. همانطور كه در اين شكل ديده مي شود، محور افقي بيانگر ميزان مصرف و محور عمودي قيمت متناظر با مصرف را نشان مي دهد. اين تابع بيانگر آنست كه ميزان مصرف تابعي از قيمت بازار خواهد بود. لذا با توجه به اينكه ميزان توليد نيز برابر ميزان مصرف است، مي توان در اين مدل براساس ميزان توليد به رقابت پرداخت. در اين مدل نيز تابع هدف ماگزيمم نمودن سود توليدكنندگان خواهد بود. مدل Cournot یکی از مدلهای تعادلی محبوب در رقابت ناقص در بخش اقتصاد است.

در كاربرد اين مدل براي بازارهاي برق بايد مسئلة مهم محدوديت ظرفيت نيروگاهها مورد توجه قرار گيرد. از آنجاييكه انرژي الكتريسيته غير قابل ذخيره و نياز به آن در طول زمان متغير مي باشد، محدوديت ظرفيت يكي از عوامل مهم و مشكل ساز خواهد بود. يكي از ايراداتي كه بر اين مدل وارد است عدم وجود رقابت براساس استراتژي قيمت مي باشد. اين در حاليست كه در بازارهاي كنوني قيمت پيشنهادي نيز به عنوان يك شاخص در رقابت وجود دارد.

·         مدل SFE

این مدل برای اولین بار توسط Meyer , Kelemper به عنوان يك روش براي مدلسازي نحوة رقابت بازيكنان براي رسيدن به ماکزيمم سود با فرض وجود عدم قطعيت در ميزان تقاضا معرفي گرديد. چندين سال بعد اين روش به مدلي براي تعيين استراتژي بازيكنان در بازار لحظه اي برق تعميم داده شد. بررسيها نشان داده است كه علاقه عموم در استفاده از اين مدل براي مطالعات اقتصادي مي باشد كه علت آنرا نيز بازتر بودن دست تولیدكنندگان دانسته اند. در اين مدل از تابعي كه رابطة ميزان توليد با قيمت را براي هر توليد كننده نشان مي دهد به عنوان رفتار استراتژيك بازيكنان در بازار برق استفاده مي گردد. اين در حالي مي‌باشد كه در مدلهاي قبلي تنها يكي از پارامترهاي قيمت و يا ميزان توليد به عنوان استراتژي بازي انتخاب مي گرديد.

1-1-1-  مطالعه موردی

شبکه پیشنهادی شامل 3 ژنراتور و 3 مصرف کننده دارد، فرض بر آن است که مصرف کننده‌ها از یک الگوی ثابت در طول هر ماه پیروی مي‌کنند. همچنین فرض شده هر ژنراتور  دارای حداکثر ظرفیت تولید  و هزینه مرزی ثابت  به ازای هر MW و مجموعه محدود پیشنهادات  ($/MW) مي‌باشد.

ظرفیت تولید هر ژنراتور و همچنین حداقل قیمتی که مي‌تواند پیشنهاد دهد ثابت و مشخص است. هر ژنراتور را به صورت یک بازیکن و مبالغی که مي‌تواند پیشنهاد دهد را عمل‌هاي آن در نظر مي‌گیریم. در هر دوره هر ژنراتور اطلاعات مربوط به مقدار تولید و قیمت آنرا برای شرکت برق مي‌فرستد، در نهایت پاداش هر یک از این بازیکن‌ها را بر حسب میزان برد آن در مزایده محاسبه خواهیم کرد.

یکی از شرایطی که در هنگام طرح مسئله باید در نظر داشت این است که مجموع توانی که ژنراتورها تولید مي‌کنند نباید کمتر از میزان در خواست مجموع بارها باشد. همچنین حدود قیمتی را که ژنراتورها مي‌توانند پیشنهاد دهند نمی‌تواند متفاوت باشد.

همانطور که در جدول فوق مشاهده مي‌کنید ،حداکثر توانایی تولید هر ژنراتور، حداقل قیمتی که مي‌تواند پیشنهاد دهد و مجموعه عمل‌هاي قابل انتخاب برای هر بازیکن در غالب یک جدول نشان داده شده است. تمام اطلاعات مربوط به پیشنهادات را جمع آوری شده و به صورت تابع  تحت عنوان [2]OPF در آورده که با مینیمم کردن آن رفتار بهینه مشخص مي‌شود.

 

برای حل این مسئله شرایط دیگری نیز باید در نظر گرفته شود از جمله فاصله مصرف کننده‌ها از ژنراتورها،که باعث افت توان در طول مسیرمی باشد، که این افت توان بصورت ضریب ثابتی در فاصله ای که هرکدام از ژنراتورها از مصرف کننده‌ها دارند بصورت معادلات برنامه نویسی خطی قابل اعمال است.

 

.

.

.

جهت دریافت و خرید متن کامل پایان نامه و تحقیق و مقاله مربوطه بر روی گزینه پرداخت مستقیم که در بالای صفحه قرار دارد کلیک نمایید و پس از وارد کردن مشخصات خود به درگاه بانک متصل شده که از طریق کلیه کارت هایی عضو شتاب قابل پرداخت می باشید و بلافاصله بعد از پرداخت انلاین به صورت خودکار لینک دانلود مربوطه فعال گردیده که قادر به دانلود فایل کامل ان می باشید.

دیدگاهها

هیچ دیدگاهی برای این محصول نوشته نشده است.

اولین نفری باشید که دیدگاهی را ارسال می کنید برای “دانلود پایان نامه : محاسبه نقطه تعادل نش در روشهاي يادگيري تقويتي چندعاملي”

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *