خرید و دانلود نسخه کامل کتاب Discrete-Time Markov Control Processes: Basic Optimality Criteria

توضیحاتی در مورد کتاب



این کتاب اولین قسمت از یک مجموعه دو جلدی برنامه ریزی شده را ارائه می دهد که به توضیح سیستماتیک برخی از پیشرفت های اخیر در تئوری فرآیندهای کنترل مارکوف زمان گسسته (MCPs) اختصاص دارد. علاقه عمدتاً به MCPهایی با فضاهای حالت بورل و کنترل (یا عمل) و احتمالاً هزینه‌های نامحدود و مجموعه‌های محدودیت کنترل غیر فشرده محدود می‌شود. MCPها دسته‌ای از مسائل کنترل تصادفی هستند که به‌عنوان فرآیندهای تصمیم مارکوف، فرآیندهای مارکوف کنترل‌شده یا برنامه‌های پویای تصادفی نیز شناخته می‌شوند. گاهی اوقات، به ویژه هنگامی که فضای حالت یک مجموعه قابل شمارش است، به آنها زنجیره های تصمیم مارکوف (یا مارکوف کنترل شده) نیز می گویند. صرف نظر از نام استفاده شده، MCPها در بسیاری از زمینه ها ظاهر می شوند، به عنوان مثال، مهندسی، اقتصاد، تحقیق در عملیات، آمار، مدیریت منابع تجدیدپذیر و تجدید ناپذیر، (کنترل) اپیدمی ها، و غیره. حداقل 90٪ روی MCPهایی متمرکز است که (الف) فضای حالت یک مجموعه قابل شمارش است، و/یا (ب) هزینه های هر مرحله محدود شده است، و/یا (ج) مجموعه محدودیت های کنترل فشرده هستند. اما به اندازه کافی عجیب، پرکاربردترین مدل کنترل در مهندسی و اقتصاد – یعنی مدل LQ (سیستم خطی / هزینه درجه دوم) هیچ یک از این شرایط را برآورده نمی کند. علاوه بر این، هنگامی که با سیستم‌های «جزئی قابل مشاهده» سروکار داریم، یک رویکرد استاندارد تبدیل آنها به سیستم‌های معادل «کاملاً قابل مشاهده» در یک فضای حالت بزرگ‌تر (در واقع فضای اندازه‌گیری‌های احتمال) است که حتی غیرقابل شمارش است. اگر فرآیند حالت اولیه دارای ارزش محدود باشد.