از حدود 1940 بطور همزمان اما جداگانه ، از سویی نوروفیزیولوژیستها سعی میکردند سیستم یادگیری و تجزیه و تحلیل مغز را کشف کنند و از سویی ریاضیدانان تلاش می کردند تا مدل ریاضی بسازند که قابلیت فراگیری و تجزیه تحلیل عمومی مسائل را دارا باشد. از آن زمان ، بارها این اتفاق افتاد که ریاضیدانان یافته های نوروفیزیولوژیستها را پیاده سازی کردند، بدون این که بدانند چرا، و در عمل مشاهده کردند که سیستم پیاده شده کارایی شگفت انگیز سیستم طبیعی را دارد. پس از آن توانستند منطق زیربنایی سیستم طبیعی را درک کنند. اگر چه از همان ابتدا، ریاضیدانان توانسته بودند مدل ریاضی یک سلول عصبی یا نورون را بسازند، اما تا حدود 1974 که دانش مربوط به نوع اتصال این واحدهای شبه نورونی به یکدیگر تکامل لازم را نیافته بود. امروزه برنامه های کاربردی متعددی دردسترس هستند که با این روش کار میکنند. اگر چه کاربرد این برنامه ها بویژه برای افراد عادی کمی مشکل است، اما محققین روز به روز بیشتر و بیشتر آنها را به کار می گیرند. برای تجزیه و تحلیل یک سیستم پیچیده بوسیله روش شبکه های عصبی، نیاز به دانش زیادی درباره سیستم مورد مطالعه نمی باشد، چون عمل تجزیه و تحلیل و یادگیری در مغز شبکه اتفاق می افتد نه در مغز محقق، اما به هر حال بهره گیری از دانش کلی درباره طرز کار این شبکه ها برای کاربران آنها ضروری است، چرا که تنظیمات ساده و کلی در این برنامه ها وجود دارند که آگاهی از آنها برای ساختن یک مدل موفق ضروری است.
شبکه های عصبی مصنوعی در واقع مثلثی هستند که 3 ضلع مفهومی دارند: 1- سیستم تجزیه و تحلیل داده ها، 2- نورون یا سلول عصبی 3- شبکه یا قانون کار گروهی نورونها. در یک تعریف کلاسیک، هایکین می گوید: شبکه عصبی عبارت است از مجموعه ای عظیم از پردازشگرهای موازی که استعداد ذاتی برای ذخیره اطلاعات تجربی و بکارگیری آن دارند و این شبکه دست کم از دو بابت شبیه مغز است: 1- مرحله ای موسوم به یادگیری دارد 2- وزن های سیناپسی جهت ذخیره دانش به کار می روند.
وظیفه شبکه های عصبی یادگیری است. تقریبا چیزی شبیه یادگیری یک کودک خردسال. یادگیری در شبکه های عصبی رایج به شکل Supervised یا یادگیری تحت نظارت است. والدین تصاویر حیوانات مختلف را به کودک نشان می دهند و نام هرکدام رابه کودک می گویند. ما روی یک حیوان، مثلا سگ، تمرکز می کنیم. کودک تصاویر انواع مختلف سگ را می بیند و در کنار اطلاعات ورودی (تصاویر و صدا) برای هر نمونه، به او گفته می شود که این اطلاعات مربوط به یک نوع "سگ" هست یا خیر. بدون اینکه به او گفته شود، سیستم مغز او اطلاعات ورودی را تجزیه و تحلیل می کند و به یافته هایی در زمینه هر یک از پارامترهای ورودی از قبیل "رنگ، اندازه، صدا، داشتن پنجه یا سم یا شاخ" می رسد. پس از مدتی او قادر خواهد بود یک "نوع جدید" از سگ را که قبلا هرگز ندیده است شناسایی کند. از آنجایی که در مورد هر نمونه جانور در مرحله یادگیری به کودک گفته شده که آیا سگ هست یا خیر، این نوع یادگیری، تحت نظارت نامیده می شود. نوع دیگر یادگیری یعنی یادگیری بدون نظارت یا Unsupervised هم توسط شبکه های عصبی شبیه سازی شده است و کاربردهای کمتری دارد.
مقایسه مدلسازی کلاسیک در مقایسه با مدلسازی شبکه عصبی:
الف: سناریوی مدلسازی کلاسیک
جهت درک ویژگیهای مدلسازی بکمک شبکه های عصبی، لازم است که ابتدا مدلسازی کلاسیک را تجسم کنیم.: پارامترهای A,B,C,D سیستم مارا تعریف می کنند، این پارامترها می توانند غلظت مواد شیمیایی و پارامترهای فیزیکی فرمولاسیون باشند. ممکن است پارامترهای فیزیولوژیک یا پاتولوژیک وضعیت بیماران باشند. در کنار هر سری پارامتر که یک نمونه (فرمول شکل دارویی یا بیمار یا هر نمونه دیگر) را تعریف می کند یک پاسخ R وجود دارد که می تواند پایداری فرمول دارویی یا پارامتری نمایانگر وضعیت بیمار باشد.
مدل سازی کلاسیک از نخستین قدم خطای بزرگی را مرتکب می شود که فقط در سیستمهای ساده (خطی یا نزدیک به خطی) قابل صرف نظر است. نخستین قدم در روش کلاسیک برای بررسی داده ها بررسی شاخصهای تمایل به مرکز (میانگین،...) و شاخصهای پراکندگی (انحراف معیار، ...) است. از این مرحله به بعد در روش کلاسیک کاری با تک تک نمونه ها نداریم و اهمیت فردی آنها از بین می رود. بعنوان مثال ممکن است مقدار پارامتر A (مثلا غلظت ماده شیمیایی A) در دمای صفر تا 15 درجه (دما پارامتر B است) روی پایداری دارو یا R تاثیر مثبت داشته باشد، و از 15 درجه به بالا تاثیر منفی داشته باشد، به این ترتیب نگاه همزمان به پارامترهای A و B برای درک تاثیر آن دو بر روی R ضروری است، در حالیکه ما با گرفتن میانگین (یا دیگر مشتقات آماری) از کل ستونهای A وB و سایرین، اثر همراهی مقادیر A و B را از صورت مساله پاک کرده ایم. در هیچ یک از روشهای کلاسیک مدلسازی با داده های فردی (تک تک نمونه ها) کاری نداریم و این یک اشکال مهم است. در واقع روش کلاسیک با عملی شبیه به هوموژن کردن یا آسیاب کردن داده ها، پیچیدگی روابط آنها را محو می کند و به این دلیل از کشف این پیچیدگیها باز می ماند.
در نهایت نیز، در روش کلاسیک ، شما یک معادله سیستم خواهید داشت که داده های جدید را بدون در نظر گرفتن اثر همراهی پارامترهایش با هم استفاده می کند و مجددا این خطا در پیشگویی اثر R توسط سیستم شما تاثیر خواهد داشت. به این ترتیب سیستم کلاسیک در "استخراج" معنی از داده ها ضعیف و با بازده پایین عمل می کند و در بسیاری از موارد از کشف روابط بین داده ها ناکام می ماند.
اگر می توانستیم سیستمی داشته باشیم که با اهمیت دادن به فردفرد مثالها تجزیه و تحلیل کند و نیز بدون پیشداوری در مورد شکل تابع هر پارامتر (خطی بودن و یا شکل تابع غیر خطی) آن را ذخیره و ارزیابی کند، چنین سیستمی می توانست نتایج بیشتری را از عمق داده ها بیرون بکشد.
ب: سناریوی مدلسازی شبکه عصبی:
در یک شبکه عصبی نمونه،اطلاعات و پارامترهای ورودی، هرکدام به شکل یک سیگنال الکتریکی تحریک به کانالهای ورودی مدل ریاضی سلول عصبی وارد می شوند. مدل ریاضی یک سلول عصبی را یک Perceptron می نامند. هر یک از کانالهای ورودی (شبیه اتصالات دندریتها) دارای یک ضریب عددی هستند که ((وزن سیناپسی)) نامیده می شود. شدت تحریک الکتریکی در این ضریب ضرب می شود و به جسم سلولی می رسد. اگر مجموع تحریکات رسیده شده به جسم سلولی کافی باشد، نرون شلیک می کند و در مسیرهای خروجی (شبیه آکسونها) جریان الکتریکی ثابتی را ایجاد می کند. تحریکات لایه ورودی سلولها به یک یا چند لایه واسط می رود که به نامه لایه های مخفی (Hidden Layers) موسوم هستند.