Yapay Sinir Ağları Yönteminin Tarihçesi

[biyoböcük]

Yapay sinir ağlarının tarihçesi nörobiyoloji konusuna ilgi duyulması ve elde edilen bilgilerin bilgisayar bilimine uyarlanması ile başlamaktadır. YSA’lara ilişkin çalışmalar incelendiğinde, yapılan araştırmaların çoğunun birbirinin devamı niteliğinde olduğu görülmektedir. Diğer bir deyişle, geliştirilmiş olan en eski YSA yapıları ve öğrenme algoritmaları günümüzde hala kullanılmaktadır ve bu alandaki gelişmeler önceki gelişmelerle güçlü bir biçimde ilişkilidir. Bu araştırmaların birbirini takip etmesi nedeniyle YSA çalışmaları hızla gelişmiştir, ancak daha sonraları yapılan bazı çalışmalar önceki çalışmaların yetersiz olduğunu göstermiş ve bu sorunlar giderilene kadar YSA alanındaki çalışmaların ve bu çalışmalara yapılan desteklerin duraksamasına sebep olmuştur (Öztemel, 2006, 37).

İnsan beyninin nasıl çalıştığı ve fonksiyonları uzun yıllar araştırılmıştır. Beyin fonksiyonları konusunda bilgi veren ilk eser 1890 yılında yayınlanmıştır. 1940 yılından önceyse Helmholtz, Pavlov, Poincare gibi bazı bilim adamlarının YSA kavramı üzerinde çalıştıkları bilinmektedir. Fakat bu çalışmaların mühendislik değeri olduğu söylenemez (Öztemel, 2006, 37). Yapay sinir ağlarının ilk temelleri 1940’ların başında araştırmalara 

başlayan nöropsikolojist olan McCullogh ile matematikçi olan Pitts’in 1943 yılında yayınladıkları bir makaleyle atılmıştır. McCullog ve Pitts, biyolojik nöronun basit matematiksel gösterimi biçiminde bir modelleme yapmışlardır (Zurada, 1992, 30). Böylece insan beyninin hesaplama yeteneğinden esinlenerek ilk nöron modeli veya basit bir sinir ağı modellenerek, yapay sinir sisteminin ilk matematiksel modeli geliştirilmiştir. Hücrelerin birbirleri ile paralel çalıştığını ortaya koyarak öğrenme kurallarını belirlemeye çalışmışlardır (McCullog ve Pitts, 1943, 118).

1949 yılında McGill Üniversitesi’nde bir psikolog olan Donald Hebb, “The Organization of Behaviour” isimli kitabında, yapay hücrelerden oluşan bir YSA’nın ağırlık değerlerini geliştiren bir öğrenme kuralını açıklamıştır (Hebb, 1949, 60-78). Hebb Öğrenme Kuralı denilen bu kural, günümüzde de birçok öğrenme kuralının temelini oluşturmaktadır (Öztemel, 2006, 37). Farely ve Clark tarafından 1954 yılında rassal ağlar ile adaptif tepki üretme kavramı ortaya atılmıştır (Anderson ve McNeill, 1992, 17). Bu kavram, 1958 yılında Rosenblatt ve 1961 yılında Caianiello tarafından geliştirilmiştir. Özellikle Rosenblatt tarafından geliştirilen algılayıcı (perceptron) model, daha sonraları geliştirilerek yapay sinir ağlarında devrim niteliğinde olan çok katmanlı algılayıcıların temelini oluşturmuştur (Zurada, 1992, 19).

1950’li yıllarda bilgisayarların gelişmesiyle birlikte, insanın düşünce yapısıyla ilgili teorilerin temellerinin modellenmesi olanaklı hale gelmiştir. IBM araştırma laboratuarları araştırmacılarından Nathanial Rochester, bir sinir ağı simülasyonu oluşturma çabalarına öncülük etmiştir. İlk girişim başarısız olmasına rağmen sonraki girişimler başarılı olmuştur. Bu aşamadan sonra, geleneksel hesaplama yöntemlerinin araştırılması yerini sinirsel hesaplama yöntemlerinin araştırılmasına bırakmıştır (Anderson ve McNeill, 1992, 17). Rochester ve ekibi, o zamana kadar “düşünen makineleri” kendi çalışmalarını kanıt göstererek savunmaktaydılar. 1956 yılında yapılan ve daha sonraları Yapay Zeka (YZ) ve YSA (Yapay Sinir Ağları) üzerine konuşmaların ve dolayısıyla kanıtların artmasını sağlamış olan “Yapay Zeka Dartmouth Yaz Araştırma Projesi” yapılmıştır. Bu araştırmanın sonuçlarından biri, hem YZ ve hem de YSA araştırmalarına ilgi gösterilmesini teşvik etmesidir (Anderson ve McNeill, 1992, 17).

1957 yılında, Cornell Üniversitesinde bir nörobiyolog olan Frank Rosenblatt ise YSA çalışmalarının hem gelişiminde hem de duraklamasında önemli bir paya sahip olacak Basit Algılayıcı Modeli (Perceptron)’ni geliştirmiştir. Rosenblatt, bir sineğin göz işlemleriyle ilgilenmiştir. Bir sineğe kaçmasını söyleyen işlemlerin çoğunun sineğin beyni yerine gözünün 

içinde yapıldığından esinlenerek, Algılayıcı diye adlandırılan, bir donanım kurulmuş ve günümüzün en eski YSA modeli olan ağ yapısını geliştirmiştir (Anderson ve McNeill, 1992, 17). Rosenblatt tarafından geliştirilen Algılayıcı, YSA tarihinde önemli bir gelişmeye öncülük etmiştir. Çünkü bu model, daha sonraları geliştirilecek ve YSA’larında devrim niteliğinde olacak olan Çok Katmanlı Algılayıcı (ÇKA)’ların temelini oluşturmaktadır ve oluşturulan bu basit algılayıcı model günümüzde de hala kullanılmaktadır (Zurada, 1992, 19).

1959 yılında Stanford Üniversitesi’nden Bernard Widrow ve öğrencisi Marcian Hoff, ADALINE (Adaptive Linear Elements) ve MADALINE (Multiple Adaptive Linear Elements) olarak isimlendirdikleri Algılayıcıya benzeyen iki model geliştirmişlerdir (Anderson ve McNeill, 1992, 17-18). Bu sistemde en küçük ortalama kareler (LMS, Least Mean Squares) öğrenme kuralı kullanılmıştır (Öztemel, 2006, 38).

Marvin Minsky ve Seymour Papert tarafından 1969 yılında yapılan çalışmalar “Perceptrons (Algılayıcılar)” isimli kitaba dönüşmüştür. Bu kitapta yazarlar özellikle, yapay sinir ağlarına dayalı algılayıcıların bilimsel bir değerinin olmadığını ve doğrusal olmayan problemlere çözüm üretemediğini iddia etmişler, tezlerini kanıtlamak için de XOR* mantık probleminin çözülmemesini örnek göstermişlerdir. Bu durum yapılan yapay sinir ağları çalışmalarının duraklama dönemine girmesine neden olmuştur. Çalışmaların 1969 yılında sekteye uğramasına ve gerekli finansal desteklerin kesilmesine rağmen bazı bilim adamları çalışmalarına devam etmişlerdir. Özellikle Shun-Ichi Amari, Stephen Grossberg, Gail A. Carpenter, Teuvo Kohonen ve James A. Anderson gibi araştırmacıların çalışmaları 1980’li yıllara gelindiğinde meyvelerini vermiş ve YSA’lara ilişkin yeni çalışmalar ortaya koyulmaya başlanmıştır. 1976 yılında Grossberg ve Carpenter tarafından geliştirilen, Adaptif Rezonans Teorisi (ART), öğretmensiz öğrenme konusunda zamanın geliştirilmiş en karmaşık yapay sinir ağı olmuştur (Zurada, 1992, 19; Öztemel, 2003, 39).

1982 ve 1984 yılında Hopfield tarafından yapılan çalışmalar, yapay sinir ağlarının genelleştirilebileceği ve özellikle geleneksel bilgisayar programlama ile çözülmesi zor olan problemlere çözüm üretebileceğini göstermiştir. Hopfield, 1972 yılında farklı disiplinlerde çalışan elektrik mühendisi Kohonen ve nöropsikolojist Anderson’un birbirinden habersiz oluşturdukları benzer çalışmaları kullanmıştır. Yaptığı çalışmalarla optimizasyon gibi teknik problemleri çözmek için doğrusal olmayan dinamik Hopfield ağını ve Kohonen eğiticisiz öğrenen bir ağ olan “Kendiliğinden Organize Olabilen Nitelik Haritaları (SOM, Self- 

Organizing Feature Maps)” ağını geliştirmiştir (Hopfield, 1982, 2554-3092). Hopfield, bu çalışmalarda ayrıca YSA’ların matematiksel temellerini ortaya koymuştur (Anderson ve McNeill, 1992, 18). Bu çalışmalar, daha sonraları geliştirilecek olan danışmansız öğrenme kurallarının temelini oluşturmuştur.

1986 yılında David Rumelhart ve James McClelland, “Paralel Distrubuted Processing” adlı eserlerinde ileri beslemeli modellerde yeni öğrenme modeli olan hatanın Geriye Yayılma Algoritmasını (Back Propogation Algorithm) geliştirerek bu konuda daha önce iddia edilen aksaklıkların aşılabileceğini göstermişlerdir. Çünkü tek katmanlı algılayıcının çözemediği XOR problemi, çok katmanlı algılayıcıların bulunmasıyla çözülmüştür. Bugün birçok alanda bu öğrenme yönteminin farklı sürümleri kullanılmaktadır (Rumelhart ve McClelland, 1986, 283). Halen en çok kullanılan eğitim algoritmalarından biri olan bu algoritmanın geliştirilmesi YSA alanında çığır açmıştır (Zurada, 1992, 20). Bu gelişmeler YSA’larına olan ilginin artmasına neden olmuştur.

YSA’lara olan ilginin artması sonucunda bu konuyla ilgili olarak çeşitli konferanslar düzenlenmiştir. Bu konferanslardan biri de Kyoto’da Japon ve Amerikalı katılımcılar tarafından düzenlenen “US-Japan Joint Conference on Cooperative/Competitive Neural Networks” konferansıdır. Konferans boyunca Japonlar beşinci nesil araştırmalarını sunmuşlardır. Bunun üzerine Amerikalılar arasında Japonya’nın gerisinde kalındığı korkusu oluşmuştur. Bu korku nedeniyle ABD’de kısa bir sürede, fonlar yeniden YSA araştırmalarına aktarılarak, YSA’ların belirli aralıklarla geliştirilmesi söz konusu olmuştur (Anderson ve McNeill, 1992, 18).

1985 yılına gelindiğinde, Amerikan Fizik Enstitüsü “Bilgi İşleme İçin Yapay Sinir Ağları (Neural Networks for Computing)” konulu yıllık toplantılar düzenlemeye başlamıştır (Anderson ve McNeill, 1992, 18). 1987 yılında Elektrik ve Elektronik Mühendisleri Enstitüsü (IEEE) tarafından yapılan 1. Uluslar arası Yapay Sinir Ağları Konferansı (1. International Conference on Neural Networks) ile YSA alandaki çalışmalar tüm dünyada yaygınlaşmaya başlamıştır.

1988 yılında çok katmanlı algılayıcılara alternatif olarak, Broomhead ve Lowe, Radyal tabanlı fonksiyonlar (Radial Basis Funcitons, RBF) modelini geliştirmişler ve özellikle filtreleme problemlerine oldukça başarılı sonuçlar üretmişlerdir. Daha sonra Specht, bu ağların daha gelişmiş şekli olan Parabolistik Ağlar (PNN) ve Genel Regresyon Ağları (GRNN) geliştirmiştir. 1987 yılından bu yana da değişik sempozyum ve konferanslarla YSA tartışılmakta yeni öğrenme teknikleri ve modeller ortaya atılmaktadır (Öztemel, 2006, 40).

YSA 1950’li yıllarda ortaya çıkmalarına rağmen, ancak 1980’li yılların ortalarında genel amaçlı kullanım için yeterli seviyeye gelmişlerdir.

Günümüzde, bilgisayarların boyutlarının küçülüp kapasitelerinin artmasıyla birlikte, YSA teorik ve laboratuar çalışmaları olmaktan çıkıp günlük hayatta kullanılan sistemler oluşturmaya ve pratik olarak insanlara faydalı olmaya başlamıştır (Öztemel, 2003, 40).

YSA’nın finans alanında kullanımının yaygınlaşması ise Rumelhart ve McClelland’ın geri yayılım algoritmasını geliştirmeleriyle paralellik göstermektedir. Finansal problemlerin doğrusal yapının yanı sıra doğrusal olmayan bir yapıyı da içermeleri nedeniyle, finansal problemlerin çözümünde çok katmanlı ağlara ihtiyaç duyulmuştur. Daha önceleri geliştirilmiş olan çok katmanlı ağlar olmasına rağmen bu ağların eğitiminin yapılamaması söz konusu olmuştur. Ancak Rumelhart ve McClelland’ın geliştirmiş olduğu bu algoritma ile bu sorunun üstesinden gelinerek YSA’nın finans alanında büyük ilgi görmesi sağlanmıştır. Bugün YSA, finansal endekslerin öngörüsü, hisse senedi fiyatlarının öngörüsü, portföy çeşitlendirmesi, tahvil değerleme, kredilerin geri ödenme oranlarının öngörüsü, gayrimenkul fiyatlarının öngörüsü ve işletmelerin iflas öngörüsü gibi finansal öngörülerin yapılmasında etkin şekilde uygulanmaktadır.

* XOR (Executive OR) mantık problemi, birim hiperküpteki noktaların sınıflandırılması probleminin özel bir durumu olarak tanımlanabilir. Hiperküpteki her bir nokta, 1 ya da 0 sınıflarından birine aittir. Ayrıntılı bilgi için bkz. (Zurada, 1992).