Czytelnia - Wybrane możliwości zastosowań sieci neuronowych i programu STATISTICA Neural Networks

Wybrane możliwości zastosowań sieci neuronowych i programu STATISTICA Neural Networks
dr Paweł Lula
Akademia Ekonomiczna w Krakowie

Spis treści:

Problemy regresyjne
Klasyfikacja wzorcowa
Klasyfikacja bezwzorcowa

Celem opracowania jest prezentacja przykładowych zastosowań sieci neuronowych. W kolejnych punktach zaprezentowano trzy rodzaje problemów i sposoby ich rozwiązania przy pomocy modeli neuronowych. Do omawianych zagadnień zaliczono problemy regresyjne oraz zagadnienia klasyfikacji wzorcowej i bezwzorcowej.

Wszystkie opisywane modele neuronowe skonstruowano przy pomocy programu STATISTICA Neural Networks. W trakcie zapoznawania się z przedstawionym materiałem należy pamiętać, że zaprezentowane tutaj rozwiązania mają wyłącznie charakter przykładów służących do pokazania wybranych aspektów zastosowań sieci neuronowych i nie poruszają wielu istotnych problemów pojawiających się w trakcie konstrukcji sieci. Przedstawione rozwiązania prezentują również tylko niewielką część możliwości oferowanych przez program STATISTICA Neural Networks.

Problemy regresyjne

Uwaga badacza rozwiązującego problem regresyjny skupiona jest zdefiniowanie formalnego sposobu opisu zależności istniejące w świecie rzeczywistym. Skonstruowany model powinien reprezentować rzeczywiste związki istniejące pomiędzy zestawem zmiennych wejściowych (objaśniających) a zestawem zmiennych wyjściowych (objaśnianych). W większości metod przyjmuje się istnienie pojedynczej zmiennej objaśnianej. Zmienna objaśniana ma charakter ilościowy. Dopuszcza się stosowanie ilościowych bądź jakościowych zmiennych objaśniających.

Przedstawienie problemu
Rozważanym problem jest badanie zależności pomiędzy zestawem zmiennych charakteryzującym rynek nieruchomości a wartością nieruchomości. W bieżącym punkcie omówiono zagadnienia związane z budową, weryfikacją i możliwościami aplikacyjnymi sieci neuronowych wykorzystywanych do opisu zależności istniejących na rozwiniętych rynkach nieruchomości.

Dane wykorzystane w trakcie prac związanych z budową modelu uzyskano w trakcie Spisu Powszechnego przeprowadzonego w Stanach Zjednoczonych w 1970 roku. Wykorzystane w trakcie badań wartości są wartościami uśrednionymi wyznaczonymi dla każdego z 506 obszarów spisowych, na jakie podzielony był Boston w trakcie spisu.

Jako zmienną objaśnianą przyjęto:

MEDV - będącą medianą wartości nieruchomości w danym obszarze spisowym wyrażoną w tysiącach USD.
Wyróżniono cztery grupy zmiennych wpływających na wartość nieruchomości (w obliczeniach zastosowano uśrednione wartości cech wyznaczone dla każdego obszaru spisowego):
1. zmienne określające strukturę nieruchomości,
2. zmienne charakteryzujące sytuację demograficzną, społeczną, ekonomiczną oraz geograficzną,
3. zmienne określające łatwość dostępu do ciągów komunikacyjnych oraz
4. zmienną informującą o stanie zanieczyszczenia środowiska naturalnego.
Zebrane wartości wyróżnionych zmiennych dotyczyły każdego obszaru spisowego.
Do grupy zmiennych opisujących strukturę nieruchomości w obszarze spisowym zaliczono:
RM - średnia liczba pokoi wchodząca w skład nieruchomości,
AGE - procentowy udział nieruchomości wybudowanych przed rokiem 1940.
Grupa zmiennych określających sytuację demograficzną, społeczną, ekonomiczną oraz geograficzną obejmowała:
B - wskaźnik liczony zgodnie z formułą 1000(BK - 0.63)2, gdzie BK jest odsetkiem ludności murzyńskiej mieszkającej w danym obszarze spisowym,
LSTAT - odsetek ludności o niskim statusie społecznym (uwzględniono niski poziom wykształcenia oraz zatrudnienie na stanowiskach robotniczych),
CRIM - liczba popełnionych przestępstw w przeliczeniu na jednego mieszkańca,
ZN - udział posiadłości o obszarze większym niż 25 tys. stóp kwadratowych,
INDUS - udział obszarów związanych z działalnością przemysłową,
TAX - wskaźnik określający wysokość podatku od nieruchomości,
PTRATIO - liczba uczniów przypadająca na jednego nauczyciela,
CHAS - zmienna przyjmująca wartość 1 dla tych obszarów spisowych, które graniczą z rzeką Charles River, zaś wartość 0 dla pozostałych obszarów,
Zmienne określające łatwość dostępu do ciągów komunikacyjnych to:
DIS - ważona odległość od pięciu podstawowych obszarów zatrudnienia w Bostonie,
RAD - indeks określający łatwość dostępu do obwodnic wokół Bostonu.
Zanieczyszczenie środowiska naturalnego opisane zostało przez:
NOX - średnie roczne stężenie tlenku azotu.

Wszystkie przyjęte zmienne mają charakter numeryczny.

Konstrukcja regresyjnego modelu neuronowego
Dostępny zbiór danych (składający się z 506 przypadków, z których każdy odpowiadał jednemu obszarowi spisowymi) podzielono w sposób losowy na trzy zbiory: uczący (406 obserwacji), walidacyjny (50 obserwacji) oraz testowy (50 obserwacji). Fragment arkusza danych programu STATISTICA Neural Networks przedstawia rys. 1.

Rys. 1. Zbiór danych wykorzystywany w trakcie badań zależności występujących na rynku nieruchomości w USA

Przystępując do prac związanych z konstrukcją modelu opisującego zależność istniejącą pomiędzy trzynastoma zmiennymi objaśniającymi i pojedynczą zmienną objaśnianą należy w pierwszej kolejności zbadać przydatność neuronowego modelu liniowego, będącego odpowiednikiem liniowej funkcji regresji. Za konstrukcją takiego modelu przemawiają następujące przesłanki:

jeżeli istniejąca w rzeczywistości zależność ma charakter liniowy, to może być opisana przez sieć liniową. W takiej sytuacji nie ma potrzeby korzystania z bardziej złożonych modeli;
jeżeli istniejąca zależność ma charakter nieliniowy, to model liniowy wprawdzie nie jest w stanie poprawnie opisać istniejącego związku, ale może stanowić punkt odniesienia wykorzystywany przy ocenie bardziej złożonych rozwiązań.

Chcąc skonstruować model liniowy wybieramy opcje File / New / Network. Operacja ta spowoduje wyświetlenie okna Create Network (rys. 2), w którym wybieramy liniowy typ sieci (na rozwijanej liście Type wybieramy wartość Linear). Po zmianie typu sieci program STATISTICA Neural Network automatycznie określi wartości wszystkich pozostałych parametrów.

Rys. 2. Okno Create Network w trakcie tworzenia sieci liniowej

Zauważmy, że sieć liniowa nie posiada warstw ukrytych. Przyjęta przez program liczba neuronów w warstwie wejściowej (wynosząca 13) jest równa liczbie zmiennych wejściowych - każdej zmiennej odpowiadać będzie jeden neuron odpowiedzialny za wprowadzenie do sieci w odpowiedni sposób przekształconych wartości zmiennej. Pojedynczy neuron znaj-dujący się w warstwie wyjściowej odpowiada zmiennej. W arkuszu znajdującym się w dolnym, lewym narożniku okna użytkownik definiuje sposób przekształcenia wartości zmiennych, którym podlegają one przed właściwym przetworzeniem przez sieć neuronową (czyli na etapie preprocessingu). Zaproponowana przez program metoda wstępnego przetworzenia danych polega na zastosowaniu funkcji Minimax odpowiedzialnej za liniowe przeskalowanie wartości zmiennej do zadanego przedziału (domyślnie jest to przedział [0; 1]).

Rys. 3. Schemat utworzonej liniowej sieci neuronowej

Utworzenie sieci następuje po wciśnięciu przycisku Create. Powstały model (rys. 3) prezentowany jest w oknie Network Illustration.

W przypadku korzystania z sieci liniowej nie występują żadne trudności z określeniem jej struktury. Posiada ona zawsze dwie warstwy (wejściową i wyjściową), w których liczba neuronów jest ściśle zdeterminowana przez liczbę zmiennych wejściowych i wyjściowych. Również uczenie sieci liniowej jest zadaniem stosunkowo prostym. Wykorzystywany jest w tym celu algorytm pseudoinwersji, który umożliwia szybkie osiągnięcie minimalnej wartości funkcji błędu. Realizacja tego algorytmu uczenia następuje po wybraniu opcji Train / Linear. W trakcie późniejszego działania sieci liniowej wartości zmiennych wejściowych poddawane są preprocessingowi (skalowanie liniowe), a następnie wprowadzane na wejścia neuronów wejściowych. Neurony te przekazują wprowadzane wartości na wejścia neuronu wyjściowego. Tam są one przemnażane przez ustalone w trakcie uczenia współczynniki wagowe i uzyskane iloczyny są sumowane. Tak wyznaczona wartość generowana jest przez neuron wyjściowy i nazywana jest poziomem aktywacji neuronu wyjściowego. Przekształcenie wartości aktywacji neuronu w wartość zmiennej objaśnianej wymaga przeprowadzenia skalowania powrotnego. Uzyskana wartość zmiennej objaśnianej prezentowana jest użytkownikowi.

Użytkownik sieci zainteresowany jest dokładnością oszacowań uzyskiwanych przy pomocy skonstruowanego modelu. Jego ocenę umożliwiają statystyki regresyjne dostępne w programie STATISTICA Neural Networks po wybraniu opcji Statistics / Regression. Okno Regression Statistics przedstawia rys. 4.

Rys. 4. Statystyki regresyjne pozwalające na ocenę liniowego modelu opisującego zależności istniejące na amerykańskim rynku nieruchomości

Mierniki określające jakość sieci wyznaczana są niezależnie dla zbioru uczącego (wartości wyświetlone w kolorze czarnym), walidacyjnego (kolor czerwony) oraz testowego (kolor niebieski). Mierniki wyznaczone na bazie zbioru uczącego pozwalają na ocenę posiadanej przez sieć zdolności do aproksymacji. Mówią one o precyzji z jaką sieć wyznaczać będzie wartość zmiennej wyjściowej dla wektorów wejściowych prezentowanych w trakcie uczenia. Zwykle użytkownik znacznie większą wagę przywiązuje do poprawności działania sieci dla takich wektorów wejściowych, które nie były prezentowane w trakcie uczenia. Umiejętność prawidłowego działania sieci dla danych spoza zbioru uczącego nazywana jest zdolnością do generalizacji. Ocenę tej właściwości sieci umożliwiają mierniki wyznaczone na podstawie zbioru testowego. Zbiór walidacyjny stanowi podstawę do obliczenia mierników jakości służących do monitorowania przebiegu procesu uczenia (pozwala m.in. na identyfikację przeuczenia sieci /zmniejszanie się zdolności do generalizacji, któremu towarzyszy wzrost zdolności do aproksymacji/).

W kolejnych wierszach arkusza zawierającego statystyki regresyjne wyświetlone zostają następuje wartości:

Data Mean. Wartość średnia wyznaczona na podstawie rzeczywistych wartości zmiennej objaśnianej;
Data S.D. Odchylenie standardowe wyznaczone na podstawie rzeczywistych wartości zmiennej objaśnianej;
Error Mean. Przeciętna wartość błędu (liczonego jako różnica pomiędzy rzeczywistą i obliczoną wartością zmiennej objaśnianej);
Abs. E. Mean. Wartość średnia z modułów błędów (liczonych jako różnica pomiędzy rzeczywistą i obliczoną wartością zmiennej objaśnianej);
Error S.D. Odchylenie standardowe błędów;
S.D. Ratio. Iloraz odchylenia standardowego błędów i odchylenia standardowego wartości zmiennej objaśnianej (czyli Error S.D. podzielone przez Data S.D.);
Correlation. Współczynnik korelacji Pearsona liczony pomiędzy rzeczywistymi i obliczonymi przez model wartościami zmiennej objaśnianej.

Oceniając model regresyjny szczególną uwagę należy zwrócić na dwa spośród powyżej przedstawionych mierników:

S.D. Ratio - miernik ten przyjmuje zawsze wartości nieujemne. Mniejsza jego wartość świadczy o lepszej jakości modelu. Dla bardzo dobrego modelu miernik ten osiąga wartość z przedziału od 0 do 0,1. Jeśli wartość S.D. Ratio jest większa od jedności, to korzystanie z skonstruowanego modelu jest nieuzasadnione, gdyż dokładniejszym oszacowaniem wartości zmiennej objaśnianej jest jej średnia arytmetyczna wyznaczona na podstawie zbioru uczącego;
Correlation - miernik ten przyjmuje wartości z przedziału od 0 do 1. Wyższa wartość miernika świadczy o lepszej jakości modelu.

Wyznaczone dla sieci liniowej wartości obu mierników wskazują, że skonstruowany model opisuje w sposób bardzo niedoskonały zależność zachodzącą pomiędzy trzynastoma zmiennymi objaśniającymi i zmienną objaśnianą. Można wnioskować, że istniejąca zależność ma w rzeczywistości charakter nieliniowy.

Konstrukcja neuronowego modelu nieliniowego jest procesem znacznie bardziej złożonym niż proces budowy sieci o charakterze liniowym. Konstruując nieliniowy model regresyjny badacz musi podjąć kilka bardzo ważnych decyzji:

musi wybrać rodzaj sieci (program SNN pozwala zastosować do problemów tego typu perceptrony wielowarstwowe o jednej lub dwóch warstwach ukrytych, sieci o radialnych funkcjach bazowych, sieci realizujące regresję uogólnioną),
musi określić strukturę sieci (przede wszystkim liczbę neuronów ukrytych),
musi przeprowadzić we właściwy sposób uczenie sieci (czyli musi oszacować jej parametry, którymi są wagi i progi).
W praktyce stosowane są dwa sposoby konstrukcji modelu neuronowego:
badacz ustala (najczęściej na podstawie wcześniejszych doświadczeń) rodzaj i topologię sieci, a następnie przy pomocy wybranego algorytmu przeprowadza uczenie uzyskanego modelu. Taki sposób postępowania prowadzić może do konstrukcji modelu o niepoprawnie dobranej strukturze - zbyt mała liczba neuronów może powodować, że sieć nie będzie w stanie opisywać istniejącej w rzeczywistości zależności; natomiast zastosowanie sieci o zbyt dużej liczbie neuronów prowadzić może do powstania modelu o słabych zdolnościach generalizujących.
badacz przeprowadza złożony proces poszukiwań modelu neuronowego, w trakcie którego testowane są sieci różniące się różne typem, strukturą i wartościami parametrów. Takie podejście prowadzi zwykle do uzyskania lepszych modeli, ale wymaga nieporównywalnie większych nakładów w postaci czasu pracy procesora (związanych z koniecznością uczenia rozpatrywanych modeli).

Program STATISTICA Neural Networks pozwala na realizacji obu metod konstrukcji sieci neuronowych.

Decydując się na pierwszy sposób wybieramy opcje File/New/Network i w wyświetlonym oknie Create Network określamy rodzaj sieci i jej topologię. W omawianym przykładzie zdecydujemy się na perceptron wielowarstwowy posiadający łącznie trzy warstwy, z których środkowa (czyli warstwa ukryta) posiada pięć neuronów.

Rys. 5. Okno Create Network w chwili tworzenia sieci perceptronowej

Powyższy rysunek przedstawia wartości parametrów służące do utworzenia takiej sieci.

W celu utworzenia nowej sieci po określeniu wartości wymaganych parametrów należy kliknąć na przycisku Create. Powstałą sieć przedstawia rys. 6.

Rys. 6. Sieć typu perceptron wielowarstwowy posiadająca jedną warstwę ukrytą z pięcioma neuronami

Uczenie sieci perceptronowej ma charakter iteracyjny, co oznacza, że w kolejnych iteracjach (tzw. epokach uczenia) wagi i progi modyfikowane są w taki sposób, aby zmniejszyć wartość sumarycznego błędu sieci. Proces uczenia możemy obserwować na wykresie błędu sieci, który dostępny jest po wybraniu opcji Statistics / Training Graph. Okno służące do prezentacji błędu przedstawia rys. 7.

Rys. 7. Wykres błędu uczenia sieci

Algorytmy uczenia właściwe do treningu skonstruowanej sieci możemy wybrać w menu Train / Multilayer Perceptron. Spośród sześciu dostępnych metod wybierzemy algorytm Levenberga - Marquardta, który pozwala zwykle na osiągnięcie najlepszych wyników w przypadku uczenia niewielkich sieci. Istotną zaletą wybranego algorytmu jest brak parametrów o wartościach określanych przez użytkownika. W oknie wyświetlonym po wybraniu algorytmu Levenberga - Marquardta użytkownik musi tylko zdefiniować liczbę realizowanych epok uczenia (rys. 8).

Rys. 8. Okno pozwalające na przeprowadzenie uczenia metodą Levenberga-Marquardta

W opisywanym przykładzie zdecydowano się na wykonanie 500 epok. Uczenie rozpoczyna się po kliknięciu na przycisku Train. Po wykonaniu każdej epoki uaktualniany jest wykres błędu sieci, na którym prezentowana jest aktualna wartość błędu wyznaczonego na podstawie zbioru uczącego i zbioru walidacyjnego. Proces uczenia na komputerze wyposażonym w procesor Celeron 400 MHz trwał 2 minuty i 49 sekund. Uzyskany w trakcie uczenia wykres błędu przedstawia rys. 9.

Rys. 9. Wykres błędu uczenia uzyskany w trakcie uczenia metodą Levenberga-Marquardta

Prezentowany w programie STATISTICA Neural Networks wykres błędu uczenia pozwala na wizualne sprawdzenie sposobu kształtowania się błędu sieci obliczonego na podstawie zbioru uczącego i zbioru walidacyjnego. Widzimy, iż w trakcie obliczeń wartość błędu wyznaczonego dla zbioru uczącego zmniejsza się. Jednocześnie daje się zauważyć niewielki wzrost wartości błędu wyznaczonego na podstawie zbioru walidacyjnego. Może to świadczyć o wystąpieniu przeuczenia sieci. Chcąc sprawdzić nasilenie zjawiska przeuczenia sieci oraz przeprowadzić ocenę uzyskanego modelu należy posłużyć się wyznaczonymi w tym przypadku statystykami regresyjnymi (rys. 10).

Rys. 10. Statystyki regresyjne wyznaczone dla sieci perceptronowej

Chcąc dokonać oceny uzyskanego modelu neuronowego możemy porównać wartości uzyskanych mierników z analogicznymi wskaźnikami wyznaczonymi dla sieci liniowej. Wartości mierników S.D. Ratio oraz Correlation dla obu typów sieci zestawiono w tabeli 1.

Tabela 1. Mierniki jakości wyznaczone dla sieci liniowej i perceptronu wielowarstwowego

Analizując dane zawarte w tabeli 1 możemy stwierdzić, że:

sieć typu perceptron wielowarstwowy posiada znacznie lepsze zdolności aproksymacyjne, co przejawia się lepszym dopasowaniem do danych uczących;
perceptron wielowarstwowy lepiej opisuje zależności w zbiorze walidacyjnym;
mierniki obliczone na podstawie zbioru testowego wskazują, że większą zdolność do generalizacji posiada sieć liniowa.

W porównaniu z siecią liniową nie uzyskaliśmy poprawy - wprawdzie sieć perceptronowa lepiej dopasowała się do danych uczących, ale równocześnie posiada ona gorsze zdolności generalizujące. Taki sposób działania modelu nieliniowego może wynikać z różnych przyczyn. Do najważniejszych z nich zależałoby zaliczyć:

niepoprawnie wybrany rodzaj sieci (w przypadku pewnych typów zadań lepsze rezultaty można uzyskać stosując sieci RBF lub GRNN);
błędnie określona struktura modelu perceptronowego (najprawdopodobniej zbyt duża liczba parametrów);
błędnie określony warunek zatrzymania procesu uczenia (uczenie trwało zbyt długo, co spowodowało nadmierne dopasowanie się do danych uczących)

Aby uniknąć przedstawionych powyżej problemów należy zastosować drugą z wymienionych wcześniej metod konstrukcji modelu neuronowego. Jak już wspomniano polega ona na testowaniu wielu, różnych architektur sieciowych i wybraniu najlepszego rozwiązania. W programie STATISTICA Neural Networks bardzo czasochłonny proces poszukiwań właściwej sieci może być przeprowadzony automatycznie przez dostępny moduł Intelligent Problem Solver. Korzystanie z modułu jest niezwykle proste - użytkownik musi jedynie odpowiedzieć na kilka pytań związanych z rozwiązywanym problemem, a następnie tylko oczekiwać na dostarczone przez program wyniki. Najważniejsze pytania zadawane przez program określają:

typ problemu (rys. 11) - użytkownik określa, czy tworzony model ma opisywać zależności występujące w danych przekrojowych, czy też w szeregach czasowych;

Rys. 11. Określenie rodzaju problemu rozwiązywanego przy pomocy modułu Intelligent Problem Solver
zmienne objaśniane (rys. 12);

Rys. 12. Wybór zmiennej objaśnianej w modelu tworzonym przy wykorzystaniu modułu Intelligent Problem Solver
zmienne objaśniające (rys. 13) - użytkownik może określić zestaw zmiennych objaśniających lub może (poprzez zaznaczenie pola wyboru) zlecić programowi zadanie wyszukania najlepszego zestawu zmiennych objaśniających;

Rys. 13. Definiowanie zestawu zmiennych objaśniających w trakcie tworzenia modelu przy pomocy modułu Intelligent Problem Solver
zakres sieci rozpatrywanych w trakcie poszukiwań (rys. 14) - okno to daje użytkownikowi możliwość określenia typów sieci rozpatrywanych w trakcie poszukiwań najlepszego modelu;

Rys. 14. Definiowanie typów sieci rozpatrywanych przez moduł Intelligent Problem Solver
czas obliczeń (rys. 15) - zgadzając się na dłuższy czas poszukiwań użytkownik zwiększa prawdopodobieństwo znalezienia poprawnej architektury;

Rys. 15. Definiowanie czasu poszukiwań realizowanych przez moduł Intelligent Problem Solver

W wyniku realizacji trwającego trzydzieści minut procesu poszukiwań zawężonego do sieci typu MLP (perceptrony wielowarstwowe) program zaproponował sieć o ośmiu neuronach ukrytych. Najistotniejsze statystyki regresyjne wyznaczone dla tej sieci przedstawia rys. 16.

Rys. 16. Wybrane statystyki regresyjne wyznaczone dla sieci skonstruowanej przez moduł Intelligent Problem Solver

Również te wyniki zostały porównane z miernikami wyznaczonymi dla sieci liniowej. Odpowiednie zestawienie znajduje się w tabeli 2.

Tabela 2. Porównanie mierników charakteryzujących jakość sieci liniowej i perceptronowej zaprojektowanej przez moduł Intelligent Problem Solver

W tym przypadku wszystkie mierniki wyznaczone dla sieci perceptronowej są lepsze od odpowiadających im wartości charakteryzujących sieć liniową. Uzyskany model może posłużyć do badania prawidłowości charakteryzujących rynek nieruchomości.

Możliwości zastosowań skonstruowanego regresyjnego modelu neuronowego
Program STATISTICA Neural Networks dostarcza szereg narzędzi pozwalających na uruchomienie skonstruowanych sieci i na analizę uzyskanych wyników. Skonstruowany model może być wykorzystany na wiele różnych sposobów. Do najczęściej stosowanych metod wykorzystania skonstruowanych sieci należy zaliczyć:

uruchomienie sieci dla zbioru danych (rys. 17)

Rys. 17. Okno Run Data Set pozwalające na uruchomienie sieci dla wszystkich przypadków wchodzących w skład zbioru danych

Opcja ta pozwala na uruchomienie sieci dla danych zgromadzonych w przygotowanym pliku dyskowym. Możliwe jest uruchomienie sieci dla danych dostępnych w trakcie konstrukcji modelu oraz dla danych zebranych po skonstruowaniu modelu. Jeśli w przygotowanym zbiorze danych znajdują się rzeczywiste wartości zmiennej objaśnianej, to oprócz wartości teoretycznych wyznaczone zostaną również miary dopasowania dla poszczególnych przypadków i dla całej sieci.
uruchomienie sieci dla wybranego przypadku wchodzącego w skład zbioru danych (rys. 18)

Rys. 18. Okno Run Single Case pozwalające na uruchomienie sieci dla pojedynczego przypadku wchodzącego w skład zbioru danych

Opcja ta uruchamia sieć dla jednego, wybranego przez użytkownika przypadku wchodzącego w skład dostępnego zbioru danych.
uruchomienie dla dowolnych danych wpisanych przy pomocy klawiatury (rys. 19)

Rys. 19. Okno Run One-off Case pozwalające na uruchomienie sieci dla wpisanych przy pomocy klawiatury dowolnych danych wejściowych

Podstawową zaletą okna Run One-off Case jest możliwość szybkiego uruchamiania sieci dla dowolnych danych wpisanych przy pomocy klawiatury. Daje to możliwość eksperymentowania z uzyskanym modelem (pozwala na przykład na badanie wrażliwości uzyskanych rezultatów na niewielkie modyfikacje w wartościach danych wejściowych).
wykres rozrzutu obiektów (rys. 20)

Rys. 20. Okno Data Clustering pozwalające na konstrukcję wykresów rozrzutu dla zbioru obiektów

Narzędzie to pozwala na graficzną prezentację obiektów w wybranych przez użytkownika przekrojach. Wykres przedstawiony na rys. 20 pokazuje w jaki sposób na prognozowaną wartość nieruchomości wpływa wartość zmiennej LSTAT (odsetek ludności o niskim statusie społecznym). W obszarach spisowych Bostonu charakteryzujących się wyższym odsetkiem mieszkańców o niskim statusie społecznym maleje przeciętna wartość nieruchomości.
Krzywa odpowiedzi sieci (rys. 21)

Rys. 21. Okno Response Graph pozwalające na wyznaczenie krzywej odpowiedzi sieci

Krzywa odpowiedzi sieci ilustruje zależność zachodzącą pomiędzy wybraną zmienną objaśniającą a zmienną objaśnianą. W celu jej wyznaczenia na odpowiednie wejście sieci wprowadzane są zmieniające się wartości wybranej zmiennej objaśniającej. Na wszystkie pozostałe wejścia wprowadzane są wartości średnie pozostałych zmiennych objaśniających lub stałe wartości zdefiniowane przez użytkownika. Na wykresie przedstawiana jest wartość uzyskana na wyjściu modelu.
powierzchnia odpowiedzi sieci (rys. 22)

Rys. 22. Okno Response Surface pozwalające na wyznaczenie powierzchni odpowiedzi sieci

Sposób konstrukcji powierzchni odpowiedzi sieci jest podobny do metody wyznaczania krzywej odpowiedzi. Podstawowa różnica polega na tym, że w przypadku powierzchni odpowiedzi wyznaczany jest trójwymiarowy wykres przedstawiający zależność pomiędzy dwiema wybranymi zmiennymi objaśniającymi a zmienną objaśnianą. Przedstawiony na rys. 22 wykres prezentuje zależność pomiędzy zmiennymi LSTAT (odsetek ludności o niskim statusie społecznym) i RM (liczba pokoi) a wartością nieruchomości. Najwyższa przeciętna wartość nieruchomości uzyskiwana jest w obszarach o niskim odsetku ludności o niskim statusie społecznym i dużej przeciętnej liczbie pokoi wchodzących w skład nieruchomości.
analiza wrażliwości modelu Bardzo przydatną możliwością oferowaną przez program SNN jest analiza wrażliwości uzyskanego modelu. Celem analizy tego typu jest badanie wpływu usunięcia poszczególnych zmiennych objaśniających na sumaryczny błąd sieci.
Analiza wrażliwości sieci realizowana jest po wybraniu przez użytkownika opcji Statistics / Sensitivity i kliknięciu w wyświetlonym oknie na przycisku Update (rys. 23).

Rys. 23. Okno Sensitivity Analysis pozwalające na przeprowadzenie analizy wrażliwości otrzymanego modelu

Kolumny w arkuszu odpowiadają kolejnym zmiennym wejściowym modelu. Pierwsze trzy wiersze (dane wyświetlane w kolorze czarnym) wyznaczane są na podstawie zbioru uczącego, zaś trzy następne (kolor czerwony) na podstawie zbioru walidacyjnego. W wierszu Error odczytać można sumaryczny błąd sieci po usunięciu ze zbioru danych wejściowych zmiennej odpowiadającej danej kolumnie. Uzyskaną w ten sposób wartość błędu porównać można z błędem sieci posiadającej pełny zestaw zmiennych wejściowych (wartość błędu tego typu dla zbioru uczącego i zbioru walidacyjnego wyświetlana jest w górnej części okna). Przyjmuje się, że dana zmienna objaśniająca jest tym ważniejsza, im większy jest wzrost wartości błędu spowodowany jej usunięciem. Wiersz Rank zawiera numery porządkowe zmiennych uporządkowanych ze względu na ich ważność. W wierszu Ratio odczytać można iloraz błędu uzyskanego po usunięciu wybranej zmiennej objaśniającej i błędu uzyskanego przy pomocy sieci posiadającej wszystkie zmienne objaśniające.

Z poziomu okna Sensitivity Analysis możemy również wyłączyć z dalszej analizy najmniej znaczące zmienne. W tym celu należy określić w polu Threshold wartość progową ilorazu błędów (wiersz Ratio) i wybrać przycisk Prune. W wyniku tej operacji wszystkie zmienne, dla których wartość ilorazu błędów jest mniejsza od przyjętej wartości progowej, zostaną wyłączone z dalszej analizy (program nada im charakter zmiennych nieuwzględnionych).

Powrót do spisu treści

Klasyfikacja wzorcowa

Zagadnienie klasyfikacji wzorcowej polega na przypisaniu każdego badanego obiektu (zjawiska) do jednej z klas - przy czym liczba i charakterystyki klas znane są przed rozpoczęciem realizacji zadania. System realizujący zadanie tego typu powinien otrzymywać na wejściu wartości zmiennych opisujących badane obiekty, zaś na jego wyjściu oczekiwany jest numer (identyfikator, etykieta) klasy.

Klasyfikacja wzorcowa może być z powodzeniem realizowane przez sieć neuronową. Wśród sieci dostępnych w programie STATISTICA Neural Networks zadanie tego typu może realizować sieć liniowa, perceptron wielowarstwowy, sieć o radialnych funkcjach bazowych oraz probabilistyczna sieć neuronowa.

Charakterystyka problemu
Celem konstruowanego klasyfikatora neuronowego jest stworzenie narzędzia pozwalającego na przypisanie senatorów amerykańskich do jednej z dwóch klas - głosujących za oraz przeciw odwołaniu prezydenta Clintona w głosowaniu, które odbyło się w Senacie USA 12 lutego 1999 roku.

Analizowany zbiór danych składa się ze stu rekordów (odpowiadających poszczególnym senatorom). Zawarte w nim informacje dotyczą oskarżenia prezydenta Clintona o krzywoprzysięstwo. Fragment arkusza danych przygotowanego w programie STATISTICA Neural Networks przedstawia rys. 24.

Rys. 24. Dane prezentujące sposób głosowania senatorów amerykańskich w sprawie dotyczącej oskarżenia prezydenta Clintona o krzywoprzysięstwo

W charakterze nazw obiektów przyjęto nazwisko senatora (jeśli zachodziła taka potrzeba to zostało ono skrócone do ośmiu znaków).

Każdy z senatorów charakteryzowany jest przez wartości następujących zmiennych objaśniających (wejściowych) - w edytorze danych ich nazwy wyświetlane są w kolorze czarnym:

PARTIA - przynależność partyjna senatora; zmienna nominalna dwustanowa przyjmująca wartości: Rep (Republikanin) oraz Dem (Demokrata).
KONSER - stopień konserwatyzmu senatora (w skali od 0 do 100, przy czym wartość 100 określa maksymalny konserwatyzm). Wartości tej zmiennej zostały określone przez ekspertów na podstawie wcześniejszej działalności senatora. Zmienna ta ma charakter numeryczny.
WYB_C_96 - odsetek głosów popierających prezydenta Clintona w wyborach w 1996 uzyskanych w stanie reprezentowanym przez danego senatora.
MANDAT - zmienna numeryczna określająca rok, w którym wygasa mandat senatora.
P_KAD - dwustanowa zmienna nominalna wskazująca, czy dany senator pełni swoją funkcję przez pierwszą kadencję (wartość Tak), czy też pełnił już tę funkcję wcześniej (wartość Nie).
Sposób głosowania opisuje zmienna objaśniana konstruowanego modelu:
WERDYKT - jest to dwustanowa zmienna nominalna przyjmująca wartość NW (niewinny) lub wartość W (winny).

Dostępny zbiór danych podzielono w sposób losowy na trzy zbiory: zbiór uczący (70 rekordów, wartości wyświetlane w kolorze czarnym), zbiór walidacyjny (15 rekordów; wartości wyświetlane w kolorze czerwonym) oraz zbiór testowy (15 rekordów; wartości wyświetlane w kolorze niebieskim).

Budowa modelu
Podobnie jak w przypadku zagadnień regresyjnych poszukiwania właściwej sieci rozwiązującej zagadnienie klasyfikacyjne należy rozpocząć od modelu liniowego. Nawet jeśli rozwiązanie zagadnienia przy pomocy sieci tego typu nie będzie możliwe, to model liniowy stanowić będzie punkt odniesienia przydatny przy ocenie jakości konstruowanych modeli nieliniowych.

Mając przygotowany zbiór z danymi konstrukcja modelu liniowego wymaga wybrania opcji File / New / Network. W wyświetlonym oknie Create Network (rys. 25) wybieramy liniowy (Linear) typ sieci. Sieć zostanie utworzona po kliknięciu na przycisku Create.

Rys. 25. Okno Create Network pozwalające na utworzenie sieci liniowej rozwiązującej omawiany problem klasyfikacyjny

Utworzona sieć zostanie zaprezentowana w oknie Network Illustration (rys. 26).

Rys. 26. Schemat utworzonej sieci liniowej

W tym miejscu warto wyjaśnić w jaki sposób sieć neuronowa realizuje zagadnienie klasyfikacji. Neurony znajdujące się w warstwie wejściowej służą do wprowadzenie do sieci danych charakteryzujących poszczególnych senatorów. Na wejścia wprowadzane są w odpowiedni sposób przekształcone wartości zmiennych wejściowych. Zastosowany sposób przekształcenia danych wejściowych uzależniony jest od charakteru poszczególnych zmiennych wejściowych.

Zmienne numeryczne (KONSER, WYB_C_96, MANDAT) są skalowane liniowo (zwykle do przedziału [0; 1] - po dokonaniu takiego przekształcenia wartości maksymalnej zmiennej odpowiada jedynka, wartości minimalnej odpowiada zero, a pozostałym wartościom odpowiednie liczba znajdująca się pomiędzy zerem i jedynką). Wartości przeskalowane wprowadzane są na wejścia sieci.

Dwustanowe zmienne nominalne reprezentowane są zwykle przy pomocy pojedynczego neuronu. Jednej wartości zmiennej nominalnej odpowiada wartość zero, zaś drugiej wartość jeden. Na przykład jeśli dla danego senatora zmienna PARTIA przyjmuje wartość Rep, to na wejście sieci wprowadzana jest wartość zero, zaś jeśli zmienna ta przyjmuje wartość Dem, to na wejście sieci wprowadzane zostaje wartość jeden.

Wprowadzone na wejścia sieci sygnały wejściowe docierają do neuronu wyjściowego. Neuron ten agreguje uzyskane dane i wytwarza sygnał wyjściowy, który ma informować o przynależności obiektu do jednej z dwóch klas. Wyjściową wartość numeryczną należy przekształcić w identyfikator klasy (wartość NW lub W zmiennej WERDYKT). Sposób przekształcenia określony jest przy pomocy parametrów nazywanych poziomem akceptacji (Accept) oraz poziomem odrzucenia (Reject) i odbywa się zgodnie z następującymi regułami:

jeżeli wartość wyjściowa neuronu jest mniejsza od poziomu odrzucenia to obiekt zaliczany jest do klasy NW;
jeżeli wartość wyjściowa neuronu jest większa od poziomu akceptacji to obiekt zaliczany jest do klasy W;
jeżeli wartość wyjściowa neuronu znajduje się pomiędzy poziomem odrzucenia i poziomem akceptacji, to sieć nie jest w stanie podjąć decyzji o przynależności obiektu.

Wartości wspomnianych parametrów możemy zmienić w oknie dostępnym po wybraniu opcji: Edit - Pre/Post Processing (rys. 27):

Rys. 27. Fragment okna Pre-Post Processing Editor pozwalającego m.in. na zmianę wartości poziomu akceptacji i poziomu odrzucenia

Dla tworzonej sieci klasyfikującej ustalono następujące wartości tych parametrów:

poziom akceptacji (Accept): 0,8
poziom odrzucenia (Reject): 0,2.

Uwaga: Parametr określający typ wyjścia (Output Type) powinien przyjąć domyślną wartość Confidence (Poziom ufności).

Po określeniu wartości poziomu akceptacji i poziomu odrzucenia możemy rozpocząć uczenie sieci. Realizacja tego procesu w przypadku sieci liniowej jest bardzo prosta. Wystarczy wybrać opcje Train / Linear.

Sprawdzenie poprawności działania sieci umożliwiają nam statystyki klasyfikacyjne (dostępne po wybraniu opcji Statistics / Classification). Okno prezentujące wartości statystyk klasyfikacyjnych przedstawia rys. 28.

Rys. 28. Statystyki klasyfikacyjne pozwalające na ocenę uzyskanego modelu

Uzyskana tablica podzielona jest na trzy części (każda z nich składa się z dwóch kolumn). Części te zawierają wyniki wyznaczone odpowiednio dla zbioru uczącego (kolor czarny), walidacyjnego (kolor czerwony) i testowego (kolor niebieski). Obiekty (senatorowie) wchodzące w skład każdego zbioru podzielono na dwie klasy (w zależności od rzeczywistego sposobu głosowania danego senatora). Klasa NW obejmuje tych senatorów, którzy uznali, że prezydent Clinton jest niewinny, zaś do klasy W zaliczeni zostali ci, którzy w głosowaniu wyrazili swoje przekonanie o winie prezydenta. Informacje na temat każdej grupy przedstawiono w kolejnych wierszach tabeli. Znaczenie poszczególnych wierszy jest następujące:

Total - liczba senatorów wchodzących do danej grupy,
Correct - liczba senatorów zaklasyfikowanych poprawnie (tzn. sposób ich głosowania wyznaczony przy pomocy sieci był zgodny z ich rzeczywistym werdyktem)
Wrong - liczba senatorów zaklasyfikowana błędnie (tzn. sposób ich głosowania wyznaczony przez sieć nie pokrywał się z ich rzeczywistym zachowaniem)
Unknown - liczba senatorów, dla których sieć nie była w stanie określić sposobu głosowania (tzn. wartość wyjściowa neuronu znajdowała się pomiędzy poziomem odrzucenia, a poziomem akceptacji);
NW - liczba senatorów, którzy według sieci głosowali za uniewinnieniem prezydenta Clintona
W - liczba senatorów, którzy według sieci uznali, że prezydent Clinton jest winny.

Analiza zawartości tablicy wskazuje, że sieć liniowa nie jest w stanie rozwiązać zadany problem, gdyż dla przypadków wchodzących w skład zbioru uczącego 3 razy podała błędny wynik i aż 21 razy była niezdecydowana.

Uzyskane wyniki wskazują na potrzebę poszukiwania innego modelu klasyfikacyjnego. W celu znalezienia lepszego rozwiązania posłużono się modułem Intelligent Problem Solver, który w większości przypadków jest w stanie w skuteczny sposób przeprowadzić proces poszukiwania odpowiedniego modelu.

W trakcie konwersacji z systemem Intelligent Problem Solver określono najważniejsze parametry sterujące procesem poszukiwań. Między innymi określono zakres poszukiwań - założono, że rozpatrywane będą cztery typy sieci: sieć liniowa, probabilistyczna sieć neuronowa, sieć o radialnych funkcjach bazowych oraz perceptron o jednej warstwie ukrytej (rys. 29).

Rys. 29. Określenie zakresu poszukiwań realizowanych przez moduł Intelligent Problem Solver

W praktyce rozwiązania uzyskane przy pomocy modułu Intelligent Problem Solver przewyższają zwykle swoją jakością sieci zaprojektowane i przetestowane bezpośrednio przez człowieka. Jest to związane z dużą szybkością działania modułu. Poszukując sieć rozwiązującą omawiany problem moduł Intelligent Problem Solver w ciągu jednej godziny działania przetestował 1540 różnych sieci. Szybkość działania człowieka jest znacznie mniejsza.

Najlepsze spośród znalezionych przez moduł rozwiązań dopisywane są do aktualnego zbioru sieci (rys. 30). W trakcie późniejszych prac badacz będzie mógł je dokładnie przeanalizować.

Rys. 30. Zbiór sieci w programie STATISTICA Neural Networks

Najlepszą siecią uzyskaną w trakcie poszukiwań jest perceptron posiadający trzy neurony ukryte. Schemat tej sieci przedstawia rys. 31.

Rys. 31. Najlepsza sieć skonstruowana przez moduł Intelligent Problem Solver

Mierniki jakości wyznaczone dla tego modelu przedstawia tabela 3.

Tabela 3. Mierniki jakości wyznaczone dla perceptronu wielowarstwowego skonstruowanego przez moduł Intelligent Problem Solver

Analizowana sieć nie popełniła żadnego błędu w trakcie klasyfikacji. W zbiorze uczącym w pięciu przypadkach nie potrafi dać odpowiedzi. W zbiorze walidacyjnym i testowym wszystkie obiekty zostały zaklasyfikowane prawidłowo.

Intelligent Problem Solver dostarcza dobrych rozwiązań, ale nigdy nie ma gwarancji że są to rozwiązania najlepsze. Również w opisywanym przypadku badacz może polepszyć uzyskane rezultaty przeprowadzając douczanie uzyskanej sieci. Do realizacji dodatkowego treningu sieci wybrano algorytm Levenberga-Marquardta. Ilustrujący przebieg uczenia wykres błędu sieci przedstawia rys. 32.

Rys. 32. Wykres błędu uczenia uzyskany w trakcie douczania sieci klasyfikującej

Analiza wzrokowa uzyskanego w trakcie uczenia wykresu błędu sieci wskazuje na zwiększenie poprawności działania sieci. Po zakończeniu uczenia sprawdzono jakość sieci przy pomocy statystyk klasyfikacyjnych (tabela 4).

Zauważamy, że wszystkie przypadki zostały zaklasyfikowane prawidłowo. Skonstruowana sieć dla każdego senatora prawidłowo określiła sposób jego głosowania w sprawie dotyczącej krzywoprzysięstwa prezydenta Clintona.

Tabela 4. Statystyki klasyfikacyjne uzyskane po zakończeniu douczania sieci

Możliwości zastosowań modelu klasyfikacyjnego
Uzyskany model pozwala na prognozowanie sposobu głosowania senatora na podstawie wartości zmiennych objaśniających. Podobnie jak w przypadku problemów regresyjnych prognozy mogą być wyznaczane dla wszystkich przypadków wchodzących w skład zbioru danych, dla wybranego przypadku bądź też dla wprowadzonych z klawiatury dowolnych wartości zmiennych objaśnianych. Istnieje również możliwość wizualizacji uzyskanych wyników.

Model neuronowy pozwala również uszeregować według ważności przyjęte zmienne objaśniające. Podobnie jak w przypadku modeli regresyjnych analiza tego typu może zostać przeprowadzona przy pomocy analizy wrażliwości. Wyniki uzyskane w trakcie jej realizacji prezentuje tabela 5.

Tabela 5. Wyniki analizy wrażliwości wykonanej dla modelu klasyfikacyjnego

Uzyskane wyniki wskazują, że największy wpływ na decyzję senatorów miał stopień ich konserwatyzmu.

Powrót do spisu treści

Klasyfikacja bezwzorcowa

Metody klasyfikacji bezwzorcowej służą do podziału badanego zbioru obiektów na jednorodne podzbiory. Cechą różnicującą metody klasyfikacji bezwzorcowej od metod klasyfikacji wzorcowej jest to, że w przypadku tych pierwszych przed rozpoczęciem badań nie są znane wzorce klas. Klasyfikacja bezwzorcowa służy przede wszystkim do badania struktury analizowanej zbiorowości.

Charakterystyka problemu
Celem opisanych badań jest analiza ryzyka związanego z inwestowaniem w wybranych 52 krajach świata. Każdy kraj opisany został jest przez 23 zmienne charakteryzujące jego rozwój gospodarczy, sytuację na rynkach finansowych oraz sytuację polityczną. Dokładny opis badań znaleźć można w artykule Global Investing: The Game of Risk opublikowanym na łamach The Wall Street Journal 26 czerwca 1997 roku.

Fragment arkusza z danymi przedstawia rys. 33.

Rys. 33. Fragment arkusza zawierającego dane opisujące badane kraje

Zmienne opisujące badane kraje oznaczono symbolami od VAR1 do VAR23. Symbole krajów wykorzystano w charakterze nazw przypadków.

Składający się z 52 elementów zbiór obiektów podzielono na dwie części: zbiór uczący (50 elementów) i zbiór testowy (2 elementy). Do zbioru testowego w sposób arbitralny zaliczono Polskę oraz Rosję.

W skład zbioru z danymi wchodziły 23 zmienne objaśniające oraz jedna zmienna objaśniana (oznaczona symbolem VAR24), której wartością jest kod kraju (rys. 34). Zmienna ta nie będzie wykorzystywana bezpośrednio w trakcie uczenia, a jedynie służyć będzie do opisu powstałych grup.

Rys. 34. Zmienna objaśniana w zbiorze danych

Konstrukcja sieci Kohonena
Jednym z najważniejszych modeli neuronowym realizujących klasyfikację bezwzorcową jest sieć Kohonena. Narzędzie tego typu wykorzystano w trakcie badania struktury badanego zbioru krajów. Utworzenie sieci Kohonena w programie STATISTICA Neural Networks jest bardzo proste. Po wybraniu opcji File / New / Network należy w oknie Create Network określić rodzaj sieci wybierając na liście Type wartość Kohonen. Sieć Kohonena składa się z dwóch warstw - z warstwy wejściowej, w której liczba neuronów zdeterminowana jest przez strukturę zbioru danych oraz warstwy wyjściowej, w której liczba neuronów określana jest przez użytkownika. Okno Create Network w trakcie tworzenia sieci Kohonena przedstawia rys. 35.

Rys. 35. Okno Create Network w trakcie tworzenia sieci Kohonena

W omawianym przykładzie zastosowano sieć posiadającą 64 neurony w warstwie wyjściowej. W polu znajdującym się na prawo od pola zawierającego liczbę neuronów wyjściowych użytkownik określa szerokość warstwy wyjściowej (parametr Width) (rys. 36).

Rys. 36. Fragment okna Create Network pozwalający na określenie szerokości warstwy wyjściowej w sieci Kohonena

Zdefiniowanie szerokości równej 8 powoduje, że neurony wyjściowe rozmieszczone zostaną w komórkach kwadratowej siatki o boku równym 8. Utworzenie sieci następuje po kliknięciu na przycisku Create. Schemat utworzonej sieci przedstawia rys. 37.

Rys. 37. Schemat utworzonej sieci Kohonena

Na rys. 37 widoczna jest specyficzna dla sieci Kohonena struktura warstwy wyjściowej. Wchodzące w jej skład neurony rozmieszczone są na płaszczyźnie. Takie ułożenie neuronów wyjściowych pozwoli na prezentację zależności zachodzących pomiędzy badanymi obiektami.

Uczenie sieci Kohonena przeprowadzane jest w trybie bez nauczyciela, co oznacza, że wykorzystywane będą wyłącznie wartości zmiennych wejściowych. Uczenie rozpoczyna się od losowej inicjalizacji wag neuronów wyjściowych. Następnie na wejścia sieci wprowadzane będą wartości zmiennych objaśniających opisujących kolejne obiekty i w każdym przypadku zostanie wyszukany taki neuron wyjściowy, którego wagi będą w największym stopniu zbliżone do wektora wartości wejściowych (neuron ten nazywany jest neuronem zwycięskim). Po wyznaczeniu neuronu zwycięskiego jego wagi zostaną tak zmodyfikowane, aby upodobnić się do wektora wejściowego. W podobny sposób uaktualnione zostaną wagi neuronów sąsiadujących z neuronem zwycięskim. Wielokrotnie powtarzana procedura uczenia doprowadzi do powstania modelu pełniącego funkcję mapy topologicznej, która pozwala na badanie zależności pomiędzy badanymi obiektami. Mianowicie, im bardzie dwa obiekty będą do siebie podobne, to tym bliżej siebie znajdować się będą odpowiadające im neurony wchodzące w skład mapy topologicznej.

W celu uruchomienia algorytmu uczenia sieci Kohonena wybieramy opcje Train / Kohonen. Wyświetlone zostanie wówczas okno pozwalające na zdefiniowanie wartości parametrów sterujących treningiem (rys. 38).

Rys. 38. Okno pozwalające na przeprowadzenie uczenia sieci Kohonena

Czas trwania uczenia określany jest przez liczbę epok. Współczynnik uczenia odpowiedzialny jest za sposób modyfikacji wag neuronów. Duże wartości tego parametru powodują szybką modyfikację wartości współczynników wagowych. Przy małym współczynniku uczenia sieć uczy się powoli, ale dokonywane zmiany są bardzo precyzyjne. Promień sąsiedztwa określa wielkość obszaru otaczającego neuron zwycięski i zawierającego poddawane modyfikacji neurony.

Zwykle zaleca się, aby uczenie sieci Kohonena realizować w dwóch fazach. W trakcie pierwszej fazy uczenia wartości współczynnika uczenia i promienia sąsiedztwa powinny zmniejszać się w kolejnych epokach. W drugiej fazie uczenia współczynnik uczenia powinien przyjąć niewielką wartość dodatnią, zaś promień sąsiedztwa powinien wynosić 0 (co powoduje, że w trakcie uczenia modyfikowane są tylko wagi neuronu zwycięskiego).

Możliwości zastosowań sieci Kohonena
Podobnie jak inne typy sieci również sieć Kohonena może zostać uruchomiona dla całego zbioru danych, dla wybranego przypadku i dla dowolnych danych wejściowych. Uzyskane wyniki program STATISTICA Neural Networks może przedstawić w postaci tekstowej w arkuszu wynikowym lub też w postaci wykresu mapy topologicznej. Moduł odpowiedzialny za prezentację graficzną (dostępny po wybraniu opcji (Run / Topological Map) wyświetla tworzącą mapę warstwę wyjściową sieci, pozwala na identyfikację neuronu zwycięskiego i monitorowanie wartości poziomów aktywacji neuronów wyjściowych. Wykres mapy topologicznej przedstawia rys. 39.

Po wybraniu przypadku (pole Case No) i kliknięciu na przycisku Run następuje uruchomienie sieci i wyznaczenie neuronu zwycięskiego (zostaje on otoczony ramką). Stopień wypełnienia kwadratów symbolizujących neurony jest proporcjonalny do podobieństwa wektora wejściowego i wektora wag neuronów wyjściowych. Obserwując wzajemne położenie neuronów zwycięskich odpowiadających kolejnym przypadkom można wnioskować o zależności zachodzącej pomiędzy obiektami powodującymi ich aktywację.

Rys. 39. Mapa topologiczna

Chcąc uzyskać informacje dotyczące neuronów zwycięskich dla każdego obiektu wchodzącego w skład zbioru danych należy uruchomić sieć dla całego zbioru danych (Run /Data Set), pamiętając o nadaniu opcji Output Shown wartości Winner. Arkusz zawierający numery neuronów zwycięskich przedstawia rys. 40.

Rys. 40. Numery neuronów zwycięskich odpowiadających kolejnym obiektom wchodzącym w skład zbioru danych

Rozmieszczenie neuronów zwycięskich odpowiadających poszczególnym krajom przedstawia tabela 6.

Przedstawiona mapa pozwala na identyfikację zależności zachodzących pomiędzy badanymi krajami. Grupa najlepiej rozwiniętych krajów lokuje się po prawej stronie mapy. Górna część mapy odpowiada rozwiniętym krajom azjatyckim. Kraje najsłabiej rozwinięte zajmują dolną część mapy.

Utworzona na bazie zbioru uczącego sieć Kohonena może być przydatna do oceny nowych obiektów, nie prezentowanych w czasie uczenia. W omawianym przykładzie zbiór obiektów tego typu składa się z dwóch krajów: Polski i Rosji. Rozmieszczenie neuronów zwycięskich odpowiadających tych krajom wskazuje, że w 1997 roku poziom ryzyka związany z inwestowaniem w obu krajach był zbliżony. Sytuacja w Polsce była zbliżona do sytuacji w Nigerii. Natomiast kraje należącej do tej samej grupy co Rosja to Egipt, Maroko oraz Zimbabwe.

Tabela 6. Struktura badanego zbioru krajów uzyskana przy pomocy mapy Kohonena

Powrót do spisu treści

	Poprzedni artykuł	Następny artykuł