Metody Data Mining

Przykładowo możemy analizować zakupy dokonane przez klienta razem z różnymi cechami demograficznymi, badać skuteczność leku dla różnych terapii, grup wiekowych itp. lub wyodrębnić klientów prawdopodobnie zainteresowanych nowym produktem na podstawie dogłębnej analizy wcześniejszych klientów.

Interakcyjne drążenie danych a OLAP (On-Line Analytic Processing). W swoich podstawach najprostsze funkcje Interakcyjnego drążenia danych (badanie wielowymiarowych tabel) są bardzo podobne do tych, które oferują narzędzia OLAP. Narzędzia OLAP służą do szybkiego pobierania danych zagregowanych (podsumowań) z baz danych (za pomocą odpowiednich zapytań) z wykorzystaniem zoptymalizowanych serwerów OLAP przeznaczonych dla konkretnej bazy danych (np. Oracle lub MS SQL Server) i są zdecydowanie bardziej wydajne niż tradycyjne (nieolapowe) przetwarzanie zapytań do baz danych. Główne przewagi Interakcyjnego drążenia danych nad aplikacjami typu OLAP to:

(a) ścisła współpraca z uniwersalnymi, zawartymi w STATISTICA, narzędziami podziału na grupy i środowiskiem eksploracyjnym (możliwości analityczne modułu Interakcyjne drążenie danych są znacznie większe i ogólniejsze niż dostępne w typowych aplikacjach OLAP. Interakcyjne drążenie danych pozwala m.in. drążyć "w górę" i przeglądać złożone wykresy, szczegółowe statystyki opisowe itd.)

(b) moduł ten współpracuje z bardzo wieloma systemami zarządzania bazą danych, a nie jest "przywiązany" do jakiegoś konkretnego systemu. Ponadto do pracy nie wymaga on specjalnego serwera OLAP (może pracować np. bezpośrednio na pliku danych STATISTICA lub relacyjnej bazie danych). Podsumowując: możemy połączyć się z bazą danych, korzystając ze zdalnego przetwarzania zapytań (IDP) i wydajnie wykonywać drążenie danych, bez względu na to, czy dostępny jest specjalistyczny serwer OLAP.

ANALIZA SKUPIEŃ UOGÓLNIONĄ METODĄ EM I K-ŚREDNICH. Ten moduł jest uogólnieniem metod dostępnych w module Analiza skupień pakietu STATISTICA. Procedury Analiza skupień uogólnioną metodą EM i k-średnich zostały zaprojektowane z myślą o przetwarzaniu ogromnych zbiorów danych. Skupienia mogą być definiowane w oparciu o wartości zmiennych ciągłych (liczbowych) i skategoryzowanych (jakościowych). Są to metody uczenia bez nauczyciela, stosowane do rozpoznawania wzorców i segmentacji, dla których można jednak zastosować metody wdrażania zazwyczaj wykorzystywane dla modeli predykcyjnych. Dzięki sprawdzianowi krzyżowemu można wyznaczyć i ocenić najlepszy układ skupień - program automatycznie określa najbardziej odpowiednią liczbę skupień (segmentów). Zaawansowana metoda EM jest czasem nazywana analizą skupień bazującą na prawdopodobieństwie lub statystyczną analizą skupień. Program wyznacza skupienia w oparciu o zmienne ciągłe i skategoryzowane, zakładając różnorodne rozkłady prawdopodobieństwa zmiennych uwzględnianych w analizie (według wyboru dokonanego przez użytkownika). Program udostępnia szczegółowe podsumowania analizy i wykresy (np. wykresy rozkładów dla metody EM). Ponadto dla każdej obserwacji obliczane są szczegółowe statystyki klasyfikacyjne. Wszystkie procedury omawianego modułu dostosowane są do przetwarzania dużych zbiorów danych, a wyniki ich działania przygotowane są do prowadzenia kolejnych analiz przynależności obiektów do skupień (segmentów). Uzyskiwane rozwiązanie można stosować dla nowych obiektów, również wykorzystując kod C (C++, C#), Visual Basic i PMML (XML).

Powrót na początek

UOGÓLNIONE MODELE ADDYTYWNE (GAM). STATISTICA Uogólnione modele addytywne to implementacja metod rozwiniętych i spopularyzowanych przez Hastiego i Tibshiraniego w pracy "Generalized Additive Models" (Chapman & Hall/CRC Press, Londyn 1990); szczegółową dyskusję na temat tych metod można znaleźć w Schimek (2000). Zauważmy też, że STATISTICA zawiera wszechstronny zestaw innych metod dopasowywania do danych modeli liniowych i nieliniowych, na przykład w modułach Estymacja nieliniowa, Ogólne modele liniowe, Ogólne modele drzew klasyfikacyjnych i regresyjnych itp.

Rozkłady i funkcje wiążące. W programie można stosować wiele rozkładów dla opisania zmiennej zależnej. Podobnie wiele funkcji wiążących (ang. link function ) może być użytych do opisu zależności zmiennej zależnej od predyktorów. Dostępne są następujące funkcje wiążące:

Dla rozkładów normalnego, gamma i Poissona:

Funkcja logarytmiczna:	f(z) = log(z)
Odwrotność:	f(z) = 1/z
Identyczność:	f(z) = z

Dla rozkładu dwumianowego:

Funkcja logit:

f(z)=log(z/(1-z))

Wygładzanie na wykresie rozrzutu. Program do wyznaczenia optymalnego przekształcenia zmiennych predykcyjnych używa funkcji sklejanych trzeciego stopnia, z liczbą stopni swobody wybieraną przez użytkownika.

Statystyki wynikowe. Dla ułatwienia weryfikacji adekwatności modelu, oceny dopasowania i interpretacji wyników program podaje kompletny zestaw statystyk wynikowych: zapis przebiegu iteracji przy dopasowywaniu modelu, statystyki podsumowujące (włączając ogólne R-kwadrat obliczone ze statystyki odchyleń), liczbę stopni swobody modelu, szczegółowe statystyki obserwacji wpływających na wynikową odpowiedź, reszty i wygładzanie zmiennych predykcyjnych. Na wynikowych wykresach przeglądać można zależność obserwowanych odpowiedzi od reszt odpowiedzi, przewidywanych wartości od reszt, histogramy wartości obserwowanych i resztowych. Dostępne są wykresy normalności reszt, wykresy reszt cząstkowych dla każdej zmiennej predykcyjnej i wykresy funkcji sklejanych trzeciego stopnia wygładzających dopasowanie końcowego rozwiązania.

Powrót na początek

OGÓLNE MODELE DRZEW KLASYFIKACYJNYCH I REGRESYJNYCH (GTrees). Moduł ten zawiera kompletną implementacje metod CART® Breimana, Friedmana, Olshena i Stone'a. Ponadto moduł GTrees ma też wiele rozszerzeń i opcji, jakich raczej nie spotyka się w typowych implementacjach tego algorytmu, a które są szczególnie przydatne w data mining.

Środowisko pracy użytkownika, definiowanie "modeli". Dodatkowo, poza standardową analizą (wg Breimana i innych), implementacja omawianych metod w STATISTICA pozwala określać układy typu ANOVA/ANCOVA z ciągłymi lub skategoryzowanymi zmiennymi predykcyjnymi i ich interakcjami. Układy te określamy za pośrednictwem jednego z trzech dostępnych w programie alternatywnych środowisk, analogicznych do tego, co oferują GLM (Ogólne modele liniowe), GLZ (Uogólnione modele liniowe i nieliniowe), GRM (Ogólne modele regresji), GDA (Ogólne modele analizy dyskryminacyjnej) i PLS (Modele cząstkowych najmniejszych kwadratów). Szczegółowy ich opis znaleźć można w rozdziałach odpowiadających tym modułom. W skrócie: układy typu ANOVA/ANCOVA dla predyktorów określa się w oknach dialogowych, za pomocą kreatorów lub składni poleceń. Przy tym składnia poleceń zachowuje zgodność pomiędzy modułami, tak że łatwo można stosować te same układy w zupełnie różnych analizach (np. porównując klasyfikację wykonaną w GDA z klasyfikacją wg GTrees ).

Przycinanie drzew, wybór, walidacja. Program ma bardzo wiele opcji sterujących budową drzew, opcji przycinania, jak i wyboru najlepiej dopasowanego rozwiązania. Dla ciągłych zmiennych zależnych (kryterialnych) przycinanie drzewa może bazować na wariancji albo być przycinaniem typu FACT. Natomiast dla zmiennych zależnych skategoryzowanych podstawą do przycinania może być liczba błędnych klasyfikacji, wariancja, można też zastosować przycinanie typu FACT. Użytkownik może określić maksymalną liczbę węzłów drzewa, jak i minimalne n dla węzła. Dostępne są opcje walidacji najlepszego drzewa decyzyjnego: poprzez V-krotne sprawdzenia krzyżowe lub poprzez użycie drzewa do nowych obserwacji pochodzących z próby walidacyjnej. Dla skategoryzowanych (kryterialnych) zmiennych zależnych, czyli w zagadnieniach klasyfikacyjnych, używać można wielu różnych miar do modyfikacji drzewa (tj. algorytmu klasyfikacji) i oceny jakości końcowego drzewa klasyfikacyjnego. Dostępne są opcje ustalania przez użytkownika prawdopodobieństw a priori klasyfikacji, jak i kosztu błędnych klasyfikacji; miary dopasowania, w tym miara Giniego, chi-kwadrat i G-kwadrat.

Brakujące dane i podziały zastępcze. Braki wartości w zmiennych predykcyjnych można "omijać", pozwalając programowi wyznaczać podziały dla zmiennych zastępczych, tj. zmiennych podobnych do konkretnej zmiennej wyznaczającej dany podział (węzeł).

Układy typu ANOVA/ANCOVA. Dodatkowo, względem tradycyjnej analizy typu C&RT^®, zmienne predykcyjne ciągłe i skategoryzowane można łączyć w układy typu ANOVA/ANCOVA i prowadzić analizę, używając macierzy eksperymentu. Można w ten sposób szacować i porównywać złożone modele predykcyjne oraz oceniać zdolność predykcyjną i klasyfikacyjną modeli otrzymanych przy użyciu różnych technik analitycznych (np. Ogólnych modeli liniowych, Uogólnionych modeli nieliniowych, Ogólnej analizy dyskryminacyjnej ).

Eksplorator drzewa. Do przeglądania wynikowego drzewa (poza prostym wykresem drzewa) używać można intuicyjnego, interaktywnego eksploratora, który pozwala na zwijanie i rozwijanie węzłów i daje szybki dostęp do najistotniejszej informacji o danym węźle i odpowiedniej klasyfikacji. I tak na przykład klikając węzeł, otrzymujemy informację o liczbie prawidłowych i nieprawidłowych klasyfikacji w tym węźle. Eksplorator drzewa pozwala w bardzo efektywny, a jednocześnie intuicyjny sposób przeglądać drzewa o skomplikowanej strukturze za pomocą typowego w Windows mechanizmu przeglądania struktur hierarchicznych. Równocześnie wyświetlić można wiele eksploratorów zawierających końcowe drzewo i różne, odcięte drzewa składowe. Rozmieszczając różne drzewa obok siebie, porównywać można różne części drzewa i drzewa składowe. STATISTICA Eksplorator drzewa stanowi ważną innowację, pomocną przy interpretowaniu skomplikowanych drzew decyzyjnych.

Interakcyjne przeglądanie drzew. Udostępniono także opcje przeznaczone do interakcyjnego przeglądania drzew. Można to robić za pomocą narzędzi graficznego wyróżniania w STATISTICA lub przez umieszczenie dużych wykresów drzewa w obrębie przewijanego okna graficznego, w którym duże wykresy można badać za pomocą małego (przesuwalnego) okna.

Statystyki wyników. Moduł STATISTICA GTrees oferuje wiele opcji dotyczących wyników. Dla każdego węzła dostępne są wyniki podsumowujące, obliczane są szczegółowe statystyki opisujące klasyfikację (jak koszt klasyfikacji, zysk itd.) Bardzo efektywne podsumowanie charakterystyki odpowiedzi w zagadnieniach klasyfikacyjnych uzyskuje się dzięki unikalnym rozwiązaniom graficznym, obejmującym histogramy dla każdego węzła, szczegółowe wykresy podsumowujące dla zmiennych ciągłych (np. wykresy normalności, rozrzutu), wykresy z wieloma układami współrzędnych dla każdego węzła. Podobnie jak dla wszystkich innych procedur statystycznych w STATISTICA, tak i tu wszystkie wyniki liczbowe mogą być wejściem następnych analiz, co pozwala na dalszą eksplorację wyników i analizowanie obserwacji zaklasyfikowanych do konkretnych węzłów (można na przykład za pomocą modułu GTrees otrzymać wstępną klasyfikacje przypadków, by następnie użyć w GDA metody najlepszego podzbioru do znalezienia dodatkowych zmiennych, które mogłyby być pomocne w dalszej klasyfikacji).

Generatory kodów C (C++, C#), STATISTICA Visual Basic oraz SQL. Informacja zawarta w końcowym drzewie może zostać szybko dołączona do własnych programów lub zapytań za pomocą opcji generatora kodu języka C (C++, C#), STATISTICA Visual Basic lub zapytania w języku SQL. Kod języka STATISTICA Visual Basic zostanie wygenerowany w postaci szczególnie wygodnej do włączenia do własnych węzłów w programie STATISTICA Data Miner.

Powrót na początek

OGÓLNE MODELE CHAID (Chi-square Automatic Interaction Detection). Podobnie jak to jest w Ogólnych modelach drzew klasyfikacyjnych i regresyjnych STATISTICA (patrz wyżej), tak i moduł Ogólne modele CHAID jest nie tylko kompletną implementacją oryginalnej techniki, lecz również jej rozszerzeniem o analizowanie układów typu ANOVA/ANCOVA.

Standardowa CHAID. Analiza CHAID może być wykonywana zarówno dla zmiennych zależnych ciągłych, jak i skategoryzowanych. Wiele opcji pozwala sterować budową drzew hierarchicznych. Użytkownik ma wpływ na minimalną liczbę obiektów w węźle podlegającym podziałowi, maksymalną liczbę węzłów, prawdopodobieństwa podziałów i łączenia kategorii, może też zażądać wyczerpującego przeszukania (Wyczerpująca CHAID ); obliczyć można statystykę walidacyjną V dla sprawdzenia stabilności końcowego rozwiązania; w zagadnieniach klasyfikacyjnych użytkownik może określić swe preferencje, podając własny koszt błędnych klasyfikacji.

Układy typu ANOVA/ANCOVA. Rozszerzeniem w stosunku do tradycyjnej analizy CHAID jest możliwość umieszczania w jednym planie typu ANOVA/ANCOVA zmiennych ciągłych i skategoryzowanych oraz wykonywania analizy na bazie macierzy eksperymentu. Pozwala to testować i porównywać, pod względem zdolności predykcyjnej i klasyfikacyjnej, złożone modele predykcyjne uzyskiwane za pomocą najróżniejszych technik analitycznych, takich jak Ogólne modele liniowe, Uogólnione modele liniowe, Ogólne modele drzew klasyfikacyjnych i regresyjnych itp.).
Eksplorator drzewa. Podobnie jak to jest w przypadku drzew binarnych (patrz: GTrees), wyniki analizy CHAID również można przeglądać za pomocą Eksploratora drzewa STATISTICA. Intuicyjny, o unikalnych właściwościach eksplorator pozwala przeglądać złożone struktury drzew i porównywać wiele różnych rozwiązań (w wielu eksploratorach), stosując metody przeglądania hierarchicznych struktur zgodne z konwencjami Windows. Eksplorator drzewa STATISTICA jest ważną innowacją przydatną w interpretacjach skomplikowanych drzew decyzyjnych. Dodatkowe szczegóły na ten temat znaleźć można wyżej, w opisie eksploratora drzewa w kontekście modułu Ogólne modele drzew klasyfikacyjnych i regresyjnych (GTrees) .

Statystyki wyników. Moduł STATISTICA Ogólne modele CHAID oferuje wiele opcji dotyczących wyników. Dla każdego węzła dostępne są wyniki podsumowujące, obliczane są szczegółowe statystyki opisujące klasyfikację, koszt klasyfikacji itp. Bardzo efektywne podsumowanie charakterystyki odpowiedzi w zagadnieniach klasyfikacyjnych uzyskuje się dzięki ilustracji graficznej, obejmującej histogramy dla każdego węzła, szczegółowe wykresy podsumowujące dla zmiennych ciągłych (np. wykresy normalności, rozrzutu), wykresy z wieloma układami współrzędnych dla każdego węzła. Podobnie jak dla wszystkich innych procedur statystycznych w STATISTICA, tak i tu wszystkie wyniki liczbowe można poddawać dalszej analizie, co pozwala na dalszą eksplorację wyników i analizowanie obserwacji zaklasyfikowanych do konkretnych węzłów (można na przykład za pomocą modułu GTrees otrzymać wstępną klasyfikację przypadków, by następnie użyć w GDA metody najlepszego podzbioru do znalezienia dodatkowych zmiennych, które mogłyby być pomocne w dalszej klasyfikacji).

INTERAKCYJNE DRZEWA KLASYFIKACYJNE I REGRESYJNE. Oprócz metod automatycznej budowy drzewa (GTrees, CHAID), system STATISTICA Data Miner zawiera metody interakcyjnej budowy drzewa. Do budowy drzewa możemy wybrać metodę CHAID lub GTrees, a w każdym kroku reguła podziału może być sformułowana automatycznie lub przez użytkownika (który określa zmienną i warunek podziału). Użytkownik ma pełną kontrolę nad wszystkimi aspektami wyboru i oceny zmiennych wyznaczających podział, kategoryzacji wartości predyktorów itd. Moduł zawiera interakcyjne narzędzia budowy i przycinania drzewa, szybkiej oceny jakości drzewa klasyfikacyjnego lub regresyjnego oraz obliczania statystyk pomocniczych. Dzięki tym narzędziom możemy dogłębnie zbadać własności każdego rozwiązania. Interakcyjne drzewa są użyteczne zarówno w predykcyjnym data mining, jak i w eksploracyjnej analizie danych. Ponadto moduł ten zawiera narzędzia stosowania modeli dla nowych obserwacji (podobnie jak moduły GTrees i CHAID ).

DRZEWA KLASYFIKACYJNE I REGRESYJNE ZE WZMACNIANIEM (BOOSTED TREES ). Najnowsze badania nad algorytmami statystycznymi i uczenia maszynowego wykazują, że dla pewnych "trudnych" zadań estymacji i predykcji, przewidywania generowane przez sekwencje stosunkowo prostych drzew są bliższe rzeczywistym wartościom, niż prognozy sieci neuronowych lub jednego, złożonego drzewa. Technikę polegająca na stosowaniu sekwencji prostych modeli, przy czym każdy kolejny model przykłada większą "wagę" do tych obserwacji, które zostały błędnie zaklasyfikowane przez poprzednie modele, nazywamy wzmacnianiem (ang. boosting). W skład systemu STATISTICA Data Miner wchodzi moduł Boosted Trees pozwalający zastosować wzmacnianie (boosting) do zadań predykcyjnego data mining. Użytkownik może w pełni sterować procedurą budowy modelu, na każdym jej etapie dostępne są szczegółowe podsumowania, pozwalające obserwować i oceniać postęp uzyskiwany na każdym kroku estymacji. Moduł udostępnia większość statystyk i wykresów wynikowych uzyskiwanych w modułach GTrees i CHAID . Moduł dysponuje również funkcjami pozwalającymi stosować wzmocnione drzewo dla nowych danych.

Losowy las (Random Forests). Moduł STATISTICA Losowy las realizuje algorytm Random Forest opracowany przez Breimana. Losowy las nadaje się do rozwiązywania zarówno zadań klasyfikacyjnych, jak i regresyjnych. W metodzie tej do przewidywania wartości zmiennej zależnej stosujemy zespół wielu, stosunkowo prostych, drzew decyzyjnych. Każde z tych drzew przewiduje wartość zmiennej zależnej na podstawie zmiennych niezależnych (predyktorów), a przewidywanie całego modelu wyznaczane jest przez uśrednianie albo głosowanie. Użytkownik może sterować procesem tworzenia modelu. Możemy m.in. określić złożoność drzew składowych, maksymalną liczbę drzew tworzących model i kryterium zakończenia procesu uczenia. STATISTICA Random Forest może pracować na bardzo dużych zbiorach danych, z ogromną liczbą zmiennych niezależnych (predyktorów) bez konieczności ich usuwania. W skład wyników wchodzą statystyki i wykresy podobne jak w przypadku modułu STATISTICA GTrees. Dostępne są również narzędzia do stosowania modelu dla nowych obiektów.

MULTIVARIATE ADAPTIVE REGRESSION SPLINES (MAR Splines). Moduł STATISTICA MAR Splines (Multivariate Adaptive Regression Splines) wykorzystuje metodę rekurencyjnego podziału przestrzeni cech do budowy modelu regresyjnego w postaci krzywych składanych, zaproponowaną przez Friedmana (1991; Multivariate Adaptive Regression Splines, Annals of Statistics, 19, 1-141). W systemie STATISTICA Data Miner metoda ta została udoskonalona, tak aby można ją było stosować dla problemów klasyfikacyjnych i regresyjnych dla predyktorów ciągłych i skategoryzowanych.

Metodę MAR Splines można traktować jako rozwinięcie drzew regresyjnych i regresji wielorakiej. Moduł MAR Splines (Multivariate Adaptive Regression Splines) został zaprojektowany do analizy dużych zbiorów danych. Jakość uzyskanego modelu można ocenić za pomocą dużej liczby wynikowych statystyk i wykresów.

Generatory kodów C (C++, C#), STATISTICA Visual Basic, PMML. Model można szybko wbudować we własny program, korzystając z generatora kodu C (C++, C#), STATISTICA Visual Basic lub PMML (bazującego na XML). Kod STATISTICA Visual Basic w szczególności nadaje się bardzo dobrze do wykorzystania we własnych węzłach STATISTICA Data Miner. Natomiast pliki PMML (Predictive Models Markup Language) mogą być wykorzystane w module Szybkie wdrażanie modeli predykcyjnych do wydajnego obliczania wartości przewidywanych dla nawet bardzo dużych zbiorów danych. PMML jest standardem pozwalającym przenieść modele ze standardowej wersji STATISTICA Data Miner do wersji klient-serwer (WebSTATISTICA Data Miner) i odwrotnie.

 INNE METODY UCZENIA MASZYN (Machine Learning). W skład modułu Inne metody uczenia maszyn (Machine Learning) wchodzi zestaw zaawansowanych metod modelowania dla zagadnień regresyjnych i klasyfikacyjnych przy wielu zmiennych niezależnych (predyktorach) i zależnych. Metody te to:

Metoda wektorów nośnych (SVM). Ta metoda rozwiązywania problemów regresyjnych i klasyfikacyjnych polega na budowaniu nieliniowych granic decyzyjnych (oddzielających obszary w przestrzeni predyktorów, odpowiadające różnym wartościom zmiennej zależnej). Ze względu na właściwości przestrzeni cech (predyktorów) metoda SVM wykazuje dużą elastyczność przy rozwiązywaniu zadań klasyfikacyjnych i regresyjnych o różnej złożoności. Algorytm SVM zaimplementowany w STATISTICA umożliwia stosowanie czterech typów modeli SVM z różnymi funkcjami bazowymi i jądrowymi: liniową wielomianową, RBF i sigmoidalną. Ponadto pozwala radzić sobie z danymi niezrównoważonymi. Czasami stosuje się również nazwy Metoda wektorów wspierających i Metoda wektorów podpierających.

Naiwny klasyfikator Bayesa (Naive Bayes). Jest to ogólnie przyjęta metoda zaprojektowana dla zadań klasyfikacyjnych. Metoda ta ma proste założenie: przyjmujemy, że rozkład cech (predyktorów) w klasach jest niezależny. Naiwny model Bayesa jest efektywny, łatwy w użyciu i interpretacji. Podejście to jest szczególnie odpowiednie przy dużej liczbie predyktorów. W praktyce Naiwny klasyfikator Bayesa często daje dużo trafniejsze przewidywania niż inne, wyrafinowane metody. Implementacja tej metody w STATISTICA Data Miner umożliwia wykorzystywanie różnych rozkładów warunkowych zmiennych niezależnych (normalnego, lognormalnego, gamma i Poissona).

Metoda k-najbliższych sąsiadów. Jest to metoda, w której zamiast dopasowywać model, wyszukujemy podobne obiekty. Metody takie nazywane są pamięciowymi (memory-based) lub analogowymi. Podstawą tej metody jest intuicyjne przeświadczenie, że podobne obiekty trafią do tej samej klasy. Przewidywania metody k-najbliższych sąsiadów wyznaczane są na podstawie k obiektów z próby uczącej, które są najbardziej podobne do obiektu, dla którego wyznaczamy wartość zmiennej zależnej. W przypadku zadań klasyfikacyjnych wykorzystywane jest głosowanie (voting), a dla problemów regresyjnych uśrednianie odpowiedzi dla k obiektów.

  ANALIZA SKŁADOWYCH NIEZALEŻNYCH. Moduł STATISTICA Independent Component Analysis (ICA) zawarty w systemie STATISTICA Data Miner służy do filtrowania sygnałów za pomocą dobrze sprawdzonej i niezawodnej techniki statystycznej znanej jako Analiza niezależnych składowych (Independent Component Analysis). Zastosowana implementacja tej metody pozwala rozwiązywać problemy separacji sygnałów metodami jednoczesnego wyodrębniania i deflacji, wstępnie przetwarzać dane, a także stosować rozwiązanie dla nowych danych. Dobroć dopasowania modelu można oceniać za pomocą wielu statystyk i wykresów.

OCENA DOBROCI DOPASOWANIA. Moduł ten pozwala na obliczanie różnych statystyk określających dobroć dopasowania dla odpowiedzi o charakterze ciągłym i skategoryzowanym (w przypadku zagadnień regresyjnych i klasyfikacyjnych). Moduł ten jest przeznaczony w szczególności dla zastosowań w zakresie data mining, do uwzględniania w projektach "porównawczej oceny modeli" jako narzędzie do wyboru najlepszego rozwiązania. Program w charakterze wejścia wykorzystuje prognozowane wartości i klasyfikacje, obliczane za pomocą dowolnego z modułów STATISTICA przeznaczonych do zagadnień regresyjnych lub klasyfikacyjnych, i oblicza cały szereg statystyk dopasowania, jak również przedstawia graficzne podsumowania dla każdej dopasowanej odpowiedzi lub klasyfikacji. Statystyki dobroci dopasowania w przypadku ciągłych zmiennych zależnych obejmują: odchylenie liczone metodą najmniejszych kwadratów (LSD), odchylenie przeciętne, błąd kwadratowy względny, błąd całkowity względny oraz współczynnik korelacji. Dla zagadnień klasyfikacyjnych (w przypadku skategoryzowanych zmiennych zależnych) program oblicza wartości statystyki Chi-kwadrat i G-kwadrat (odpowiednik statystyki chi-kwadrat, ale oparty na ilorazie wiarygodności), procent niezgodności (wskaźnik błędnych klasyfikacji), kwadrat funkcji straty oraz statystykę utraty informacji.

Moduł Szybkie wdrażanie modeli predykcyjnych (Rapid Deployment of Predictive Models) jest najszybszą i najwydajniejszą metodą obliczania wartości przewidywanych na podstawie oszacowanych wcześniej modeli. Ogólne postacie wszystkich typów modeli są zaprogramowane i skompilowane jako wysoce zoptymalizowane procedury. Kod PMML stanowi wyłącznie źródło wartości parametrów dla procedur obliczeniowych. Dzięki temu moduł Szybkie wdrażanie modeli predykcyjnych bardzo szybko wyznacza przewidywane wartości, przynależność do klas lub skupień w jednym przebiegu przez dane.

W istocie trudno jest uzyskać lepszą wydajność obliczeń, nawet pisząc własny program w języku C++ (korzystając z kodu C wygenerowanego przez odpowiedni moduł).

Warto zwrócić uwagę, że moduł Szybkie wdrażanie modeli predykcyjnych automatycznie oblicza statystyki podsumowujące każdy model, a jeśli znane są wartości rzeczywiste, to wyznaczane są również wskaźniki jakości dopasowania dla każdego modelu (m.in. wykresy zysku (gain chart), przyrostu (lift chart) dla klasyfikacji z dwiema i więcej kategoriami).

Warto przeczytać:

Portal data mining

Systemy data mining

Szkolenia data mining

Data mining Cię wyróżni

Konsulting data mining

Dlaczego STATISTICA Data Miner

Krótki kurs data mining

Czytelnia - Data mining

Webinarium: Drzewa interakcyjne

Filmy demo