Podaci-1

ДРУГА ГРУПА

Које врсте корелација постоје?

Можемо да приметимо да пораст температуре прати и пораст броја продатих сладоледа. Уколико

пораст вредности једног атрибута прати пораст вредности другог атрибута, за њих кажемо да

су позитивно корелисани. На графику можемо да приметимо и да је ова зависност линеарна, тј. да

прати неку замишљену праву која пролази кроз скуп тачака.

Припрема података

5 од 10

Са друге стране, делује да је ситуација са спољном температуром и потрошњном струје нешто

другачија, тј. да пад температуре прати већа потрошња струје, вероватно услед коришћења грејних тела.

За атрибуте код којих пораст вредности једног атрибута прати пад вредности другог атрибута

кажемо да су негативно корелисани. Са графика можемо да закључимо, опет, и да је ова врста

корелисаности линеарна.

Трећи график, који приказује спољну температуру и број књига у библиотеци, не указује на неку, барем

не очигледну, законитост између атрибута. Свакако можемо да закључимо да ови атрибути нису

линеарно корелисани.

Скупови за тренирање, валидацију и тестирање

1. Када се користи скуп за тренирање?

2. Када се користи за скуп за тестирање?

3. Када се користи скуп за валидацију?

4. Како се креирају ови скупови?

5. Наведи разлику између коректне и погрешне стандардизације скупова података

Како представљамо кореалцију између атрибута?

Можемо да приметимо да пораст температуре прати и пораст броја продатих сладоледа. Уколико

пораст вредности једног атрибута прати пораст вредности другог атрибута, за њих кажемо да

су позитивно корелисани. На графику можемо да приметимо и да је ова зависност линеарна, тј. да

прати неку замишљену праву која пролази кроз скуп тачака.

3)На пример, можемо да пратимо парове атрибута спољна температура и број продатих сладоледа,

спољна температура и потрошња струје и спољна температура и број књига у библиотеци.

4)Пирсонов корелациони коефицијент

Његове вредности се крећу у

распону од -1 до 1 и указују истовремено и на правац и на јачину повезаности. Вредности

коефицијента које су ближе броју -1 указују на негативну корелисаност, вредности коефицијента

ближе броју 1 указују на позитивну корелисаност, док вредности око нуле указују на одсуство

линеарне корелисаности.

5.Топлотне мапе

Уобичајено је да се вредности корелационих коефицијената између атрибута приказују графички у

форми такозване топлотне мапе.

Сваки квадратић у овој мапи одговара једном пару атрибута и његова боја је прилагођена

вредности корелационог коефицијента.

Ако користимо табеларне податке, интересује нас који се то атрибути појављују, какве вредности

имају и да ли су можда неки од њих повезани.

Када радимо са другим типовима података, рецимо текстуалним, обично нас интересује да ли су сви

текстови написани на истом језику и колика је њихова дужина.

Пошто ниједан скуп података није савршен, у анализама покушавамо да пронађемо и потенцијалне

дупликате и неке атипичне уносе.

нумерички (квантитативни) и 

категорички (квалитативни) атрибути.

За овакве атрибуте приликом анализе обично

пратимо опсеге

За њих обично анализирамо које све

вредности могу да узму и колико често се појављују и те закључке приказујемо помоћу графикона.

4. Удаљеност од аеродрома која износи -1,2 km би била одударајући податак јер очекујемо да удаљеност

буде нека позитивна вредност. Тако бисмо могли да уочимо грешку и исправимо је.

Са друге стране, температура чија је вредност 45 о С је такође нека неуобичајена вредност, али реална

услед климатских промена и можда врло корисна као информација за предузимање одређених корака и

радњи.

Припрема нумеричких и категоричких података

1. Зашто се користе технике нормализације?

2.Шта је мин-макс нормализација?

3. Шта је стандардизација нормализација?

4. Како представљамо категоричке атрибуте као што је ПОЛ особе?

5. Коју врсту кодирања користимо за атрибуте које имају већи број вредности?

1. На пример, може се десити да су имена боја писана неконзистентно, некада малим а некада великим

словима, или да су датуми задати у различитим форматима као дан-месец-година и година/месец/дан.

Да бисмо задатак анализе могли коректно да спроведемо, пожељно је да ове вредности унификујемо, тј.

сведемо их на исти начин представљања. Обично постоји неки начин који је пожељнији или

кориснији, али се дешава и да су избори сасвим равноправни.

3. Када је реч о табeларним подацима, дупликате можемо пронаћи директним упоређивањем

вредности атрибута. У раду са другачијим типовима података обично су нам потребне напредније

технике. Рецимо, слике дупликати могу да буду симетричне, као у огледалу, било хоризонтално било

вертикално.

2.Најједноставнији корак који можемо да предузмемо када приметимо недостајуће вредности јесте да

обришемо или атрибуте (колоне скупа података) или инстанце (врсте скупа података) у којима се

оне појављују.

На пример, уколико за више од 50% инстанци неког скупа података не знамо вредност атрибута, има

смисла обрисати га.

Ако, са друге стране, имамо свега неколико инстанци у којима вредност атрибута недостаје, најбоље

је да обришемо инстанце а задржимо атрибут.

Корелација атрибута

1. Како представљамо кореалцију између атрибута?

2. Које врсте корелација постоје?

3. Наведи примере корелација.

4. Шта је Пирсонов коефицијент?

5. Шта су топлотне мапе?

Унификовање, недостајуће вредности, дупликати и уочавање изузетака

1.Примери неконзистентних података

2. На које начине можемо да отклонимо проблем недостајућих вредности неких атрибута?

3. Како проналазимо дупликате код табеларних података?

4. Наведи примере неких атипичних података или изузетака

Експолоративна анализа скупа података и анализа атрибута

1.Шта је битно код табеларних података, а шта код текстуалних?

2. Које врсте података могу да се пронађу у скупу?

3. Врсте атрибута

4.Шта пратимо код нумеричких атрибута?

5. Шта анализирамо код категоричких атрибута?

Припрема података