Introducere în învățarea mașinilor de știință a datelor
Datele sunt practic informații, în special fapte sau numere, colectate pentru a fi examinate și luate în considerare și utilizate pentru a ajuta la luarea deciziilor sau informații într-o formă electronică care poate fi stocată și folosită de un computer. Acum, vom învăța definiția științei datelor și învățarea mașinilor.
Știința datelor (DS) : este un câmp foarte larg în care diferite tehnici precum metode statistice, abordări științifice, procese arhitecturale, varietate de algoritmi sunt utilizate pentru a extrage informații interesante din datele disponibile care ar putea fi date structurate sau date nestructurate.
Învățarea mașinilor ( ML ): este un subset de știință a datelor. În învățarea mașinii, practic, cu ajutorul modelelor statistice și a diferitor algoritmi, mașinile sunt instruite fără a da instrucțiuni explicite, se bazează pe tipare create cu date. "
Importanța științei datelor
- Trăim într-o epocă a tehnologiei, în care fiecare persoană, într-un fel sau altul, folosește tehnologia pentru confort / eficacitate / ușurință, de exemplu, telefon mobil / laptopuri / tablete pentru comunicare, mașini / trenuri / autobuze / avioane pentru transport, servicii precum bancare / electricitate și multe altele pentru ușurința vieții.
- La fiecare astfel de ocazie, creăm date în cunoștință de cauză sau în cunoștință de cauză, cum ar fi jurnalele de apeluri / textele / social media - imaginile / videoclipurile / blogurile toate fac parte din date, cu transportarea navigației noastre în diferite locații prin GPS / performanța vehiculului înregistrat prin ECU este de asemenea o parte din date. Tranzacțiile noastre cu portofele bancare și mobile creează o cantitate imensă de date, consumul de energie electrică de către orice zonă sau un sector este, de asemenea, o parte din date.
- Și să spun că aceste date cresc exponențial zi de zi sau minut cu minut.
- Acum apare întrebarea: putem face ceva cu aceste date? Putem folosi aceste date pentru a oferi informații utile? Putem crește eficacitatea? Putem folosi aceste date pentru a prezice rezultatele viitoare?
- Pentru a răspunde la toate aceste întrebări, avem un câmp numit știința datelor.
- Știința datelor poate fi considerată ca un câmp larg care cuprinde extragerea datelor, inginerie de date, vizualizare de date, metode statistice de integrare a datelor, programare R / python / SQL, învățare automată, Big data și multe altele.
Acum să înțelegem conceptele importante ale științei datelor.
1. Ingineria datelor
Ingineria datelor este unul dintre aspectele științei datelor, care se concentrează în principal pe aplicațiile de date, colectarea datelor și analiza datelor. Toate lucrările pe care oamenii de știință le fac, precum să răspundă la mai multe întrebări legate de predicții sau analize, utilizează un set mare de informații.
Acum, ceea ce au nevoie sunt informații corecte și utile, ceea ce creează o nevoie de colectare și validare a informațiilor disponibile. Toate acestea fac parte din sarcinile de inginerie. Unele dintre aceste sarcini sunt verificarea valorilor nule (Date lipsă), clasificarea datelor (date categorice), crearea structurilor de date (reguli de asociere) etc.
2. vizualizarea datelor
Vizualizarea datelor este o abordare grafică pentru a reprezenta datele. Aici folosim biblioteca integrată a lui Python pentru a crea elemente vizuale, de exemplu, tabele, diagrame de corelație, grafice de bare, parcelă etc., vizualizarea datelor joacă un rol foarte important în furnizarea unui mod foarte ușor de a analiza datele, de a vedea și de a înțelege tendințele, figura afară de outliers etc.
3. Înțelegere statistică
Statisticile joacă un rol foarte important în domeniul științei datelor. Statistica este un instrument foarte puternic pentru îndeplinirea sarcinilor din Data Science (DS). Statisticile folosesc matematica pentru a face analiza tehnică a informațiilor disponibile. Cu vizualizări precum o bară sau un grafic, putem obține informațiile despre tendințe, dar statisticile ne ajută să funcționăm asupra datelor într-un mod matematic / direcționat. Fără cunoașterea datelor, vizualizarea științei este doar un joc de ghicire.
Vom discuta despre unele metode statistice importante care sunt utilizate de oamenii de știință de date zilnic.
- Medie: Media este practic o medie a tuturor datelor, calculată adăugând toate elementele de date și apoi împărțind-o la un număr de elemente. Folosit pentru identificarea valorii centrale a tuturor elementelor.
- Median: Median este de asemenea utilizat pentru a găsi valoarea centrală a elementelor disponibile, dar aici toate datele sunt aranjate într-o ordine și valoarea medie exactă este considerată mediană.
Dacă numărul de elemente este impar, atunci mediana este ((n + 1) / 2) al treilea termen. Dacă un număr de elemente este egal, atunci mediana va fi ((n / 2) + 1) termenul.
- Mod: Modul este un parametru statistic care evidențiază cel mai frecvent sau valoarea care apare de cele mai multe ori este tratată ca mod.
- Abatere standard: abaterea standard indică cât de multă răspândire este prezentă în date sau este o măsurătoare pentru a defini răspândirea de la valorile medii sau valoarea medie sau valoarea așteptată.
În cazul în care avem o abatere standard scăzută, indică faptul că majoritatea valorilor datelor sunt aproape de valoarea medie. Dacă avem o abatere standard ridicată, înseamnă că valorile datelor noastre sunt mai răspândite de la valoarea medie.
- Varianță: variația este aceeași cu abaterea standard cu o diferență mică, este pătrat de abaterea standard. Abaterea standard este derivată din varianță, deoarece abaterea standard arată răspândirea în termeni de date, în timp ce variația arată propagarea cu un pătrat. Este ușor de corelat răspândirea folosind variația.
- Corelație: corelația este una dintre cele mai importante măsuri statistice, indică modul în care sunt legate variabilele din setul de date. Când schimbăm un parametru cum afectează celălalt parametru.
Dacă avem o valoare de corelație pozitivă, ceea ce înseamnă că variabilele vor crește sau vor scădea în paralel
Dacă avem o valoare de corelație negativă, ceea ce înseamnă că variabilele se vor comporta invers la o creștere a uneia altei va scădea și invers.
În statistici, avem o distribuție a probabilităților, statistici bayesiene și testări de ipoteze, care sunt, de asemenea, instrumente foarte importante pentru un om de știință de date.
Învățare automată
Învățarea automată înseamnă practic o modalitate prin care mașinile pot învăța și produce rezultate pe baza funcțiilor de intrare.
Definiție: „Învățarea automată este un câmp de studiu în care computerul învață din datele disponibile / date istorice fără a fi programat explicit”
În învățarea mașinii, accentul este pus pe automatizarea și îmbunătățirea procesului de învățare a calculatoarelor pe baza experiențelor lor de date de intrare și nu vom programa codul în mod explicit pentru fiecare tip de problemă, adică mașina își va da seama cum să abordăm problema. Aici rezultatele pot să nu fie exacte, dar se poate face o predicție bună.
Să o înțelegem astfel:
În mod tradițional, computerele sunt utilizate pentru a ușura procesul de calcul. deci dacă avem vreun calcul aritmetic. Ce vom face? Vom pregăti un program de calculator care va rezolva operațiunea într-un mod ușor și rapid. de exemplu, dacă dorim să adăugăm două entități, vom crea o bucată de cod software care va lua două intrări, iar în ieșire, va apărea rezumarea.
În abordarea învățării automate este diferită în loc să alimentezi un algoritm direct, un algoritm special este pus în codul software care va încerca să recunoască un model și pe baza acestor modele va încerca să prezice cea mai bună producție posibilă. Aici nu codificăm niciun algoritm în mod explicit pentru nicio operațiune specifică, în schimb, alimentăm date unei mașini pentru a afla care este modelul și care ar putea fi rezultatul.
Acum de ce trebuie să mergem pentru această abordare când putem obține direct rezultatele exacte doar prin codificarea algoritmului exact? Algoritmii exacti sunt complexe și sunt limitate. Să o vedem dintr-o perspectivă diferită, aceasta este o epocă în care avem o abundență de date și care explodează în fiecare zi așa cum am discutat în secțiunea anterioară. Aici avem de-a face cu învățarea supravegheată și nesupravegheată.
Învățarea automată este de un interes acut în zilele noastre, deoarece avem o abundență de date. Pentru a înțelege aceste date, trebuie să avem anumite rezultate semnificative sau niște tipare semnificative, care pot fi analizate și utilizate în mod real.
Dar totuși, de ce ne interesează învățarea mașinii și aceste date?
Știm că umanitatea doar înlocuiește istoria ca și cum suntem la fel ca generațiile noastre anterioare și descendenții noștri se vor confrunta, de asemenea, cu mai multe situații identice cu care ne confruntăm acum sau ne-am confruntat. În această etapă, trebuie să ne imaginăm cum să reacționăm pentru viitor folosind date istorice.
Deci, acum știm că datele sunt un atu foarte valoros.
Provocarea este cât de bine putem utiliza aceste date disponibile?
Acesta este subiectul cel mai interesant (Cum?), În care vom avea sensul datelor disponibile. Există practic 3 abordări pentru învățarea automată:
- Învățare supravegheată
- Învățare nesupravegheată
- Consolidarea învățării
Aceste trei abordări sunt utilizate pentru crearea unui model de învățare automată precum (regresie liniară, regresie logistică, pădure aleatorie, arbori de decizie, etc.).
Există o mare varietate de aplicații ale acestui model de învățare automată, de exemplu:
- Finanțe: detectarea fraudei
- Marketing / Vânzări: personalizați recomandarea
- Asistența medicală: identificați tendința bolii.
Concluzie - învățarea mașinilor de știință a datelor
- Știința datelor este un domeniu larg al căruia învățarea automată este un subset. În acest caz, analizăm datele istorice disponibile la noi și încercăm să prezicem cele mai probabile rezultate viitoare.
- Pentru a prezice trebuie să curățăm datele, să aranjăm datele (inginerie de date). Cu date în mână, vizualizăm modelul / tendințele și apoi cu înțelegerea statistică, deducem informații intuitive.
- Aceste date vor fi furnizate către o mașină folosind un algoritm de învățare a mașinilor.
- Acești algoritmi antrenează mașina și creează un model de învățare a mașinilor.
- Acest model poate fi folosit pentru predicție.
Articole recomandate
Acesta este un ghid pentru învățarea științelor datelor. Aici discutăm despre importanța științei datelor împreună cu învățarea mașinii. De asemenea, puteți consulta următoarele articole pentru a afla mai multe -
- Cele mai bune programe de știință a datelor
- Abilități de știință a datelor
- Limbi de știință a datelor
- Tehnici de învățare a mașinilor
- Ce este integrarea datelor?
- Cum se utilizează graficul de bare în Matlab (exemple)
- Arborele decizional în învățarea mașinilor
- Modalități simple de a crea arborele de decizie