Big Data Techniques: Confluența tehnologiei și a analizelor de afaceri
Confluența analizei tehnologiei și afacerilor -
Cu mult timp în urmă, bărbații duc o viață nomadă înainte de a se orienta treptat către agricultură. Invenția roții, a focului și a motorului cu aburi sunt adesea considerate puncte de cotitură în evoluția omenirii către mecanizare și confort sporit de viață.
La fel, legendarul Legea mișcării și gravitației, Newton, Teoria relativității lui Einstein, care își împlinește acum 100 de ani sau Legea termodinamicii au revoluționat știința și au influențat știința aplicată. Invenția computerului, sosirea computerului personal și a interfeței grafice cu utilizatorul (GUI) sunt repere în dezvoltarea în era digitală. Numerele binare zero și cele care se află în centrul limbajelor la nivel de asamblare.
Tehnici binare până la Big Data
La nivel hardware, zero și altele alimentează circuitele într-un computer, la nivel de business tehnicile Big Data sunt cele care fac o schimbare pe mare în modul în care companiile elaborează strategii de marketing pentru a rămâne competitiv. Acesta ar putea fi compus din orice, din cifre simple și mai multe cifre, toate conținând informații vitale despre piață, funcționarea unei mașini, corpul uman, tranzacțiile de comerț electronic sau aproape orice activitate de zi cu zi care poate avea sau nu ceva a face cu cumpărarea sau vânzarea.
Este obișnuit ca întreprinderile și profesioniștii contabili să vorbească despre active și datorii. În mod convențional, activele notează utilaje, tehnologie, know-how, resurse umane, infrastructură și, de asemenea, active financiare.
Acum, o schimbare de paradigmă se întâmplă, împreună cu aceste imobilizări corporale, unele bucăți de cifre unice sau multiple sau date au devenit cel mai neprețuit activ pe măsură ce organizațiile și piețele cresc ca mărime. Din punct de vedere al marketingului și strategiei de date mari, datele au devenit cel mai important atu.
Întreprinderile sunt în creștere ca dimensiune și scară. Nu mai este mic frumos sau viabil. Operațiunile pe mai multe țări, mall-urile mari și întreprinderile de comerț electronic cu volum mare au stabilit o nouă tendință pe tot globul. Pentru a reuși această mare companie de date și analiza datelor au devenit critice. Întreprinderile sunt după Big Data Hadoop pentru a-l utiliza pentru a obține informații de piață și pentru a înțelege cerințele clienților.
Confluența tehnologiei și a analizei datelor
Sursa imaginii: pixabay.com
Tehnicile de date mari pe care organizațiile le vor avea fără sens, cu excepția cazului în care există o tehnologie care să susțină datele, să le prelucreze și să le organizeze pentru ca întreprinderile să utilizeze acest atuu vital. Bernard Marr, renumit scriitor și analist a spus că companiile indiferent de mărimea lor, fie că este vorba despre o companie Fortune 500 sau un mic magazin de mamă și pop ar necesita utilizarea lui Hadoop Big Data martor la schimbarea pe care o aduce întreprinderilor.
Tehnicile de date mari reprezintă o colecție de seturi de date mari și sunt în număr mare, încât programele sofisticate sunt necesare pentru a analiza și a crea informații semnificative din ele. Ar putea fi obiceiuri de cumpărare, frecvența de a merge la filme, site-urile web de frecvențe de conectare, cumpărăturile online, comenzile alimentare, frecvența schimbării telefoanelor mobile etc.
Diverse instrumente, cadre și tehnici sunt utilizate pentru a analiza seturi mari de date și au devenit mult căutate de industrie. Potrivit experților, nu datele sunt importante, ci ceea ce face compania cu aceste date.
Printre diverse tehnologii și platforme, Hadoop a apărut cea mai populară, deși poate avea dezavantajele sale. Este o platformă de dezvoltare open source care este scrisă pe C, C ++, Java și ajută organizațiile să analizeze cantitatea uriașă de date în timp real.
Tehnici de date mari în timp real
Colectarea, stocarea, mutarea și analiza nu este o activitate statică, ci și una dinamică care implică medii în timp real. Datele sunt colectate continuu pentru avioane, motoare auto, monitoare conectate la pacienți din spitale, tranzacții online cu card de credit sau debit, toate care necesită algoritmi sofisticate, programe, arhitectură de date mari și o capacitate robustă de procesare în memorie.
John Schroeder, CEO MapR a spus că au aplicații Big Data care protejează milioane de titulari de carduri American Express de tranzacții frauduloase și în asistența medicală, lucrează pentru a oferi proceduri îmbunătățite de tratament pentru pacienții cu cancer.
Major IT IT cum ar fi Microsoft, Oracle, SAP, IBM sunt toate pe platforma cloud și permit, de asemenea, soluții pentru tehnici de date mari.
Tehnici Big Data și Internet of Things
Modificările rapide ale tehnologiei web și înglobate au permis interconectarea unei multitudini de dispozitive între ele, capabile să-și transmită date în timp real. A apărut un internet realizat din „lucruri” decât din oameni și computere.
Fiecare dispozitiv pe care îl purtăm sau îl folosim este capabil să încheie date care, la rândul lor, ar avea aplicații largi în marketingul de date mari, proiectare, asistență medicală, printre altele.
Minerirea datelor
Acum, supercomputerele puternice sunt implementate pentru a extrage datele din bazele de date relaționale și ajută statisticienii și analiștii să creeze modele. Mai mulți inovatori au venit cu instrumente pentru dezvoltarea de modele pentru analiza predictivă a datelor mari pentru o mai bună luare a deciziilor de către companii. De asemenea, oferă o interfață grafică ușor de utilizat (GUI) și este foarte ușor de utilizat.
Cariera în tehnicile Big Data
În mod firesc, revoluția suficientă în tehnicile de date mari a generat o rază de experți cu totul nouă, asociate cu anumite domenii ale acestei analize și tehnologii de date. Printre abilitățile tehnologice la cerere fierbinți se numără Apache Hadoop, Apache Spark, NoSQL, învățarea automată și minerirea datelor, analiza statistică și cantitativă, SQL, vizualizarea datelor, oamenii de știință de date, abilitățile de limbaj de programare cu scop general. Potrivit analiștilor, oportunitățile vor crește în următorul deceniu, datorită evoluțiilor rapide în acest domeniu.
Într-adevăr, o cerere uriașă de expertiză în domeniul tehnicilor de date mari în 2015, IBM a anunțat 2.307 de poziții în ultimele doisprezece luni în iunie, a declarat revista Forbes într-o evaluare la jumătatea anului. Salariul publicizat pentru profesioniștii tehnici cu pregătire Big Data este de 104.850 USD. Cele mai căutate abilități au fost expertiza VMWare, dezvoltarea aplicațiilor, tehnologia open source, stocarea datelor și abilitățile de programare Python.
În domeniul industriei, principalul avantaj al tehnicilor și serviciilor Big Data sunt serviciile profesionale, științifice și tehnice care reprezintă 25% din cerere. Printre alte categorii de lider tehnologiile informației reprezintă 17%, producția 15%, finanțele și asigurările 9% și comerțul cu amănuntul 8%.
Avantajele analizelor Big Data
1) Depozitarea, exploatarea și analiza datelor:
Tehnologiile de date mari au permis implementarea atât a datelor stocate cât și în timp real pentru o varietate de aplicații critice pentru afaceri și misiuni
2) Predicția și prognoza pieței:
În epoca tehnicii de dinainte de date, companiile au fost constrânse să facă analize de date semnificative în timp real sau să facă analize predictive în absența tehnologiei. Sondajele de probă și feedback-urile clienților au oferit singura soluție pentru strategi să inoveze cu noi oferte pe piață.
3) O cantitate mare de date este generată de întreprinderi, iar în anii precedenți, cu instrumente de date mari insuficiente pentru a le colecta și analiza, întreprinderile nu reușeau să folosească un activ important cu acestea.
4) În timp real, mediul de afaceri cu date mari, hackingul și furtul de date pot afecta în mod critic activitatea unei organizații, încrederea clienților și să o facă vulnerabilă la atacuri ulterioare. Datele mari și Hadoop s-au dovedit că ajută organizațiile să detecteze furtul de date. Metodologiile privind furtul de date evoluează mai repede decât metodologiile anti-furt sau activitățile de prevenire.
Tehnicile Big Data sunt singurele cerințe pentru a avea succes
Hipo-ul creat de date mari nu a decurs bine cu unii critici care subliniază unele dintre problemele asociate implementării sale în industrie. Unii analiști s-au pus la îndoială dacă există un randament pozitiv al investițiilor (ROI) și merită timpul și efortul depuse pentru implementarea acesteia. Al doilea este în ceea ce privește volumul mare de date și analize care ar putea să nu explice „de ce” are loc un astfel de comportament al consumatorului.
Analiza datelor mari poate fi utilizată eficient împreună cu metodologiile tradiționale de sondaj (date groase) care cartografiează modelele demografice în ceea ce privește comportamentul de economisire, investiții, cumpărări și cheltuieli în regiuni, ceea ce oferă o înțelegere mai largă a pieței. Instrumentele Big Data pot oferi o imagine a ceea ce s-a întâmplat și cum, dar „de ce” se întâmplă poate fi înțeles doar printr-o înțelegere largă a anumitor consumatori sau regiuni, bazată pe profilul demografic, preferințele stilului de viață, obiceiurile de cheltuieli, printre altele, conform scepticilor de la Big Instrumente de date.
Tendințe majore în tehnologia Big Data
Potrivit lui John Schroeder, CEO și co-fondator MapR, compania care furnizează soluții pe Big Data, a prezis tendințele emergente pentru 2015 și majoritatea par să fie adevărate.
Hub-uri de date către lacurile de date: lacurile de date cu infrastructură scalabilă par a fi favorizate, deoarece sunt atractive din punct de vedere economic, cu un cost per-terabyte redus).
Self Service: instrumentele de date mari cu autoservire îi vor permite dezvoltatorilor, oamenilor de știință de date și analiștilor să efectueze în mod direct explorarea datelor.
Agilitatea datelor
Pe măsură ce baza de date se extinde și este necesară o procesare mai rapidă, sistemele moștenite par să încetinească procesul. Bazele de date și depozitele anterioare s-au dovedit a fi prea lente și, prin urmare, organizațiile se uită la cât de agile sunt procesarea datelor.
Hadoop în faza de inovație: Hadoop rămâne în faza de inovare, iar Shroeder consideră că este posibil să existe un model mai nuanțat de software open source combinat cu inovație profundă și dezvoltare comunitară.
provocare de securitate
Stocarea și procesarea datelor mari devin din ce în ce mai vulnerabile la amenințările de securitate din sistemul Hadoop open source. Cu toate acestea, caracteristicile de securitate sunt încă compatibile cu astfel de amenințări și, în special, în comparație cu sisteme mai sigure Enterprise Resource Planning (ERP) și baze de date relaționale.
Cloud Computing
Avansele rapide în cloud computing le permite chiar și întreprinderilor mici și mijlocii să utilizeze SaaS (software ca un serviciu), Platform as a Service (PaaS) și alte platforme furnizate de furnizori care le permite să utilizeze servicii de date mari la un preț mult mai ieftin. cost pentru care nu sunt necesare taxe de licență costisitoare și instalații.
Potrivit lui Bernard Marr, renumit autor și analist, algoritmi sofisticați sunt dislocați în spațiul cloud prin SaaS, care oferă o imagine mai exactă despre când, cum și de ce este vândut un produs. Citându-l pe Charlie Crocker din AutoDesk, el subliniază că până la sosirea feedback-ului clienților Big Data a fost un exercițiu dificil, dar cu algoritmii sofisticați acum la lucru, companiile mari de date sunt mai capabile să înțeleagă comportamentul consumatorilor și să creeze produse pentru ei.
Viitorul instrumentelor Big Data este luminos
International Data Corp prevede că piața de date mari va crește cu o rată anuală de creștere compusă de 23% până în 2019, cheltuielile anuale urmând să ajungă la 48, 6 miliarde USD în 2019. IDC consideră că cele trei mari submarketuri: infrastructură, software și servicii vor crește substanțial în următoarele cinci ani, cu managementul informaticii, descoperirea și analiza și software-ul pentru aplicații, care conduce taxa cu un CAGR de 26%.
IDC prezice că serviciile, inclusiv serviciile profesionale și de asistență pentru infrastructură și software, vor crește la un CAGR de 22, 7 la sută. Se prognozează că infrastructura - constând în calcul, rețea, infrastructură de stocare și alte securități de tipul infrastructurii centrelor de date - va crește la un CAGR de 21, 7 la sută și va reprezenta aproximativ jumătate din totalul cheltuielilor până în 2019.
„Capacitatea de a folosi date și analize mari pentru a dezvolta o viziune integrată a activităților clienților și a operațiunilor de afaceri va oferi o diferențiere competitivă companiilor din industrii”, a declarat recent Jessica, Goepfert, director de program pentru IDC Global Technology and Industry Research Organization. „Cu toate acestea, pe lângă oportunitățile uriașe, datele mari prezintă unele riscuri semnificative și
Transformarea digitală (DX) va conduce „tot ceea ce contează în IT” în următorii câțiva ani. Reușind ceea ce IDC numește economia DX înseamnă utilizarea tehnologiilor precum mobil, cloud, instrumente de analiză a datelor mari, IoT, AI și robotică pentru a „crea avantaj competitiv prin noi oferte, noi modele de afaceri și noi relații cu clienții, furnizorii și distribuitorii, ”A spus Frank Gens, analistul șef al IDC.
Cheie de luat cu cheie din predicțiile IDC
- Până în 2020, aproape 50% din bugetele IT vor fi asociate inițiativelor DX (transformare digitală).
- Până în 2018, directorii Line of Business (LOB) vor controla 45% + din totalul cheltuielilor IT din întreaga lume, peste 60% în SUA
- Până în 2017, peste 50% din cheltuielile IT vor fi destinate noilor tehnologii (mobil, cloud, instrumente de date mari etc.).
- Chiar și cu tehnologii și platforme cu evoluție rapidă, este îndoielnic dacă toate datele disponibile ar fi analizate și nici nu ar fi necesare, spun unii experți. Ceea ce este important este dacă datele relevante sunt identificate și analizate în beneficiul părților interesate.
Articole recomandate
Iată câteva articole care vă vor ajuta să obțineți mai multe detalii despre tehnicile de date mari, așa că treceți doar prin link.
- 8 Cel mai util ghid cu privire la întrebările la interviu Big Data
- De ce inovația este cel mai critic aspect al datelor mari?
- Top 5 tendințe de date mari pe care companiile vor trebui să le stăpânească
- Care este ajutorul abilităților NOSQL în construirea unei cariere de date mari
- Ghid pentru Introducere în Data Mining