Instrumente pentru talente - Diverse instrumente sau componente ale Talendului pentru integrarea datelor

Introducere pe Instrumente Talend

Talend open studio are mai mult de 700 de componente în domenii precum date mari, baze de date, cloud, etc. Studioul deschis Talend poate fi împărțit în mai multe, precum studiourile deschise Talend pentru Integrare de date și Talend studio deschis pentru date mari, etc. În acest articol, va vedea în detaliu diferitele instrumente ale talentului.

Componente / instrumente Talend Open Studio

Talend Open Studio pentru integrare de date acoperă următoarele zone / tehnologii cu unele componente încorporate, care ajută la procesarea cu ușurință.

Componentele Big Data
Componente de afaceri
Componente de Business Intelligence
Componentele din cloud
Componentele codului personalizat
Componentele calității datelor
Baze de date - componente tradiționale
Baze de date - componente ale aparatului / depozitului de date
Baze de date - alte componente
Componente DotNET
Componente ELT
Componente ESB
Componente de fișiere
Componente de internet
Componentele jurnalelor și erorilor
Componente diverse ale grupului
Componente de orchestrare
Componente de procesare
Componentele sistemului
Componente Talend MDM
Componente tehnice
Componente XML

Aici vom discuta despre câteva componente din Talend Open Studio pentru integrarea datelor.

1. tS3Connection: Această componentă este utilizată pentru conectarea cu amazon s3. Componentele pot utiliza această conexiune pentru configurarea ușoară a conectării la amazon s3.

2. tS3Input: Acesta este utilizat pentru a citi un fișier din sistemul de fișiere S3. Are unele funcții similare cu tfileinputdelimitate, dar folosește serviciul Amazon Simple Storage.

3. tS3Output: Acesta este utilizat pentru a scrie date într-un sistem de fișiere S3. Are unele funcții similare cu tfileoutputdelimitat, dar folosește serviciul Amazon Simple Storage.

4. ts3Put: Acesta este utilizat pentru a introduce un fișier într-un sistem de fișiere S3 dintr-un sistem local.

5. ts3Get: Această componentă este utilizată pentru a prelua un fișier din S3 într-un sistem local.

6. tS3BucketCreate: Această componentă este folosită pentru a crea o găleată pe S3.

7. tS3BucketDelete: Această componentă este folosită pentru a șterge o găleată de pe S3.

8. tS3BucketExist: Această componentă este utilizată pentru a verifica dacă găleata dată există pe S3. Acesta returnează rezultatul în valoare booleană adevărată sau falsă, care poate fi utilizată ca hartă globală.

9. tS3BucketList: Această componentă este utilizată pentru a enumera toate secțiunile de pe S3.

10. tS3Copy: Această componentă este utilizată pentru a copia obiectul S3 de la o găleată la alta. Este similar cu tFileCopy.

11. tS3Delete: Această componentă este folosită pentru a șterge obiectul S3 dintr-o găleată. Este similar cu tFileDelete.

12. tS3Close: Această componentă este folosită pentru a închide conexiunea S3 care este creată folosind tS3Connection.

13. tCreateTemporaryFile: Această componentă creează un fișier temporar precum tFileOutputDelimited, dar acest fișier temporar poate fi șters automat după terminarea lucrării sau poate fi păstrat.

14. tFileArchive: Această componentă este utilizată pentru a crea un fișier comprimat din unul sau mai multe fișiere. Criptarea poate fi aplicată și în compresie.

15. tFileCompare: Această componentă este utilizată pentru a compara două fișiere și returnează datele de comparare.

16. tFileUnarchive: Această componentă este folosită pentru a decomprima un fișier zip.

17. tFileCopy: Această componentă este utilizată pentru a copia un fișier sau un folder într-un director țintă.

18. tFileDelete: Această componentă este folosită pentru a șterge un fișier sau un folder.

19. tFileExist: Această componentă este utilizată pentru a verifica dacă un fișier există sau nu. Acesta returnează rezultatul în valoare booleană adevărată sau falsă, care poate fi utilizat ca globalMap.

20. tFileInputExcel: Această componentă este utilizată pentru a citi un fișier Excel bazat pe schema definită.

21. tMsgBox: Această componentă este utilizată pentru a afișa o casetă de dialog cu un buton OK.

22. tRowGenerator: Această componentă este folosită pentru a crea orice număr de rânduri cu coloane care au valori specifice sau valori aleatorii. Este utilizat mai ales în scopuri de testare și crearea de fișiere de testare.

23. tIterateToFlow: Este utilizat pentru a transforma o listă de fluxuri în fluxul principal, ceea ce înseamnă iterație>> rând-> principal.

24. tFlowToIterate: este utilizat pentru a transforma fluxul principal într-o listă de fluxuri care înseamnă principal-> rând-> iterat.

25. tLoop: este folosit pentru a bucla o anumită sarcină.

26. tReplicate: este utilizat pentru a reproduce schema primită în două fluxuri de ieșire.

27. tRunJob: Este folosit pentru a rula o altă lucrare de talent în cadrul jobului curent după subbaș ok.

28. tSleep: este folosit pentru a face execuția lucrării sau o anumită pauză subjob pentru un anumit timp în câteva secunde.

29. tWaitForFile: Va analiza un anumit director și va declanșa următoarea componentă bazată pe condiție.

30.tMysqlBulkExec: Această componentă este utilizată pentru a oferi câștiguri de performanță în timpul executării operațiilor Insert pe o bază de date Mysql.

31. tMysqlClose: Această componentă este folosită pentru a închide conexiunea mysql care este creată de tMysqlConnection.

32. tMysqlRow: Această componentă este utilizată pentru a rula interogarea SQL pe baza de date MySQL direct.

33. tMysqlTableList: Această componentă este utilizată pentru a enumera numele unei tabele.

34. tMysqlColumnList: Această componentă este folosită pentru a itera toate coloanele unui tabel.

35. tMysqlCommit: Această componentă este folosită pentru a comite modificările făcute în baza de date Mysql.

36. tMysqlLastInsertId: Această componentă este utilizată pentru a obține ultima valoare cheie introdusă

37. tMysqlOutputBulk: Această componentă este folosită pentru a scrie un fișier cu coloane bazate pe delimitator

38. tMysqlOutputBulkExec: Această componentă este folosită pentru a scrie un fișier cu coloane bazate pe delimiter și apoi execută fișierul în baza de date Mysql.

39. tContextLoad: Această componentă este utilizată pentru încărcarea valorilor în context dintr-un flux de intrare. Variabilele de context ar trebui create înainte de a încărca valorile în variabile de context. Dacă variabilele de context nu sunt create, va apărea un avertisment.

40. tHiveClose: Această componentă este utilizată pentru a închide conexiunea creată folosind tHiveConnection.

41. tHiveConnection: Această componentă este utilizată pentru a crea o conexiune Hive și poate fi reutilizată de alte componente Hive.

42. tHiveRow: Această componentă este utilizată pentru a rula interogările Hive direct.

Concluzie

Componentele HDFS pot fi văzute în studioul deschis Talend pentru Big Data.
thdfsinput, thdfsoutput sunt unele dintre componente și sunt similare cu componentele fișierului.
tHDFSInput - Citește fișierul localizat pe un sistem de fișiere distribuit Hadoop (HDFS). Are unele funcții similare cu tfileinputdelimitate, dar folosește un sistem de fișiere distribuit Hadoop.
tHDFSOutput- Scrie fișierul în sistemul de fișiere distribuit Hadoop (HDFS).
Are unele funcții similare cu tfileoutputdelimitat, dar folosește un sistem de fișiere distribuit Hadoop.
tHDFSPut- Acesta este utilizat pentru a introduce un fișier în sistemul de fișiere HDFS dintr-un sistem local.
tHDFSGet- Această componentă folosită pentru preluarea unui fișier de la HDFS într-un sistem local.

Articole recomandate

Acesta este un ghid pentru Talend Tools. Aici discutăm despre introducerea și talentul componentelor sau instrumentelor de studio deschise pentru integrarea datelor care include, tS3Connection, tS3Input, tS3Output și ts3Put, etc. De asemenea, puteți privi articolele următoare pentru a afla mai multe -