“Ang Comma-Separated Values (CSV) ay isa sa mga pinaka-versatile at madaling gamitin na mga format ng data. Ito ay isang magaan na format ng data na nagbibigay-daan sa mga developer at application na maglipat at mag-parse ng data mula sa isang pinagmulan patungo sa isa pa.
Ang data ng CSV ay nag-iimbak ng data sa isang tabular na format kung saan ang bawat column ay pinaghihiwalay ng kuwit, at isang bagong tala ang inilalaan sa isang bagong linya. Ginagawa nitong isang napakahusay na pagpipilian para sa pag-export ng mga database tulad ng mga database ng SQL, data ng Cassandra at higit pa.
Samakatuwid, hindi nakakagulat na makakatagpo ka ng isang senaryo kung saan kailangan mong mag-import ng CSV file sa iyong database.
Ang layunin ng tutorial na ito ay ipakita sa iyo ang mabilis at simpleng paraan ng pag-import ng CSV file sa iyong Elasticsearch cluster gamit ang Kibana dashboard.”
Sumakay na tayo.
Mga kinakailangan
Bago sumabak, tiyaking mayroon kang mga sumusunod na kinakailangan:
- Isang Elasticsearch cluster na may berdeng katayuan sa kalusugan.
- Nakakonekta ang Kibana server sa iyong Elasticsearch cluster.
- Sapat na mga pahintulot upang pamahalaan ang mga index sa iyong cluster.
Halimbawang CSV File
Gaya ng dati, ang unang kinakailangan ay ang iyong source CSV file. Magandang tiyakin na ang data sa iyong CSV file ay maayos na na-format at wala itong mga error.
Para sa mga layunin ng paglalarawan, gagamit kami ng isang libreng dataset na naglalaman ng mga pelikula at Palabas sa TV mula sa Amazon Prime.
Buksan ang iyong browser at mag-navigate sa mapagkukunan sa ibaba:
https://www.kaggle.com/datasets/shivamb/amazon-prime-movies-and-tv-shows
Sundin ang pamamaraan upang i-download ang dataset sa iyong lokal na makina. Maaari mong i-extract ang na-download na archive gamit ang command:
$ i-unzip a~ / Mga download / archive.zip
Mag-import ng CSV File
Kapag naihanda mo na ang iyong source file, maaari kaming magpatuloy at talakayin kung paano ito i-import.
Magsimula sa pamamagitan ng pagpunta sa iyong Kibana home dashboard at pagpili sa opsyong 'mag-upload ng file'.
Hanapin ang target na CSV file na gusto mong i-import sa window ng launcher.
Piliin ang iyong source file at i-click ang upload.
Payagan ang Elasticsearch at Kibana na suriin ang na-upload na file. Ipi-parse nito ang CSV file at tutukuyin ang format ng data, mga field, uri ng data, atbp.
TANDAAN: Depende sa configuration ng iyong cluster at laki ng data, maaaring magtagal ang prosesong ito. Tiyaking tumutugon ang master node upang maiwasan ang mga timeout.
Sa sandaling kumpleto na ang proseso, dapat kang makakuha ng sample ng iyong nilalaman ng file at ang mga istatistika ng file na sinuri ng Elastic.
Maaari mong iangkop ang maraming parameter, halimbawa, ang delimiter, mga hilera ng header, atbp. Halimbawa, maaari naming i-customize ang output sa itaas upang sabihin sa Elastic na ang aming CSV file ay naglalaman ng mga file ng header.
Pagkatapos ay maaari naming i-click ang ilapat at muling suriin ang data. Dapat nitong i-format ang data sa tamang format, kasama ang mga field.
Susunod, maaari naming i-click ang pag-import upang magpatuloy sa na-import na dashboard.
Dito, kailangan nating lumikha ng index kung saan naka-imbak ang data ng CSV. Maaari kang maglaan ng anumang suportadong pangalan sa iyong index.
Kung nais mong i-customize ang iyong mga katangian ng index, tulad ng bilang ng mga shards, replika, pagmamapa, atbp. Piliin ang advanced na opsyon at i-tweak ang iyong mga setting ayon sa gusto ng iyong puso.
Panghuli, i-click ang pag-import at panoorin habang ginagawa ni Kibana ang 'magic' nito. Kapag nakumpleto na, maaari mong ma-access ang iyong index alinman sa pamamagitan ng Elasticsearch API o gamitin ang Kibana dashboard.
At tapos ka na!!
Konklusyon
Sa post na ito, sinaklaw namin ang proseso ng pagkuha at pag-import ng iyong CSV dataset sa iyong Elasticsearch cluster gamit ang Kibana dashboard.
Salamat sa pagbabasa & Happy coding!!