Nasa paligid natin ang data sa anyo man ng mga log file na nabuo ng mga customer na gumagamit ng mga mobile o web application, mga pagbili sa commerce, aktibidad ng manlalaro ng laro, at marami pang mapagkukunan. Higit na partikular, ang mga serbisyo ng AWS Kinesis at Kafka ay ginagamit din upang pamahalaan at kontrolin ang mga stream ng data at maghanda gamit ang SQL upang mag-imbak sa mga serbisyo ng imbakan ng AWS.
Ipapaliwanag ng gabay na ito ang Kinesis at Kafka nang detalyado.
Ano ang Kinesis?
Ang pamamahala ng malaking halaga ng data ay isang kumplikadong trabaho na nangangailangan ng Koleksyon, Pag-iimbak, at Pagsusuri nito. Ginagamit ang serbisyo ng AWS Kinesis upang kontrolin ang high-throughput na impormasyon na ito at tulungan ang user na manatiling napapanahon sa kanilang negosyo, organisasyon, at mga customer:
Mga Serbisyo ng Kinesis
Binubuo ng Kinesis ang mga sumusunod na serbisyo:
Kinesis Stream : Nag-aalok ang Kinesis stream ng mababang latency streaming ingest sa sukat.
Kinesis Analytics : Ginagamit ito upang kumuha ng data mula sa iba't ibang mapagkukunan at maglapat ng SQL upang magsagawa ng real-time na analytics sa mga stream:
Kinesis Firehose : Ito ay ginagamit upang maghanda at mag-load ng mga stream nang tuluy-tuloy sa mga serbisyo ng AWS tulad ng S3, Redshift, ElasticSearch, atbp.:
Ano ang Kafka?
Ang Kafka ay isang distributed message streaming platform gamit ang publish and subscribe mechanism para mag-stream ng data. ng Amazon' Pinamamahalaang Streaming para sa Apache Kafka ” (MSK) ay isang ganap na pinamamahalaang serbisyo na ginagamit upang bumuo ng mga real time streaming pipeline. Gayunpaman, para sa hindi mahuhulaan at hindi kilalang mga workload, ang Amazon MSK serverless ay ipinakilala ng platform:
Mga Pangunahing Konsepto ng Kafka
Ang ilan sa mga pangunahing konsepto ng Kafka ay binanggit sa ibaba:
Nakapila : Nagbibigay ito ng mekanismo para magpadala at tumanggap ng mga asynchronous na mensahe at nag-aalok ng service-to-service na komunikasyon:
PubSub : Ito ay isang asynchronous na serbisyo sa pagmemensahe, na nangangahulugang nakakatulong ito sa user na magpadala, tumanggap, at mag-filter ng mga stream ng data:
Ang Kinesis ba ay Kapareho ng Kafka?
Ang Apache Kafka ay isang open-source na solusyon sa pagmemensahe ng PubSub at ang Kinesis ay ang pinamamahalaang serbisyo ng AWS na itinulad sa Kafka. Iniimbak ng MSK ang mga pangunahing halaga ng data (Mga Paksa) sa mga partisyon at ang Kinesis ay nag-iimbak ng mga talaan ng data sa Shards. Parehong idinisenyo ang Kinesis at Kafka upang magbigay ng halos parehong mga serbisyo ngunit ang pagkakaiba ay nasa konsepto ng fan-out.
Konklusyon
Sa kabuuan, ang mga serbisyo ng AWS Kinesis at Kafka ay idinisenyo upang magsagawa ng mga aktibidad tulad ng pag-aalok ng mataas na throughput at mga low-latency na workload. Ginagamit ang Kinesis upang pamahalaan ang malaking data sa tulong ng streaming at pag-iimbak ng data sa mga serbisyo ng imbakan ng AWS. Ang Amazon MSK ay isang serbisyo ng streaming ng pagmemensahe ng PubSub na gumagamit din ng mekanismo ng pagpila.