Slides

Tecnologias para sistemas distribuidos escalaveis

Description
1. Tecnologiasparasistemasdistribuídos escaláveis MongoDB, Redis, Hadoop, Storm Cesar Schneider Eworks Tecnologia 2. Quemsoueu ã ã ã ã ã ã ã Inventor…
Categories
Published
of 32
All materials on our website are shared by users. If you have any questions about copyright issues, please report us to resolve them. We are always happy to assist you.
Related Documents
Share
Transcript
  • 1. Tecnologiasparasistemasdistribuídos escaláveis MongoDB, Redis, Hadoop, Storm Cesar Schneider Eworks Tecnologia
  • 2. Quemsoueu • • • • • • • Inventor desde 1988 Programadordesde 1998 Analistadesde 2003 Gerente/Consultordesde 2008 “Canivetesuiço”desde 2010 “Hacker” desde 2012 Arquiteto/Designer desde 2013
  • 3. O quejáaprendievivi • C/C++, PHP, Java, Ruby, JavaScript, HTML, CSS, Action Script, Bash, Linux. • Trabalheiemdiferentesprojetos no Brasil, EmiradosÁrabes, Chile e USA. • Experiência com osmercados de gerenciamento de risco, rastreamento de veículos, geolocalização, GIS, e-commerce, aplicaçõesmóveis, integração de sistemas, Web Services eadministração de servidores Linux. • Apaixonadoporesportesradicais, músicaeletrônicaeautomobilismo.
  • 4. ComputaçãoDistribuída • É umareferênciaàcomputaçãoparalelaedescentr alizada, realizadapordoisoumaiscomputadoresconecta dosatravés de umarede, cujoobjetivoéconcluirumatarefaemcomum. • Umacoleção de computadoresindependentesqueaparecempar aousuáriocomo um únicosistema.
  • 5. ComputaçãoDistribuída
  • 6. SistemasEscaláveis • Um sistemaédescritocomoescalável se permaneceeficientequandohá um aumentosignificativo no número de recursos (dados) e no número de usuários • São construídos com base numaarquiteturadistribuídaequepermiteadiçã o de novosnóssemque a aplicaçãonecessite ser modificada
  • 7. ArquiteturaEscalável
  • 8. Tecnologiasescaláveis • MongoDB: banco de dados orientadoàdocumentosou“NoSQL” • Redis: armazenamento de dados emmemória RAM com replicaçãoem disco • Hadoop: processamento de grandes volumes de dados usando Map/Reduce eoutrosalgoritmos • Storm: processamento de dados em tempo real através de topologiasbaseadasemgrafos
  • 9. Banco de dados orientado a documentoquepermitearmazenarestruturas de dados com alta performance, disponibilidade,escalabilidadeeesquemasflexívei s. Um banco de dados possuiváriascoleções (tabelas). Umacoleçãopossuiváriosdocumentos (registro). Um documentopossuivários pares chave/valor.
  • 10. • Flexibilidade: dados armazenados no formato JSON • Velocidade: consultassãomaisrápidasporquenãoexistem “joins” • Escalabilidade: capacidade de cargapode ser aumentadafacilmenteusando“shards” • Recursos: indices geoespaciais, queries dinâmicas, ordenação, agregação, replicação
  • 11. { name: “Cesar Schneider”, email: “cesar@eworks.com.br”, age: 34, skills: *“C”, “PHP”, “Java”+, availableForConsulting: true }
  • 12. Relacional Documento Escalonamento Possívelporémcomplexode vido a arquitetura Principalvantagemporter um arquiteturaflexívelesemesq uemadefinido Consistência Ponto forte. Estruturarígidagarante a consistência dos dados Eventual, masgaranteacessoaoúltimo valor atualizado Disponibilidade Podenãosuportarumagrand Fator edemanda de dados fundamental.Algograu de distribuiçãopermitemaiorn úmero de consultas
  • 13. Servidor de estruturasda dados complexas, armazenadasemmemória RAM, quepermitem a execução de operaçõescomplexasemanipulação de dados com baixalatência. Possibilita a execução de operaçõesatômicascomoconcatenar strings, incrementarcontadores, ordenarlistas, computarinterseções, uniõesediferenças.
  • 14. • • • • • • Twitter Instagram Digg Stack Overflow Flickr Mercado Livre
  • 15. Data types • • • • • Strings (“string”) Lists (“a”, “a”, “b”, “b”, ”c”, ”c”) Sets (“a”, ”b”, “c”) Hashes (“username cesar password 12345”) Sorted sets (cadaelementopossui um score)
  • 16. $ redis-cli set mykey "my binary safe value" OK $ redis-cli get mykey my binary safe value $ redis-cli set counter 100 OK $ redis-cliincr counter (integer) 101 $ redis-cliincr counter (integer) 102
  • 17. Use cases • • • • • • Auto complete Message queue Publish/subscribe Notification center Sorting/Ranking Timeline
  • 18. É framework mantidopela Apache Foundation quepermiteprocessamentode grandes volumes de dados distribuídosem um cluster quepodeconteralgumasdezenasoumilhares de nós, ondecadanósexecutaearmazena dados de localmente. Aoinvés de utilizarhardwarescarose com altadisponibilidade, épossívelmontar um cluster Hadoop com qualquertipo de máquinaporquefoidesenhado com estafinalidade.
  • 19. • • • • Hadoop Common Hadoop Distributed File System (HDFS) Hadoop YARN (job scheduling and cluster resource management) HadoopMapReduce (YARN based parallel data processing) • • • • • • • • Ambari (web-based monitoring, management and provisioning) AVRO (data serialization system) Cassandra (multi-master database sem SPF) Hbase (distributed database for structured data and big tables) Hive (datawarehouse infrastructure for data summarization) Pig (data-flow language and execution framework) Mahout (machine learning e data mining) Zookeeper (serviço de coordenaçãoparaaplicaçõesdistribuídas)
  • 20. • • • • Indexação de busca de produtos (Amazon) Sistema de recomendação (Netflix) Analise de logs erelatóriosanalíticos (Facebook) Analise de metadados de arquivos de audio (last.fm) • Pessoasquetalvezvocêconheça (LinkedIn) • Previsão de resultados (Obama)
  • 21. Storm Sistemadistribuído de processamento de dados em tempo real a partir de “streams” de dados. Umatopologia Storm consume “streams” de dados realizandoprocessamentoscomplexosdestasinfor mações, reparticionandoestes dados emdiversarfases de processamento de acordo com a necessidade do resultado final.
  • 22. Storm Use Cases • • • • • • Twitter Groupon Rubicon Project Full Contact Alibaba Mercado Livre
  • 23. Storm Architecture
  • 24. Storm Concepts • Topologies (grafos de transformações de dados compostopornósquepodem ser “spouts” ou “bolts”) • Streams (compostosporfontes de dados eprocessadores de dados) • Data Models (definição dos camposetipos de dados do resultado final)
  • 25. Storm Topology
  • 26. Storm Topology TopologyBuilder builder = new TopologyBuilder(); builder.setSpout("sentences", new RandomSentenceSpout(), 5); builder.setBolt("split", new SplitSentence(), 8) .shuffleGrouping("sentences"); builder.setBolt("count", new WordCount(), 12) .fieldsGrouping("split", new Fields("word"));
  • 27. That’s all, folks!
  • Search
    Related Search
    We Need Your Support
    Thank you for visiting our website and your interest in our free products and services. We are nonprofit website to share and download documents. To the running of this website, we need your help to support us.

    Thanks to everyone for your continued support.

    No, Thanks