Devops trends from MongoDB and Grafana. Update #2

… My experiment continues here!

Advertisements

Devops trends from MongoDB, Grafana and spammed mailbox. Update #1

Hi all!

this is the first update from my new Big data experimental project…

How can I be updated with devops trend technologies without reading tons of blog?

I started to collect raw data from Twitter timeline and Gmail spammed mailbox that receives messages from websites for job seekers and others like Stack Exchange…

This is the result and the first day of data collecting…I am curious to see what happens with tons of data and some adjustments…

Link to Grafana dashboard

http://www.congruit.io/

screen-shot-2017-03-06-at-11-11-20

Docker containers high availability using Congruit

Congruit cannot be cool if it does not control Docker containers. From today it does! At moment is still an experimental feature but it seems to work fine.

logomakr_9879lg

Start Congruit in friend mode

congruit -debug -friend -token \

foobar -debug \

-gitrepo https://github.com/Congruit/example-stockroom.git \

-ssl_cert /vagrant/insecure-domain.crt  \

-ssl_key /vagrant/insecure-domain.key

With these arguments your Congruit instance starts and waits for a work to do…

screen-shot-2017-01-04-at-22-18-51

Start Congruit in Supervisor mode..

Supervisor mode is used to control Congruit “friends” via HTTPS.

-gitrepo https://github.com/Congruit/stockroom-docker-clu-controller.git  


-supervisor  -debug

You can find instructions to start and monitor two Docker containers here.

You will find an example of the workplace for managing Dockers in a Linux Centos7 down below:

[
 {
 "places": ["centos7" , "docker_is_not_installed"],
 "works": ["docker_package_yum"]
 },
 {
 "places": ["docker_is_not_running_systemd"],
 "works": ["docker_start_systemd"]
 },
 {
 "places": ["docker_tomcat_image_is_not_present"],
 "works": ["docker_pull_tomcat"]
 },
 {
 "places": ["everywhere", "docker_tomcat_is_not_running"],
 "works": ["run_tomcat_docker"]
 }
]

Anno nuovo, configuration management nuovo…

Buon anno a tutti i lettori di devopsrecipes.info 🙂

Qualche giorno fa, approfittando dell’apparente calma lavorativa tipica delle feste natalizie, ho deciso di studiare GO (https://golang.org/).

Molto figo, ma soprattutto, usare i puntatori mi ha fatto tornare indietro nel tempo quando “smanettavo” pesantemente in C.

Quel che è uscito fuori, tra un pò i programmi pieni di “foo” e “foobar” senza senso, è stato Congruit. Un nuovo configuration management tool scritto in GO ma che opera prettamente in Bash…

Link al repo Github

logomakr_9879lg

Naturalmente è molto minimale ma ha un non so che di “Bash” che lo colora molto di Sys-admin.

Diciamo che nell’ottica Devops è un pò più Ops. Pull request al repo sono benvenute 😉

Saluti

Cluster Liferay? Vagrant up @ Liferay Symposium Italy 2016

Salve a tutti,

dopo ormai svariati anni che lavoro sulle metodologie Devops, con una particolare attenzione al configuration management, penso sempre che alcune tecniche non possano più stupire/interessare una platea di persone altamente specializzate.

Invece il feedback di quanto mostrato oggi, al Liferay Symposium 2016 tenutosi a Milano, è stato molto positivo ( grazie anche alla spettacolare partecipazione di Alessio Biancalana aka dottorblaster http://dottorblaster.it/ e Claudio Umana ).

Di cosa si è parlato?

Il tema era molto semplice, come dare agli sviluppatori la possibilità di tirare su un cluster Liferay in pochi minuti.

Effetto demo… dovevo avere un exit strategy nel caso in cui la demo si rompesse.. Eccolo qui:

https://www.youtube.com/watch?v=VofvrMGaBqc

Tool Devops utilizzati?

Ho optato per, un ormai consolidato binomio, Vagrant + Chef.

L’architettura?

Ormai, in azienda, sanno tutti che sono un fan di Ha-Proxy per cui l’ho posizionato davanti a tutto.

clustat

Screen Shot 2016-11-09 at 19.48.04.png

Sotto, i due backend Apache Tomcat con la versione enterprise di Liferay Portal 6.2 EE sp14, che comunicano tramite multicast.

default.admin.password=liferay
default.admin.screen.name=Admin
default.admin.email.address.prefix=admin
default.admin.first.name=Test
default.admin.last.name=Test
setup.wizard.enabled=false
users.reminder.queries.enabled=false
terms.of.use.required=false

web.server.display.node=true
org.quartz.jobStore.isClustered=true

cluster.link.enabled=true
ehcache.cluster.link.replication.enabled=true
lucene.replicate.write=true
net.sf.ehcache.configurationResourceName=/ehcache/hibernate-clustered.xml
ehcache.multi.vm.config.location=/ehcache/liferay-multi-vm-clustered.xml

dl.store.impl=com.liferay.portlet.documentlibrary.store.AdvancedFileSystemStore
dl.store.file.system.root.dir=<%=node[‘sourcesense_liferay’][‘data_nfs_mount’]%>/document_library

cluster.link.autodetect.address=192.168.50.4:3306

jdbc.default.driverClassName=com.mysql.jdbc.Driver
jdbc.default.url=jdbc:mysql://<%=node[‘sourcesense_mysql’][‘db_host’]%>/<%=node[‘sourcesense_mysql’][‘database’]%>?useUniCode=true&characterEncoding=UTF-8&useFastDateParsing=false
jdbc.default.username=<%=node[‘sourcesense_mysql’][‘dbuser’]%>

Sotto ancora, una macchina con NFS per il disco dati condiviso, e Mysql Server.

Ho versionato il tutto su https://github.com/lucky-sideburn/demo-liferay  dichiarando nel Vagrantfile, nodi come questo:

liferaynode01.vm.provision :chef_solo do |chef|
chef.roles_path = ‘./chef/roles’
chef.data_bags_path = ‘./chef/data_bags’
chef.run_list = [
‘role[java]’,
‘recipe[sourcesense_liferay]’
]
end

 Il codice usato per la demo lo trovate qui:

https://github.com/lucky-sideburn/demo-liferay

Sarebbe bello scorporare i vari cookbook e condividerli nella community Chef 🙂 Per cui prendetene e cheffizzatene tutti!

ciao!

A simple recipe for MongoDB clusters

Hi everybody!

my task of today, was to configure a MongoDB with redundancy and high availability…

I decided to write my own Chef cookbook to configure “replica”

Below the most important parts:

Install MongoDB packages

Screen Shot 2016-10-14 at 21.13.03.png

Use template for the main configuration file

screen-shot-2016-10-14-at-21-15-04

Enable Linux service of MongoDB at the boot

screen-shot-2016-10-14-at-21-15-57

What about the replica’s configuration?

I suggest to use a custom LWRP that execute rs.initiate() to declare the replica set, rs.add(); to add primary and secondary servers, rs.addArb() to add arbiter servers. You can loop over hashes like this:

foobar => { “secondaries” => [“mynode01:27017″,”mynode02:27017”]}

and a Chef provider like this

screen-shot-2016-11-09-at-21-38-31

I need to test my cluster, so let’s prepare a Vagrant file like this in order to manage all virtual machines concurrently

screen-shot-2016-10-14-at-21-23-16

Finally, Haproxy as reverse proxy and load balancer! Use autodiscovery (https://github.com/hw-cookbooks/haproxy) in order to find automatically the backends and “health check” to point to the right node after a new primary server’s promotion.

screen-shot-2016-10-14-at-21-25-20

 

Ad maiora!

Come costruire un sistema anti-intrusione con notifica su HipChat

Salve a tutti i lettori di devopsrecipes.info!

è da un po’ di tempo che volevo dare un’occhiata alla libreria OpenCV ( in particolare per la parte di face detection e video streaming capture da webcam ) e perchè no, montiamo il tutto su un Raspberry Pi!

Questo è quello che è venuto fuori 🙂

img_20160908_201751

Di seguito, il video di un test casalingo ( appena viene puntata la webcam su un volto umano, scatta subito la notifica verso HipChat )

How to

Procuratevi le seguenti cose:

  1. un Rasperry Pi
  2. una webcam
  3. una chiavetta USB wireless ( insomma… fate in modo che il vostro Raspberry esca su internet )

Una volta recuperati tutti gli oggetti…

  1. Installate OpenCV sul Raspberry. Se state utilizzando Raspbian potete anche installare i pacchetti libopencv-dev python-opencv senza dover compilare.
  2. Potete prendere come esempio FaceDetection in cui troverete uno script in Python con un pò di commenti utili e uno script shell per inviare i messaggi su HipChat.
  3. Se usate il send_message.sh, inserite ROOM_ID e AUTH_TOKEN corretti.
  4. Lanciate face.py ed il gioco è fatto. Commentate cv2.imshow(frame,gray) nel caso in cui non abbiate interfaccia grafica, oppure esportate il display su un altro computer per fare tutte le prove necessarie.

Link Utili:

Un getting started su come leggere lo stream video della vostra webcam

Un tutorial su come eseguire “face detection” con OpenCV

 

Saluti!