Open Source – Business Intelligence by Enric Biosca

Arquitectura Wikipedia

juny 4 2008 per Enric in General |No Comments

Seguint en la línia del post anterior avui parlarem de l’arquitectura de la wikipedia.

Arquitectura d’accés al servei per part dels usuaris

Els usuaris accedeixen a través del navegador a la URL http://wikipedia.org. Es tracta d’un sistema distribuït i per tal de servir les peticions té un sistema que redirecciona cap al servidor geogràficament més proper al usuari.
Existeix també un LVS (Linux Virtual Service) que permet fer balanceig de càrrega dels diferents servidors.Aquest component serveix en totes les capes de l’arquitectura així doncs gestiona el tràfic entre els usuaris i el CDN,entre el CDN i l’aplicació en sí de la wikipedia, i entre l’aplicació i la cerca de continguts.

Difusió del contingut
Per tal de fer la difusió del contingut utilitzen un sistema de CDN (Xarxa de difusió de continguts) que permet gestionar els continguts, invalidar les pàgines i mantenir les copies a la memòria cau d’una forma senzilla. El sistema té nodes que fan de front-end i interactuen amb el client i nodes que serveixen per gestionar tràfic intern.
L´’arquitectura del lloc web, està basada en programari lliure i en especial fan un ús exhaustiu de l’arquitectura LAMP (Linux+ Apache+ MySQL +PHP o PERL).

Dimensionat i escalabilitat
Actualment l’aplicació deu tenir al voltant dels 400 servidors. Les dades que hem trobat per internet (del 2006) indicaven que disposaven de 349 màquines repartides en 3 continents

300 a flòrida (EE.UU)
26 a Amsterdam (Europa)
23 a Korea (Àsia)

Això ens dona una idea del tràfic i contingut que emmagatzema aquesta web.
Pel que fa a l’escalabilitat veiem també que al 2004 van comprar 39 servidors nous, 129 al 2005 i almenys 30 servidors més el 2006.

Utilitzen apache amb SQUID com a servidor proxy-cache.

En els dibuixos podeu veure l’arquitectura del CDN i del site en general.