Caut o solutie pentru un site de dimensiune medie/mare (~5M pagini), solutie care sa-mi permita sa creez intr-un timp relativ scurt (cateva ore, o zi maxim) un full sitemap (xml, txt, gz) pentru site-ul respectiv.Pana acum solutiile gasite de mine sunt fie prea costisitoare din punct de vedere al resurselor folosite, fie prea lente.

1. GSite Crawler – este super ok la site-urile de dimensiune mica pana in cateva mii de pagini. Cand numarul de pagini trece de 40-50.000 incepe sa consume prea multe resurse si scanarea paginilor dureaza prea mult. Foloseste o baza de date creata in MS Access, solutia de compresare nu prea ofera eficienta atunci cand vorbim de site-uri de dimensiune medie – peste 50.000 de pagini.
2 A1 Sitemap Generator – este ok si acesta, pana la un anumit numar de link-uri pentru un site, dupa ce trece de un numar (la mine a fost 150.000 de pagini) incepe si acesta sa se blocheze, sa mearga incet samd. Astfel, scanarea unui site de 300.000 de pagini dureaza cam 7 zile. mult. La site-uri de dimensiune mica isi merita banii insa, este cam de 2-3 ori mai rapid decat celelalte
3.  Inspyder Sitemap Generator 2.0 - poate cel mai frumos ambalat program de creare a sitemap-urilor dar in acelasi timp si cel mai bullshit one – lucreaza greu, downloadeaza grafica, indexeaza fisiere diferite, nu recunoaste extensii web. Se misca cam de 1.5 ori mai greu decat GSite Crawler, consuma minim 2G Ram atunci cand ruleaza in full.

Am vrut sa apelez la solutii generate inhouse, dar datorita folosirii mai multor parametri in generarea paginilor am ales sa caut o solutie profesionala – idea fiind indexarea acestora si de catre google news, iar last scan pentru pagini in xml trebuie sa fie mai nou de 72 de ore in cazul acesta.

Asa ca inca caut solutii, idei sau sfaturi … ?

Sursa poza

Tags: generare sitemap, site-uri mari sitemap, sitemap