Por fin he tenido tiempo de sumergirme un poco más en el mundo del posicionamiento en buscadores y entonces me encuentro con Google Sitemaps. Nada menos que el oráculo que Google ofrece a los webmasters y para ayudar a que nuestros sitios web sean indexados más eficientemente por sus robots indexadores más conocidos como spiders. Desde hace años, todos los manuales de POB que han caído en mis manos coinciden es que la página de 'mapa del sitio' es vital como punto de entrada para los spiders y con el único fin de acelerar el proceso de posicionamiento. Así que manos a la obra...


Para entrar en el juego de Google Sitemaps necesitaremos tener una cuenta de Google a la que añadiremos sitios web y sitemaps - preferentemente estos últimos - que a partir de entonces serán tenidos en cuenta por los robots de indexación o spiders y sobre los que podremos estudiar su estado de indexación, errores (por ej. enlaces rotos) y palabras y frases por las que los usuarios de Google encuentran nuestra web.
Desde luego una información muy valiosa y suculenta para comparar con nuestros resultados de Awstats.

Como crear un sitemap
Tenemos varios mecanismos

** Utilizar el protocolo Sitemap. (Me encanta XML). En este caso necesitamos implementar un sencillo esquema XML conteniendo elementos que enumeran enlaces relativos a nuestro sitio. La descripción de estos se puede extender con otros elementos como la fecha de última modificación, periodicidad de revisión y un índice de prioridad de indexación que nosotros mismos podemos establecer. No olvideis escapar los caracteres especiales.
Os copio un ejemplo:

Para webs especialmente grandes conviene saber que el límite por fichero de sitemap es de <50.000 URLs y <10MB y que existe la posibilidad de fragmentar en múltiples ficheros y crear un índice con elementos 'sitemapindex'.

Podeis consultar las especificaciones completas del protocolo Sitemap
https://www.google.com/webmasters/sitemaps/docs/en/protocol.html

Para comprobar si nuestros nuevos engendros son válidos disponemos de sendos esquemas XSD:
- Validar Sitemaps: http://www.google.com/schemas/sitemap/0.84/sitemap.xsd
- Validar archivos índice Sitemap: http://www.google.com/schemas/sitemap/0.84/siteindex.xsd

En definitiva, el protocolo Sitemap de google me parece un formato muy prometedor que se rige por estándares como:

Uniform Resource Identifier (URI) http://asg.web.cmu.edu/rfc/rfc3986.html
Internationalized Resource Identifiers (IRIs) http://www.ietf.org/rfc/rfc3987.txt
Extensible Markup Language (XML) 1.0 http://www.w3.org/TR/REC-xml/

** Google Sitemap Generator
Si sois perezosos y nos apetece programar, Google pone a vuestra disposición el programa Sitemap Generator que se encargará de explorar recursívamente vuestro sitio web y generar el Sitemap correspondiente. Para ponerlo en marcha necesitais tener Python 2.2 o superior soportado en el servidor web.

Más instrucciones acerca de su uso: http://www.google.com/webmasters/sitemaps/docs/en/sitemap-generator.html

** Otros formatos soportados
Realmente lo tenemos fácil pues Google acepta otros formatos como
- Protocolo OAI-PMH version 2.0, una propuesta de archivos abiertos basado en intercambio de metadatos (http://www.openarchives.org/OAI/openarchivesprotocol.html)
- Feeds de sindicación RSS 2.0 y ATOM 0.3. Ni que decir tiene que son los estandares de facto de la blogosfera.
- Ficheros de texto. Por si alguien todavía lo quiere más fácil: una línea por enlace. Ahora no tenéis disculpa.


Añadir un Sitemap a la lista de sitemaps
Si ya tenemos nuestro flamante índice, lo normal es mantenerlo en el root de nuestra web como sitemap.xml y a continuación podemos darlo de alta desde https://www.google.com/webmasters/sitemaps/siteoverview, un sencillo panel de control que nos revelará lo que Google sabe acerca de nuestra web.

Para que Google esté seguro de que realmente somos el webmaster del sitio que acabamos de añadir, nos pedirá que subamos un archivo vacío con un nombre creado exclusívamente para nosotros. Una vez verificado podremos acceder a la valiosa información siempre que lo deseemos. Algunas de las entradas son:

- Enlaces a nuestro sitio
- Páginas indexadas por Google de nuestro sitio
- Última página caché almacenada
- El Pagerank de nuestras páginas
- La página con el PageRank más alto
- Enlaces inexistentes a nuestra web
- Tipo de contenido
- Codificación
- Palabras más frecuentes
- Páginas que Google considera similares a la nuestra
- Análisis del fichero robots.txt
(...)

La información proporcionada no tiene desperdicio. Teneis instrucciones detalladas acerca de como entender las estadísticas ofrecidas por Google sitemaps en: http://www.google.com/webmasters/sitemaps/docs/en/stats.html

Os dejo una pregunta en el aire ¿existe algo parecido en MSN o Yahoo?
Ya tengo en mente crear un módulo para mi Xoops que genere un archivo basado en el protocolo Sitemap.

Encontré Google Sitemaps vía www.webtaller.com