Escribimos una herramienta que compite con Screaming Frog, así que cualquier comparativa que publiquemos es sospechosa por definición. Lo asumimos. Lo que puedes hacer es comprobar los números tú mismo, y para eso hace falta que digamos cómo se midieron.
Empecemos por lo que más nos costó aceptar.
Sin licencia solo puedes comparar 500 URLs
Screaming Frog tiene un tope de 500 URLs por rastreo en su versión gratuita. La licencia cuesta 199 libras al año. Nosotros teníamos una y la dejamos caducar, así que todas las comparaciones de este artículo están hechas contra la versión limitada.
Eso condiciona lo que se puede afirmar. Cualquiera que te enseñe una comparativa de velocidad sobre un sitio de 100.000 URLs contra la versión gratuita te está vendiendo humo, porque la versión gratuita no rastrea 100.000 URLs.
Lo que sí se puede comparar sin licencia, y es lo que de verdad importa, es la extracción.
Las mismas 300 URLs a las dos
Las dos herramientas tienen modo lista. Le das un fichero con URLs y rastrea exactamente esas, ni una más. Eso hace la prueba justa: si comparas rastreando, cada una decide por dónde empieza y qué sigue, y acabas comparando dos recorridos en vez de dos extracciones.
Cogimos 300 URLs de colorvivo.com, todas con estado 200 y tipo HTML:
sqlite3 crawl.sqlite "SELECT url FROM urls WHERE is_internal=1
AND status_code=200 AND content_type LIKE 'text/html%'
ORDER BY url LIMIT 300;" > lista.txt
crawlforge list lista.txt --out cf.sqlite
"/Applications/Screaming Frog SEO Spider.app/Contents/MacOS/ScreamingFrogSEOSpiderLauncher" \
--crawl-list "$PWD/lista.txt" --headless \
--output-folder "$PWD/sf" --export-tabs "Internal:All" --overwriteEl modo headless de Screaming Frog funciona con la app abierta, pero exige rutas absolutas. Perdimos diez minutos con eso.
Después comparamos seis campos por URL: código de estado, título, meta description, H1, canonical e indexabilidad. Mil ochocientas comparaciones.
El resultado: una diferencia
OK estado 0 de 300
OK título 0 de 300
OK descripción 0 de 300
≠ h1 1 de 300
OK canonical 0 de 300
OK indexabilidad 0 de 300Una. Y era nuestra.
El H1 de la portada era este:
<h1>Agencia Especializada en WordPress<br />con +25 años</h1>Nosotros devolvíamos WordPresscon. El <br> parte el contenido en dos nodos de texto y los
estábamos pegando sin separador. Screaming Frog lo hacía bien.
Un fallo de una línea que llevaba ahí desde el principio, invisible para 810 tests, porque un rastreo propio no tiene con qué comparar el resultado. Lo arreglamos esa misma tarde y repetimos la prueba: cero diferencias en 1.800 comparaciones.
Esa es la conclusión que nos interesa de verdad, y no es la que suele ponerse en una comparativa: extraen lo mismo. Si estás pensando en cambiar de herramienta, lo primero que necesitas saber es que los datos van a coincidir.
Velocidad, con todas las reservas
En esas mismas 300 URLs, CrawlForge tardó 12,7 segundos y Screaming Frog 16,7. Parte de esa diferencia es el arranque de la máquina virtual de Java.
No vamos a convertir eso en un titular. Son 300 URLs de un sitio con Cloudflare delante, medidas una vez, en un MacBook concreto. La red domina el resultado y cualquier comparación seria necesitaría muchas más pasadas y varios sujetos.
Donde la diferencia sí importa es en otra métrica.
La memoria, que es el argumento de verdad
Screaming Frog tiene dos modos de almacenamiento. Por defecto guarda el rastreo en memoria, que es rápido y tiene un techo claro: con la configuración estándar, unas 500.000 URLs si le das bastante RAM. El modo de base de datos levanta ese techo a costa de velocidad.
Nosotros solo tenemos un modo, y no es configurable: cada rastreo es un fichero SQLite. La consecuencia es que la memoria no crece con el tamaño del sitio.
En un rastreo completo de un medio con quince años de archivo —487.621 URLs, 4,4 millones de imágenes, un fichero de 5,3 GB— la memoria del proceso se quedó en 202 MB. Subió a 259 MB en el momento de máxima cola pendiente, con 155.000 URLs esperando, y bajó a 123 MB cuando la cola se vació.
Es un dato que se puede reproducir: rastrea un sitio grande y mira el Monitor de Actividad.
Lo que Screaming Frog hace mejor
Esta es la parte que hace útil una comparativa.
La interfaz. La nuestra no existe. CrawlForge es hoy línea de comandos, y para mucha gente eso es motivo suficiente para no mirarlo. Screaming Frog lleva quince años puliendo una interfaz donde filtras, ordenas y haces clic en una URL para ver sus enlaces entrantes.
El catálogo. Nosotros tenemos 59 reglas. Ellos comprueban bastantes más cosas, y algunas que nosotros no cubrimos son importantes: renderizado JavaScript, análisis de velocidad de carga, extracción personalizada con XPath.
Las integraciones. Search Console, Analytics, PageSpeed Insights, Majestic, Ahrefs. Enganchar datos de esas fuentes a un rastreo cambia lo que puedes concluir. Nosotros no tenemos ninguna.
La comunidad. Cualquier duda que se te ocurra ya la ha tenido alguien y hay un tutorial. Con nosotros estás solo, o preguntas.
El renderizado. Un sitio que monta el contenido con JavaScript se ve vacío en CrawlForge. Está previsto y no existe.
Lo que nosotros hacemos mejor
Comparar dos rastreos. Es la razón por la que existe la herramienta. Screaming Frog tiene comparación de rastreos en su versión de pago, y funciona, pero está pensada para mirar dos auditorías, no para convertirse en rutina sobre una cartera.
Encajar en un pipeline. crawlforge diff --fail-on high sale con código distinto de cero si un
despliegue introduce algo grave. Auditar la carpeta compilada antes de publicar no toca la red y
tarda segundos.
El fichero abierto. Un rastreo es un SQLite normal. Cualquier pregunta que el informe no responda, la responde SQL. Sin exportar nada.
El precio. El motor y la línea de comandos son Apache 2.0. Gratis, y con el código a la vista para que puedas comprobar qué hace con las credenciales que le das.
A quién le sirve cada una
Si auditas sitios de vez en cuando, quieres interfaz gráfica y valoras un catálogo amplio con integraciones, Screaming Frog es mejor herramienta y las 199 libras se amortizan rápido. Lo decimos habiéndola pagado durante años.
Si llevas muchos sitios, los revisas de forma repetida y lo que necesitas es saber qué se movió desde la última vez, prueba lo nuestro. Y si lo que quieres es meter una comprobación de SEO técnico en tu integración continua, ahí creemos que hoy no hay mucha competencia.
Lo razonable, si estás en el segundo caso, es tener las dos. Nosotros seguimos con Screaming Frog instalado.