Est. 2025 — Proyecto TFG para IES Aljada
Buscador web con capacidad de indexar y hacer crawling de páginas. Si no encuentra lo que buscas, recurre a la API de DuckDuckGo.
- Indexado directo e inverso en base de datos
- Crawling automático desde 100 enlaces predeterminados (temas variados)
- Si no hay resultados en la base, usa la API de DuckDuckGo y guarda los nuevos enlaces
- Templates básicos para mostrar resultados en navegador
- Poder usar el navegador mientras trabaja la carga dinámica
- Refactorización general del código
- Terminar el "tutorial" de uso
- Crear la base funcional del proyecto
- Mostrar resultados correctamente
- Mejorar los templates
- No sé xd
- Instalar dependencias con
pip install -r requisitos.txt - Ejecutar el proyecto con
python main.py
Crear un buscador web que sea capaz de dar resultados lo más cercanos posible a la búsqueda del usuario.
Queremos desarrollar todo lo que podamos por nuestra cuenta y llegar a tantas páginas como podamos con nuestros propios recursos.
- Desarrollado por: Javier Jesús y Fernando Medina
| Librería / Herramienta | Versión | Descripción breve |
|---|---|---|
| Scrapy | 2.13.0 | Framework para crawling rápido y escalable de sitios web |
| BeautifulSoup4 | 4.13.4 | Librería para parsear y navegar documentos HTML de forma sencilla |
| DuckDuckGo API | - | API que permite realizar búsquedas web sin rastreo |
| Flask | 3.1.1 | Micro-framework web para mostrar los resultados en navegador |
| lxml | 5.4.0 | Analizador XML/HTML muy rápido y eficiente (usado por BeautifulSoup y Scrapy) |
| Parsel | 1.10.0 | Utilidad para extraer datos de HTML/XML (parte de Scrapy) |
| cssselect | 1.3.0 | Permite usar selectores CSS en documentos XML/HTML |
| requests | 2.32.3 | Librería para hacer peticiones HTTP de forma simple |
| Jinja2 | 3.1.6 | Motor de plantillas usado en Flask para generar HTML dinámico |
| Werkzeug | 3.1.3 | Librería WSGI para aplicaciones web en Flask |
| Twisted | 24.11.0 | Librería de red usada por Scrapy para manejo de peticiones asíncronas |
| w3lib | 2.3.1 | Utilidades comunes para el scraping web |
| queuelib | 1.8.0 | Soporte de colas para Scrapy |
| service-identity | 24.2.0 | Verificación de identidad en conexiones seguras |
Ninguno ✅
Este proyecto está licenciado bajo la Licencia DO WHAT THE FUCK YOU WANT TO PUBLIC LICENSE.