Consejos de Tecnología

Python vs. Web Scraping tool para rastrear las proyecciones de Fantasy Football

El Fantasy Football es un juego de nerds. Al decir esto, no hay manera de que puedas ganar el campeonato sin estudiarlo. Así es como el raspado de telarañas es útil. En este tutorial, aprenderás a construir una herramienta de web scraping para realizar el trabajo.

Ahora puedes curar datos valiosos de forma automática en una hoja de cálculo rápidamente. En lugar de buscar las estadísticas de varias fuentes copiando y pegando, esto es mucho más fácil y rápido.

 

 

¿Por qué el Web Scraping?

De acuerdo con el informe, los jugadores promedio pasarán 3 horas cada semana para manejar sus equipos, y 9 horas adicionales están leyendo sobre las tendencias. Alrededor del 30% de los jugadores están dirigiendo sus equipos durante sus trabajos diarios.

Toneladas de información están bajo la punta de sus dedos. Hacer una predicción precisa del rendimiento de los jugadores del equipo es difícil. ¿Cómo puedes elegir a los jugadores de segundo nivel y obtener un resultado de primer nivel? Necesitas seguir las estadísticas del juego y encontrar valores ocultos.

 

¿Qué es el Web Scraping?

El Web scraping es la técnica para automatizar el proceso de extracción de datos de los sitios web. Tradicionalmente, se necesita un programador para realizar el script.

Por ahora, una herramienta de web scraping sustituye el trabajo de codificación. El scraping ya no es un privilegio del programador. Cualquiera puede extraer información valiosa de Internet y guardarla en un almacenamiento local o en la nube.

En este artículo, te explicaré cómo extraer puntos de proyecciones de fútbol fantasía de sitios web de deportes como fantasypros.com con una herramienta de web scraping.

No es necesario documentar toda la página. Puedes ser aún más creativo, y conseguir una ventaja haciendo una comparación lado a lado con los equipos del oponente para un análisis completo.

A continuación, lo comparamos con el script de Python. De esta forma, tendrás una idea de lo fácil que es para todos nosotros, especialmente para los jugadores de Fantasy football, hacer un seguimiento de las estadísticas.

Aviso de responsabilidad: Soy nuevo en el Fantasy Football. Este artículo no proporciona consejos profesionales en el borrador de estrategias. En su lugar, se trata de una pieza de intercambio de conocimientos desde una perspectiva estadística.

 

Web Scraping con Octoparse

Prerrequisitos:

Octoparse una herramienta de web scraping muy intuitiva. Me ayuda a cumplir con muchos obstáculos en los proyectos de análisis de datos. Es la mejor del mercado. Puedes descargarla aquí.

Crear un proyecto:

Abra Octoparse, y haga clic en el pequeño signo más para construir una nueva tarea con el Modelo Avanzado. Introduzca la URL y Octoparse abrirá la página web con el navegador incorporado. Podemos interactuar y extraer los datos haciendo clic en la página.

Primero, haga clic en el reproductor en la primera fila. Note, que Octoparse par sea la página web en elementos individuales. Encontró elementos similares y los resaltó en rojo.

Website elements

Esto es genial. Sigue el consejo de acción y haz clic en “seleccionar todos los sub elementos”. Se ha seleccionado toda la línea. Octoparse le recordará entonces que encontró filas similares que están listas para ser seleccionadas. Siga la guía, haga clic en “Seleccionar todo”.

Extract elements

Note que, todas las filas ahora están seleccionadas exitosamente y resaltadas en verde.

Extract data

A continuación, haga clic en “Extraer datos en el ciclo”. ¡Felicitaciones! Completaste un crawler. [Descarga el crawler]

Por último, pero no menos importante, guarde la tarea e inicie la extracción en sus opciones de tipos de extracción. Puede extraer localmente, en la nube, o establecer un programa. En este caso, recomiendo encarecidamente establecer un programa. El rastreador raspará los sitios web a tiempo. De esta manera, usted siempre se mantendrá actualizado.

Los datos extraídos serán entregados en forma de formatos estructurados, incluyendo Excel, txt y JSON. Como necesitamos analizar los puntos, los exporto a Excel, y se ve así.

Export extracted data to Excel

Web Scraping con Python

Puedes leer el trabajo completo de Python aquí. Desglosé el proceso en unos pocos pasos:

  1. Navega a la página deseada y copia la URL para usarla más tarde.
  2. Usa las peticiones de Python y los paquetes bs4 (Beautiful Soup) para obtener la página web completa en formato de sintaxis HTML.
    import re
    
    import requests
    
    def get_html_data(url):
    
        response = requests.get(url)
    
        return BeautifulSoup(response.content, "html5lib")
  3. Examine el código HTML cuidadosamente para encontrar dónde están los datos que quiere extraer. En este caso, buscamos “TR” (Table Row)
  4. Localice qué identificadores únicos como los enlaces href, nombres de clase, filas de tablas y datos de tablas rodean los datos que desea.
  5. Intente extraer diferentes campos de una sola fila de datos
  6. Pasa por unas cuantas iteraciones de prueba y error.
  7. Regular los formatos de datos (A medida que extraemos los datos en bruto, es posible que los datos tengan un aspecto divertido con formatos extraños. Es necesario limpiar los formatos de los caracteres y hacerlos consistentes y legibles).

Format data

En conclusión

Las proyecciones deportivas de Web scraping son rápidas y fáciles. Sin embargo, con una herramienta de web scraping, usted realiza todo el proceso con simples clics. Pasé una hora leyendo la documentación de Beautiful Soup, experimentando cómo localizar los campos precisos y escribiendo código Python.

Sin embargo, pasé menos de 10 minutos para configurar la extracción con Octoparse. La mejor parte es que una vez que tienes el crawler en la mano, puedes establecer un horario, y dejarse automatizar las extracciones.

Para los jugadores, puede monitorear diferentes fuentes de sitios al mismo tiempo estableciendo rastreadores de extracción mucho más fácil:

  • Accuscore
  • CBS – Jamey Eisenberg
  • CBS – Dave Richard
  • CBS – Average
  • ESPN
  • FantasyPros
  • FantasySharks
  • FFtoday
  • FOX Sports
  • com
  • Yahoo

Cuantos más datos recoja, más completo será su análisis. ¡Ahora, usted obtendrá datos de primera mano incluso antes de que las noticias salgan a la luz!

Octoparse está teniendo sus mejores ofertas del Viernes Negro con un 10% de descuento extra en todo el 26 de noviembre. Definitivamente valen la pena unos minutos de su tiempo para comprobar sus productos y ofertas.

Mokhtar Ebrahim
Fundadora de LikeGeeks. Estoy trabajando como administrador de sistemas Linux desde 2010. Soy responsable de mantener, proteger y solucionar problemas de servidores Linux para múltiples clientes de todo el mundo. Me encanta escribir guiones de shell y Python para automatizar mi trabajo.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *