Enterprise E-Commerce Data Pipeline
Scraping a gran escala de 40+ sitios de fabricantes para alimentar un e-commerce central
Un pipeline de ingeniería de datos masivo desarrollado para alimentar un e-commerce con inventario de más de 30 marcas. El proceso consistió en dos fases: primero, ingeniería inversa de las APIs privadas (red/XHR) de un proveedor central para obtener el catálogo base a alta velocidad. Segundo, la creación de scrapers dinámicos (1 a 3 diarios) que navegaban los sitios oficiales de los fabricantes, evadiendo protecciones anti-bot mediante inyección JS, para extraer especificaciones enriquecidas e imágenes. La complejidad de normalizar miles de productos ambiguos extraídos fue lo que me inspiró a crear el sistema CSV Analyst con IA.
Características Principales
Análisis de red (XHR) para interceptar respuestas JSON y extraer datos base masivamente
Scripts adaptables por sitio, inyección de JS y control de navegador para saltar protecciones
Limpieza, formateo y normalización automática para importación directa en WooCommerce
Extracción Base a Escala
El proveedor central tenía un inventario inmenso protegido tras una interfaz web lenta.
Ingeniería inversa usando DevTools para interceptar las llamadas API y obtener los JSON puros.
40+ Sitios Distintos
Cada fabricante oficial tenía una estructura web, protecciones y formatos diferentes.
Desarrollo ágil de 1-3 scrapers adaptables por día, usando selectores dinámicos y Selenium.
El Origen de CSV Analyst
Los datos venían con formatos ambiguos imposibles de mapear con reglas tradicionales.
Esto evidenció la necesidad de IA para categorización, naciendo así el sistema CSV Analyst.