]EhddlZddlZddlZddlmZddlZddlmZddlZddlZejejjGddZ y)N)html) rut_chilecveZdZdZdZdZdZddZddZdZ dZ dd Z dd Z d Z d Zd ZddZdZdZy) ScrapperClassc ||_d|_tj|_d|j_|jj jdddddddy) NFzoMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36zJtext/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8zes-CL,es;q=0.9,en;q=0.8zgzip, deflate, brz keep-alive1)z User-AgentAcceptzAccept-LanguagezAccept-Encoding ConnectionzUpgrade-Insecure-Requests)dbdriverrequestsSessionsessionverifyheadersupdate)selfr s N/var/www/intrajisbackend.com/public_html/app/backend/classes/scrapper_class.py__init__zScrapperClass.__init__sb  '') #  ##Lb82&), %  c t}|jd|jd|jd|jddg|jddtt j }t j|||_|jjd y #t$r}td |Yd }~yd }~wwxYw) zConfigurar el driver de Chromez --no-sandboxz--disable-dev-shm-usagez---disable-blink-features=AutomationControlledexcludeSwitcheszenable-automationuseAutomationExtensionF)serviceoptionszEObject.defineProperty(navigator, 'webdriver', {get: () => undefined})TzError configurando driver: N) Options add_argumentadd_experimental_optionServiceChromeDriverManagerinstall webdriverChromer execute_script Exceptionprint)rchrome_optionsres r setup_driverzScrapperClass.setup_driver s $YN  ' ' 7  ' '(A B  ' '(W X  2 23DGZF[ \  2 23KU S13;;=>G#**7N*SDK KK & &'n o  /s3 4 sB:B== CCCc |jjtjd}|jj d|}t j |}tjtj|}|jdtd|S#t$r}td|Yd}~yd}~wwxYw)zExtraer la imagen del captcha imgCaptchaak var canvas = document.createElement('canvas'); var ctx = canvas.getContext('2d'); var img = arguments[0]; canvas.width = img.width; canvas.height = img.height; ctx.drawImage(img, 0, 0); return canvas.toDataURL('image/png').substring(22); zcaptcha_image.pngz4Imagen del captcha guardada como 'captcha_image.png'zError al obtener captcha: N)r find_elementByIDr$base64 b64decodeImageopenioBytesIOsaver&r%)r captcha_img img_base64img_dataimgr(s rget_captcha_imagezScrapperClass.get_captcha_image5s ++22255,GK335J'' 3H**RZZ12C HH( ) H IJ  .qc2 3 sB B## C,B??Cc |jtdy#t$r}td|Yd}~yd}~wwxYw)z7Resolver captcha manualmente (usuario ingresa el valor)u4CAPTCHA DETECTADO - Se requiere intervención manualNzError al resolver captcha: )r:r&r%)rr(s rsolve_captcha_manualz"ScrapperClass.solve_captcha_manualTsF   " " $ H I   /s3 4 s ?:?c |d|}dd|dddd|ddd d |d dg}|D]} td |d d|d|jj|d|ddd}|jdk(r` |j }|r8|jds9|jds(|jdst t |dkDrdd|d jjddtjd||jd||jd|jdd|jdd|jdd|jd d|jd!dd"|jd#g|jd$g|d%}td&|d |cStd'|d d(td'|d d*|jdd/d0|d1d2S#tj$rtd'|d d)YwxYw#tjj$rtd'|d d+|dd,Y>tjj$r} td'|d d-| Yd.} ~ td.} ~ wwxYw#t $r"} dd3d4t | |d|d5cYd.} ~ Sd.} ~ wwxYw)6u$ Obtener datos del cliente usando APIs externas con múltiples fallbacks Args: rut_sin_dv (str): RUT sin dígito verificador dv (str): Dígito verificador Returns: dict: Datos del cliente desde API externa -zSIIChile Herokuz,https://siichile.herokuapp.com/consulta?rut=)nameurltimeoutzRUT API Alternativez8https://api.libredte.cl/utilidades/contribuyentes/datos/ z SII Mirrorz+http://siichile.herokuapp.com/consulta?rut=u🌐 Probando r@: rArBFT)rBrallow_redirectsrut razon_socialnombre2 external_api_ _%Y-%m-%d %H:%M:%Sempresa_menor_tamanoaut_moneda_extranjerainicio_actividadesfecha_inicio_actividades)rH business_name small_companyforeign_currency_authactivities_start start_date actividadesdocumentos_timbrados)successmethod timestamp rut_consultedcontributor_dataeconomic_activitiesstamped_documents raw_responseu$✅ Datos obtenidos exitosamente de u❌ u: Datos inválidos o vacíosu: Respuesta no es JSON válidoz: HTTP u: Timeout después de su: Error de conexión: Nexternal_api_failedz1All external APIs failed or returned invalid dataz(Try again later or use direct SII method)r\r]errorr_recommendation api_externaz"Error conectando con API externa: r\r]rfrut_consultado)r&rget status_codejsonlenstrlowerreplacetimestrftimeJSONDecodeErrorr exceptionsTimeoutRequestExceptionr%) r rut_sin_dvdv rut_completo apis_to_try api_configresponsedataresultr(s rget_customer_data_via_apiz'ScrapperClass.get_customer_data_via_apigscc (\2$/L .I,X! 2UVbUcd! )HW!K$*<  ;N:f+=*>bEAR@STU#||//"5) *9 5$(, 0 H ++s2%%#+==?D $ $ $ 8 $ 2 #CI 3040=j>P>V>V>X>`>`adfi>j=k.l15?R1S5A/3xx|/L9=.RVRZRZ[cegRh9i9=BXZ\9]AEJaceAf<@HHEY[]<^6:hh?Y[]6^ 9&<@88MSU;V9=BXZ\9]48*"$!&(LZX^M_L`&a b'- %Z-?,@@\&] ^ (Z%7$8@T@T?UVW k< @!/L!-"L  ! $33%!DF);(<u#🎯 Consultando SII directamente: F sii_directou RUT inválidori+🔐 Obteniendo captcha automáticamente...zNo se pudo obtener el captcha✅ Captcha obtenido: codeSTCNORcaptcha)RUTDVPRGOPCtxt_code txt_captchau 📡 Enviando consulta al SII...z&https://zeus.sii.cl/cvc_cgi/stc/getstc)r~rBrGz Error HTTP: u+✅ Respuesta recibida, extrayendo datos...r\#🎉 Datos extraídos exitosamente!u📋 Razón Social: datos_contribuyenterIzN/Au📋 Actividades: actividades_economicasu#❌ Error en consulta directa SII: uError de conexión: N)r&r is_valid_rut fetch_captchar postrlr fromstringtextextract_sii_direct_datarkrnr%ro) rrxryrz captcha_datar~r}tree result_datar(s rget_customer_data_direct_siiz*ScrapperClass.get_customer_data_direct_siisF (\2$/L 7 ~F G)),7$+,&2  ? @--/L$+<&2  *<+?*@A B"(0+I6 D 4 5}}%MTXbdeH##s*$++H,@,@+AB&2  ? @??8==1D66t\JKy);<,[__=RTV-W-[-[\jlq-r,stu*3{?WY[/\+]*^_`   7Ax@ A '/Ax8%/L""6   s00E,#E,A%E,=B.E,, F.5.F)#F.)F.c tdddg}|D]} |jj|ddiddd }|jd k(rQ|j }t j |d d d j}td|||d dcStd|jd|tdy#tjj$r}td|d|Yd}~d}~wtjj$r}td|d|Yd}~d}~wwxYw#t$r}td|Yd}~yd}~wwxYw)u Obtener captcha automáticamente desde la API del SII con manejo robusto de SSL Returns: dict: Datos del captcha con código y token rz0https://zeus.sii.cl/cvc_cgi/stc/CViewCaptcha.cgiz/http://zeus.sii.cl/cvc_cgi/stc/CViewCaptcha.cgioperrr?FT)r~rBrrFrG txtCaptcha$(r)rru❌ Error HTTP z en u❌ Error SSL en rENu❌ Error de conexión en u-❌ No se pudo obtener captcha de ninguna URLu%❌ Error crítico en fetch_captcha: ) r&rrrlrmr/r0decoder ruSSLErrorrwr%) r urls_to_tryrAr}r~ captcha_codessl_errreq_errr(s rrzScrapperClass.fetch_captcha*s0  ? @CAK # #||00$a[ "$(, 1 H ++s2'}}(.'7'7\8J'KBr'R'Y'Y'[  6|nEF$0'+L'9  0D0D/ET#OP 1 D A B **33-cU"WI>?**;;6se2gYGH  9!= > s_D4A?CD4C4 D4D1C50D45 D1D,&D4,D11D44 E=EEc 2 d}d}|j|}|r|djjnd}g} |j|dd}|D]} | jddjj} t| jddjj} | jd djj} | jd djjd k(} |j | | | | d  g} |jd }|ddD]\}|jd}t|dk(s#|dj}|dj}|j ||d^ d}d}d}d} |jd}|r&|djdddj}|jd}|r&|djdddj}|jd}|r&|djdddj}|jd}|r&|djdddj}ddtjd|||||||d||d}|s|s|r|Sddd|dS#t t f$rYwxYw#YxYw#YCxYw#Y]xYw#t$r}dddt||dcYd}~Sd}~wwxYw) u Extraer datos del HTML del SII usando XPaths específicos Args: tree: Árbol HTML parseado con lxml rut_completo (str): RUT completo consultado Returns: dict: Datos estructurados extraídos z/html/body/div/div[4]z/html/body/div/table[1]/trrrPNz ./td[1]/fontz ./td[2]/fontz ./td[3]/fontz ./td[4]/fontSi)girocodigo categoriaafectaz//table[@class='tabla']/trztd/font/text()) DocumentouAño último timbrajezO//span[contains(text(),'Contribuyente presenta Inicio de Actividades:')]/text():zA//span[contains(text(),'Fecha de Inicio de Actividades:')]/text()zP//span[contains(text(),'Contribuyente es Empresa de Menor Tama')]/text()[last()]zt//span[contains(text(),'Contribuyente autorizado para declarar y pagar sus impuestos en moneda extranjera:')]/text()TrrO)rHrIrQrRrSrT)r\r]r^rjrrr[Fu8No se encontraron datos válidos en la respuesta del SIIrizError extrayendo datos: )xpathrstripintappend IndexError ValueErrorrnsplitrrrsr%rorxryr&r rkrlrm)"rrrzXPATH_RAZON_SOCIALXPATH_ACTIVIDADESrazon_social_nodesrIrZactividad_rowsnoderrrrr[ table_rowsrowcells documentoultimo_timbrajerSrTrQrR xpath_inicio xpath_fecha xpath_empresa xpath_monedarr(rArr}r~s" rrz%ScrapperClass.extract_sii_direct_datacs~l !8  < "&,>!? AS-a055;;=Y[LK !%,=!>qr!B*!D !#zz.9!<AAGGI!$TZZ%?%B%G%G%M%M%O!P$(JJ~$>q$A$F$F$L$L$N !%N!;A!>!C!C!I!I!Kt!S#**$(&,)2&, ,!&$&  !ZZ(DE %ab> CII&67E5zQ$)!HNN$4 */(..*:,33)25D5 "$ ') $#% $& ! #zz*{| )5a)>)>sA)Fr)J)P)P)R&"jj)lm /:1~/C/CC/KB/O/U/U/W, $ +} ~  +8+;+A+A#q+I"+M+S+S+U(#zz+a b ,8O,A,A#q,I",M,S,S,U)  '!]]+>?".'$0,@-B*<0H (+6(<F${.B  %+W&2 K' 3! !   0 >  '3CF8<".   s8K0KCK'K)K0-8K!&z(Verificar conectividad y validez del RUT)r\r]errorsrj recomendacion)r&rrkr)rrxry max_attempts use_api_first api_result sii_results rget_customer_datazScrapperClass.get_customer_datas 9:33JC >>) $ E F  ,Z^^GEX-Y,Z[ \ QR66z2F >>) $ E F  ,Z^^GEX-Y,Z[ \2)~~gr:)~~gr:", AbT2G  rc d}|js dd|d|dS t|D]5} td|dzd||jj |t |jd j tjtjd ftd |jjtjd }|j|j||jjtjd }|j|j|td |d|dtjd|j!||}|s tdetd|jjtjd} | j#tdt |jdj tj%tjtj&dftjtj&dftjtjdftjtj(dftj+tj(dfdtjdtd|j-} | r0| j drtd| c|j/Std||dz kr td tjd8dd$|d||d%|j/S#t0$rP} td!|dzd"t3| ||dz kr td tjdYd#} ~ d#} ~ wwxYw#|j/wxYw)&uV Obtener datos del cliente usando Selenium (método original) Args: rut_sin_dv (str): RUT sin dígito verificador dv (str): Dígito verificador max_attempts (int): Número máximo de intentos Returns: dict: Datos del cliente extraídos del SII $https://zeus.sii.cl/cvc/stc/stc.htmlFz"No se pudo configurar el navegadorr>)r\rfrju 🔄 Intento rz de rCru(✅ Página cargada, ingresando datos...ru✅ RUT z ingresadou3❌ No se pudo resolver el captcha automáticamenteu,✅ Captcha resuelto, enviando formulario... bt_aceptaru⏳ Esperando resultados...r? resultadorf contenidotablebody contribuyenteu,✅ Resultados cargados, extrayendo datos...r\ru'⚠️ No se encontraron datos válidosu🔄 Reintentando...u❌ Error en intento rENu9Se agotaron todos los intentos sin obtener datos válidos)r\messagerjintentos_realizados)r)ranger&r rk WebDriverWaituntilECpresence_of_element_locatedr-r.r,clear send_keysrrsleep'attempt_captcha_resolution_with_contextclickany_of CLASS_NAMETAG_NAMEtext_to_be_present_in_elementextract_sii_data close_driverr%ro) rrxryrrAattempt rut_inputdv_inputcaptcha_solved submit_buttonrr(s rget_customer_data_via_seleniumz,ScrapperClass.get_customer_data_via_seleniumMsS5  " =%/L""6  V  .K &J&M'A+d<.IJKKOOC("$++r28866u~FDF!% 8 8 FIOO%'' 3 ${{77tDHNN$&&r*HZL"Z@AJJqM&*%Q%QR\^`%aN)ST HI%)KK$<$zHScrapperClass.attempt_captcha_resolution_with_context..IwG{2Ir situación tributariavigenter"✅ Captcha resuelto con código: Tc3&K|]}|v ywrrrrfr s rr zHScrapperClass.attempt_captcha_resolution_with_context..bE5K/br  incorrectorfu inválido ❌ Código z$ incorrecto, volviendo a intentar...rCrrr'🤔 Respuesta inesperada para código ❌ Error probando código rE7❌ No se pudo resolver el captcha con códigos comunes%❌ Error en resolución de captcha: )rrrr r,r-r.r&NAMErrrr rp current_urlanyrkrrrrr%)rrxry captcha_inputcaptcha_selectorsselector common_codesrrrrrr(r s @rrz5ScrapperClass.attempt_captcha_resolution_with_contexts^  JJqM!M I - $(KK$<$J% $(;;#;#;BEE4#H!)!++J7 ( **2. 1 ):)H)04 0H0HPX0Y %)! GvNOo; z K L[!IJ n) ( !7vRsCD  9!= > s M 8LM "5L M "C-L!M D"L!4*LL!!M #L!1M LM  LM M LL!! M*M;M MM M*M%%M*c   tjdd}gd}|D]<} |jjtj |}t d|n|s6 |jjtjd}t dd}gd }|D]<} |jjtj |}t d |n|s |jjtjd }|D]_}|jd xsd }|jdxsd } d|jvsd| jvsR|}t dn|s t dt d |jjtjd} t dt| t| D]\\} } | jdxsd} | jdxsd}| jdxsd}t d| d| d|d|d ^|jjtjd }t d t|t|D]G\} }|jdxsd}|jd xsd!}t d"| d|d#|dd$d%I gd'}|D]S} t d(||j|j!||jjtj d)}|j#tjd*|jj$j|jj&}t d+||d,k7st)fd-d.Drt d/|y0t)fd1d2Dr=t d3|d4|jj+d,tjd*t-|jd5j/t0j3tj d6f}|jjtj d7}|j|j!d8|j|j!d9tjd:|D].} |jjtj |}nFt d;|Vt d>y#YxYw#t dYyxYw#YxYw#YxYw#t$r}t d&|Yd}~d}~wwxYw#YxYw#t$r}t d<|d=|Yd}~d}~wwxYw#t$r}t d?|Yd}~yd}~wwxYw)@u Intentar resolver el captcha automáticamente Returns: bool: True si se resolvió exitosamente, False en caso contrario rNrrrrrF)r+r6z captcha-imageimagen_captchau&✅ Imagen captcha encontrada con ID: r9srcrPaltru+✅ Imagen captcha encontrada por contenidouN⚠️ No se encontró imagen de captcha, intentando sin validación de imagenu.🔍 Inspeccionando elementos de la página...inputu📝 Inputs encontrados: idsin_idr@sin_nametypesin_typez Input z: ID='z ', NAME='z ', TYPE=''u🖼️ Imágenes encontradas: sin_srcz Imagen z', SRC='dz...'uError en inspección: rrrrrrc3&K|]}|v ywrrrs rr z;ScrapperClass.attempt_captcha_resolution..r r rrTc3&K|]}|v ywrrrs rr z;ScrapperClass.attempt_captcha_resolution..rr rrz incorrectorCrr760638226rrrrErr)rrrr r,r-r.r&r find_elementsr get_attributerprn enumerater%rrrr rrrkrrrr)rr r!r"r6 img_selectorsimagesr9r&r'inputsiinpinput_id input_name input_typeimg_idimg_srcr(r#rrrrrr s @rattempt_captcha_resolutionz(ScrapperClass.attempt_captcha_resolution&sT  JJqM!M I - $(KK$<$? (NO 1 %2$++r$B$H$H::BEE5>J% $(;;#;#;BEE4#H")!++J7 ( **3/ 1 ):)H)04 0H0HPX0Y %)! GvNOs= ~ K LG!IJ 2 4.qc233 4t) ( !7vRsCD  9!= > s  V18T3V1"5T; V1#8U V1!A=UU/V1EU V1C-V V1D"V '*VV V1V $V13T85V1; U V1 V1 UV1UV1 U?&U:4V1:U??V1VV  V.V)#V1)V..V11 W:W  Wc P  |jj}|jj}dtjd|iig|d} |jj t jd}|D]}|jj|jd}tfddDr|j t jd}|D]}|j t jd } t| d k\s2| d jjj} | d jj} d | vr | |dd <d| vsd| vr | |dd<d| vsd| vr | |dd<d| vr | |dd<d| vs| |dd<tfddDr|j t jd}|D]}|j t jd } t| d k\s2| d jjj} | d jj} d| vsd| vr | |dd<d| vs| |dd<tfddDs|j t jd}|D]}|j t jd } t| d k\s2| d jj} | d jj} | so| sr| js|d j| | d! |jj t jd$}g}|D]?}|jj}|s t|d%kDs/|j|A||d&<|ds,|ds'|d s"td(|j%d&gDr,t#d)t|dd*t|d d+|St#d,d-d.d/S#t $r}t#d"|Yd#}~d#}~wwxYw#t $r}t#d'|Yd#}~d#}~wwxYw#t $r&}t#d0|d-t'|d1cYd#}~Sd#}~wwxYw)2u Extraer los datos específicos de la situación tributaria del SII Returns: dict: Datos estructurados de la consulta SII TrO)r\r^url_consultadarsituacion_tributariarraw_htmlr outerHTMLc3&K|]}|v ywrrrr  table_texts rr z1ScrapperClass.extract_sii_data..stW7j0tr )rH razón socialrJrtrtdrrrrHrrKrJrIu dirección domicilio direccioncomunauregiónregionc3&K|]}|v ywrrrIs rr z1ScrapperClass.extract_sii_data..snW7j0nr )restadoractivorrSrEfechac3&K|]}|v ywrrrIs rr z1ScrapperClass.extract_sii_data..sdW7j0dr ) actividadu económicarr)r descripcionz"Error extrayendo datos de tablas: NdivrCcontenido_textualz$Error extrayendo contenido textual: c3@K|]}d|jvyw)rN)rp)rrs rr z1ScrapperClass.extract_sii_data..,slOtzz|3lsu✅ Datos extraídos: z datos del contribuyente, u actividades económicasu7⚠️ No se encontraron datos válidos en la respuestaFu No se encontraron datos válidos)r\ru$❌ Error extrayendo datos del SII: )r\rf)r r rrrrsr5r-rrrpr6rrnrisdigitrr%r&rkro)rr rextracted_datatablesr table_htmlrowsrrkeyvaluerrXr(divs content_textrYrrJs @rrzScrapperClass.extract_sii_datasm 7++11K++11K !]]+>?"-')(**,'N< @222;;H#6'E!&!1!1!3J!&!4!4[!AJt@stt$222;;E#'\C$'$5$5bkk4$HE"5zQ&+Ahmm&9&9&;&A&A&C(-a (;(;(=#(C.3Ahmm.A.A.C #)kfnn>N$23K$L$S$S287BU&%' 'Y6'x B{{00eD! 2C88>>+DD B$++D12 7C23 455678l@R@RSfhj@kll.s>BW3X/Y.ZZt^,DEFGG_ab%%OP#(5WXX= @:1#>?? @  BM+/**,O$!Q!:NAOIOmS7; Fq )QU1E F 6}oF G33P F F 5 /s3 4 4 5sWCB;;C& C4C9C C $C;C C CC C:"C55C:c|jr. |jjtdd|_yy#Y xYw)zCerrar el navegadorzNavegador cerradoN)r quitr&rs rrzScrapperClass.close_driverNs? ;;    ")*DK  s %<Ac$|jy)z0Destructor para asegurar que el driver se cierreN)rrws r__del__zScrapperClass.__del__Xs rN)r3r4)r3r4rT)r3r4r)zsii_result.html)__name__ __module__ __qualname__rr)r:r<rrrrrrrrBrrtrryrrrrr sb $*>&n`Qf7rzx, \l \iV[zt7l5*rr) rrr r/lxmlrrmrurllib3ssldisable_warningsruInsecureRequestWarningrrrrrsG    ++BBCMMr