{"id":2588,"date":"2026-05-06T08:53:15","date_gmt":"2026-05-06T06:53:15","guid":{"rendered":"https:\/\/ahassan.inscastellbisbal.net\/?page_id=2588"},"modified":"2026-05-06T10:44:41","modified_gmt":"2026-05-06T08:44:41","slug":"programacio-del-webscraping","status":"publish","type":"page","link":"https:\/\/ahassan.inscastellbisbal.net\/?page_id=2588","title":{"rendered":"Programaci\u00f3 del WebScraping"},"content":{"rendered":"\n

Instal\u00b7laci\u00f3 de llibreries<\/strong><\/strong><\/h2>\n\n\n\n
\n

Primer he posat<\/strong> les eines<\/strong> per poder treure<\/strong> la info de la web<\/strong>:<\/p>\n\n\n\n

    \n
  • Requests<\/strong> i BeautifulSoup<\/strong>: S\u00f3n per entrar<\/strong> a l’URL<\/strong> i busca el contingut<\/strong>. El BeautifulSoup<\/strong> serveix<\/strong> per netejar<\/strong> el codi HTML<\/strong> i quedar<\/strong>–me<\/strong> nom\u00e9s amb les paraules<\/strong>.<\/li>\n\n\n\n
  • Flask<\/strong>: \u00c9s el que fa que el meu codi sigui<\/strong> un servidor<\/strong> que rep i envia missatges<\/strong>.<\/li>\n\n\n\n
  • Google<\/strong> GenAI<\/strong>: Per connectar<\/strong> amb la IA<\/strong> de Gemini<\/strong>.<\/li>\n<\/ul>\n\n\n\n
    \"\"<\/figure>\n<\/blockquote>\n\n\n\n

    El Crawler<\/strong>:<\/h2>\n\n\n\n
    \n

    He creat<\/strong> una funci\u00f3<\/strong> que es diu<\/strong> crawl_website<\/strong> que fa la feina<\/strong> bruta:<\/p>\n\n\n\n

      \n
    • Entra<\/strong> a la web<\/strong>: Comen\u00e7a<\/strong> per al meu URL<\/strong> principal<\/strong>.<\/li>\n\n\n\n
    • Busca<\/strong> enlla\u00e7os<\/strong>: Va saltant de p\u00e0gina<\/strong> en p\u00e0gina<\/strong> (fins<\/strong> a 200<\/strong>), per\u00f2 nom\u00e9s si s\u00f3n de la meva<\/strong> web<\/strong>. He posat<\/strong> un filtre perqu\u00e8 no es baixi<\/strong> fotos<\/strong> ni PDF<\/strong>, que aix\u00f2 no ho pot llegir<\/strong> b\u00e9<\/strong>.<\/li>\n\n\n\n
    • Neteja<\/strong> el text<\/strong>: Li he dit que esborri<\/strong> les parts que es repeteixen<\/strong>, com el men\u00fa<\/strong> de dalt (navegador<\/strong>) o el de sota (peu<\/strong> de p\u00e0gina<\/strong>). Aix\u00ed<\/strong> la IA no es llegeix 100<\/strong> vegades el mateix<\/strong> men\u00fa i va al gra<\/strong>.<\/li>\n<\/ul>\n\n\n\n
      \n
      \n
      \"\"<\/figure>\n\n\n\n
      \"\"<\/figure>\n<\/figure>\n<\/div><\/div>\n<\/blockquote>\n\n\n\n

      API Keys:<\/strong><\/h2>\n\n\n\n
      \n

      No oblidem posar l’API key en el colab:<\/p>\n\n\n\n

      \"\"<\/figure>\n\n\n\n

      El nom<\/strong> el posem<\/strong> que est\u00e0<\/strong> en el codi<\/strong> si no sortir\u00e0<\/strong> error<\/strong>.<\/p>\n\n\n\n

      Name:GOOGLE_API_KEY<\/strong><\/p>\n\n\n\n

      Name:NGROK_TOKEN<\/strong><\/p>\n<\/blockquote>\n\n\n\n

      Com sap qu\u00e8 respondre?<\/h2>\n\n\n\n
      \n
        \n
      • Tot el text que ha tret el Xatbot<\/strong> es guarda<\/strong> en una variable<\/strong>. Despr\u00e9s, quan inici<\/strong> el xat<\/strong> amb Gemini<\/strong>, li passo el System<\/strong> Prompt<\/strong>. \u00c9s com donar-li les instruccions<\/strong> abans de comen\u00e7ar<\/strong>.<\/li>\n<\/ul>\n\n\n\n
        \"\"<\/figure>\n<\/blockquote>\n\n\n\n

        Ngrok<\/h2>\n\n\n\n
        \n

        Com que estic treballant<\/strong> des de l\u2019ordinador<\/strong> de classe<\/strong> i no tinc un servidor<\/strong>, faig servir<\/strong> ngrok<\/strong>. Aix\u00f2 em d\u00f3na un enlla\u00e7<\/strong> que puc enganxar<\/strong> al WordPress<\/strong> perqu\u00e8 el xat<\/strong> de la web<\/strong> s\u00e0piga on enviar<\/strong> les preguntes<\/strong>.<\/p>\n\n\n\n

        \"\"<\/figure>\n<\/blockquote>\n\n\n