Automação da Web com Python Selenium | Frank A | Skillshare

Velocidade de reprodução


  • 0.5x
  • 1x (Normal)
  • 1.25x
  • 1.5x
  • 2x

Automação da Web com Python Selenium

teacher avatar Frank A

Assista a este curso e milhares de outros

Tenha acesso ilimitado a todos os cursos
Oferecidos por líderes do setor e profissionais do mercado
Os temas incluem ilustração, design, fotografia e muito mais

Assista a este curso e milhares de outros

Tenha acesso ilimitado a todos os cursos
Oferecidos por líderes do setor e profissionais do mercado
Os temas incluem ilustração, design, fotografia e muito mais

Aulas neste curso

11 aulas (27 min)
    • 1. O que é selênio

      0:27
    • 2. WebDriver

      1:01
    • 3. Obter texto

      1:54
    • 4. Automatizar a pesquisa

      2:25
    • 5. Links

      0:56
    • 6. Baixar imagens

      2:27
    • 7. Login

      5:25
    • 8. Captura de tela

      3:34
    • 9. Rolagem

      2:54
    • 10. Navegando

      2:44
    • 11. Raspagem de mesa

      3:18
  • --
  • Nível iniciante
  • Nível intermediário
  • Nível avançado
  • Todos os níveis

Gerado pela comunidade

O nível é determinado pela opinião da maioria dos estudantes que avaliaram este curso. Mostramos a recomendação do professor até que sejam coletadas as respostas de pelo menos 5 estudantes.

606

Estudantes

1

Projeto

Sobre este curso

Automatizar navegadores da web! Saiba como automatizar navegadores da Web com o Python Selenium. Qualquer site ou aplicativo da web, automático Qualquer coisa na web Por que fazer este curso? Automatizar TODOS OS navegadores: Google Chrome, Mozilla Firefox, Opera ... de um script Python. Depois de fazer este curso, você pode criar scripts para: raspagem da Web, Testes automatizados de mineração de dados Crie bots / robôs Master Python Selenium!

Conheça seu professor

Teacher Profile Image

Frank A

Professor

Sharing my experience in Technology here. I have a background in Computer Science and worked with nearly every programming language on the planet. I graduated with highest distinction during my masters program. I've worked on projects ranging from Robotics, Web Apps, Mobile Apps to Embedded Systems. These courses will help you achieve your goals.

To your success!

Visualizar o perfil completo

Nota do curso

As expectativas foram atingidas?
    Superou!
  • 0%
  • Sim
  • 0%
  • Um pouco
  • 0%
  • Não
  • 0%
Arquivo de avaliações

Em outubro de 2018, atualizamos nosso sistema de avaliações para melhorar a forma como coletamos feedback. Abaixo estão as avaliações escritas antes dessa atualização.

Por que fazer parte da Skillshare?

Faça cursos premiados Skillshare Original

Cada curso possui cursos curtas e projetos práticos

Sua assinatura apoia os professores da Skillshare

Aprenda em qualquer lugar

Faça cursos em qualquer lugar com o aplicativo da Skillshare. Assista no avião, no metrô ou em qualquer lugar que funcione melhor para você, por streaming ou download.

Transcrições

1. O que é selênio: estrutura de selênio. Navegadores finais, que é onde navega. Então é isso mesmo. Podemos controlar completamente um navegador da Web a partir de códigos. Então esse cara é apenas um monte de superpoderes. Podemos fazer testes automatizados, navegação na Web e raspagem na Web na arma. Mais ainda. O Cellini em framework e controlou muitos navegadores, incluindo Firefox, Google Chrome, Internet Explorer, Safari Opara e toneladas de outros navegadores da Web. 2. WebDriver: precisamos instalar Fightin no Cellini em Web Driver. Um selênio. Que motorista? Um pouco. Tudo no início. Aceita meses de CO, e os envia para o navegador. Então é assim que Biden se comunica. Excluir meu navegador, onde drivers podem ser encontrados no site. Selenia Hike, seu idiota. Então, uma vez que você é grande o seu programa e executá-lo, ele vai começar uma Web rose. Então, se você usou o driver crescido, ele iniciará o Google Chrome. Se você usou um driver gecko, ele inicia o Mozilla Firefox. Ou, se você quiser, apenas queira ocultar completamente o que o navegador está fazendo. Você pode usar um driver da Web chamado esgrima Js, então depois de instalar o navegador vai fazer qualquer coisa que você escrever casaco. Se isso é clicar em botões, clicar em ouvir, livros, digitar campos, clicar em imagens ou o que ele quer que ele faça, você pode controlar completamente o navegador da Web a partir de casacos 3. Obter texto: podemos obter automaticamente texto de qualquer arma de qualquer site ou qualquer tipo de arma importa tempo e em fazer partido Web driver, em seguida, irá inicializar o driver Web, obter a sua página web, esperar um pouco e sair. Então nós acabamos neste programa, em seguida, salvá-lo e executá-lo para que eu pudesse salvá-lo como exemplo. Olha, Brian fugiu. Ele está usando no ponto e exemplo que por Então, se você estiver sentado, se seus drivers da Web instalados corretamente, isso apenas abrirá o navegador da Web. Depois mudamos o que ele conheceu o motorista. Não fique assim com os métodos que mudamos agora. Presti de 12 teclas para abrir ferramentas de desenvolvedor chrome. Precisamos obter as exportações reais, e ela é como um identificador único para dois textos para elementos sobre as armas então peito você tem 12 chave para abrir cromo desenvolvido ALS e Presti Small seta e, em seguida, simplesmente apontar sobre o texto ou é o seu exibições. Você vê uma linha ao largo da costa é destacada em azul, então clique direito na maioria das dívidas e copiar cópias exportações. Você vai ver este especialista quando você pagar nota sentado manteiga outro programa e apenas mantê-lo aberto por enquanto, porque esta é a identidade única Fogo fora deste texto. Então voltamos para o casaco de trabalho e depois dessas linhas. Então nós obtemos o elemento e, em seguida, é mensagens de texto que simplesmente imprimimos. Agora preste atenção. Nós copiamos o especialista do navegador, e agora estamos usando os métodos encontrar elemento por exportações. Então é assim que estes dois ou entrelaçam 4. Automatizar a pesquisa: nesta palestra fará com que um navegador da Web faça. Pesquisa automatizada, em suma, vai fazer um navegador da Web, abrir o site e fazer uma pesquisa natural tipo incrível desses casacos. Em seguida, queremos selecionar para pesquisar livros. Então, cada coisa que você vê em uma página web tem um especialista como é chamado. Então, para chegar ao identificador exclusivo e exclusivo para livros de pesquisa e começamos a crescer e abrirá ferramentas de desenvolvedor Chrome para obter a idéia única. Ah, ou especialista Presti F 12 chave para abrir as ferramentas de desenvolvedor do Chrome. E então você vê pequeno ponteiro. Então, clique nela pequena seta e, em seguida, clique nos livros de texto. Então, à direita ou à parte inferior, ele verá a linha destacá-la, o que mostra as exportações clique com o botão direito nessa linha termina imprensa cópia cópia especialistas, e nós salvamos os especialistas dedo do pé caiu. Então precisamos atualizar nosso código porque até agora ele só atualiza apenas abre um site. Então, primeiro vai obter os elementos usando os métodos encontrar elemento por exportações de modo que vai os elementos nos tubos e treinador, e então vamos precisar enviar chaves. Portanto, há um método chamado enviar chaves. Então nós temos essas duas linhas e seguro lá fora fora fora e executar o programa. Você verá que ele abre o site e começa a digitar na caixa de pesquisa, mas até agora ele realmente não pesquisa. Isso é porque o computador ainda não pressionou a tecla Enter. Então tivemos uma nova importação e, em seguida, em outra economia de linha, executar o programa até então, começou o programa. Visite o site digite a extensão pressione enter para que toda a pesquisa apareça automaticamente. 5. Links: Então, onde o pagamento ela é definido em linguagem HTML guage. Então único link Seu retorno é este e podemos usar este imposto para realmente obter o conteúdo que queremos. Então, neste caso, você quer obter links. Então, digitamos essas linhas, é claro. Então encontre elementos, minha exportação. E então usamos t h ref. E então teríamos uma lista de links para mostrar a cada um deles. Nós digitamos essas linhas de modo que irá imprimir todas as listas no comprimento. Então, o foco será este agora salvá-lo e correu o seu e você verá uma lista de links neste site . 6. Baixar imagens: selênio pode ser usado para baixar imagens de um show de armas. Qualquer arma, você pode baixar todas as imagens. É o que vamos fazer nesta eleição. Então pegamos qualquer. Qualquer site pode ser uma imagem brilha uma página de produto ou qualquer arma que ela quer. Então primeiro vamos abrir armas com uma ou mais imagens. Por exemplo, nesta roda, pegue tópicos do fórum contendo shows de tela. Então queremos iniciar o programa padrão, criando as mãos do motorista, abrindo armas e os calções de armas Na verdade, baixo t o motorista deve realmente abrir o link. Então seguro este programa e executá-lo. Nós lutamos, você vai ver a página web do mar aberto e Loach D Sem infiltração. Então temos essas linhas. Eso nós realmente usamos a tecnologia Eu sou G, que é a tecnologia de imagem, e nós usá-lo usando ele encontra elementos meu método tecnológico de modo que simplesmente vai obter todos os textos que contêm imagem para essas letras e especificamente a partir da tecnologia. Queremos a fonte porque o tipo de sexual ligado à imagem de modo que é sempre definido em todas as imagens. Então são essas linhas e salvar e executar o programa. Depois de alguns segundos. Isso imprime todos os links de imagens para a tela. Portanto, não são apenas os links, mas não na verdade as imagens ainda. E podemos baixar todas essas imagens combinando com o programa. W fica assim que fazemos um diretório para que as imagens sejam sentidas em segurança. Vamos chamá-lo de “Eu sou G. Quando voltarmos para os Colts e por cima da falta, vamos chamar o programa. Então, como importações sempre, então nós mudamos a linha, esta linha para a linha. Em suma, sua imagem para obter entrada com fonte. Então, na verdade, a segurança do link em uma costa de imagem terrível tem. E depois vamos ter esta terra abaixo do Sr. Sistema W que tem uma imagem de segurança. Então isso está em um loop, então ele simplesmente baixará imagens uma por uma. Então, se você salvou e executar o seu, em seguida, depois de um tempo, todas as imagens na página Web baixá-lo para o diretório eu m. G. Então você pode usar este programa foi a qualquer lugar página que contém imagens 7. Login: você pode automatizar Loggins em páginas web, então há muitos Web talvez em torno da arma. É você que você precisa fazer login como você precisa ter suas senhas de e-mail. Então você tem uma conta na ameaça da página web para que você possa automatizar seu processo amoroso. Então eu só escolhi olhar página fora. Pilha. Overflow vem, que é este herói, então você deve ir, e ele simplesmente tem um campo campo campo campo campo campo possível. Então isso vai funcionar. Esta técnica irá trabalhar com qualquer página web que tem lovin. Então, se isso é e-mail, rede social ou fórum como estouro de pilha ou realmente qualquer coisa, e você pode digitar essas coisas automaticamente Então o campo de e-mail, os campos de senha e o Logan sente agora para fazê-lo em et idéias fora do campo. Se as idéias não estiverem disponíveis, você pode usar especialistas, mas neste caso temos idéias. E então comece suas ferramentas de desenvolvedor crescidas ou ferramentas de desenvolvedor do Firefox pressionando a tecla F 12 e simplesmente coletando cabelos aerodinâmicos e pontos nas mãos dos elementos que você verá. Ele tem um campos únicos em I D, que é e-mail para que possamos usar. Isso é para selecionar os elementos e, em seguida, nós podemos e enviar texto ou caracteres para estes elementos que ele possa digitar automaticamente o e-mail. Então abrimos o driver do Firefox aqui, ou você pode usar o cromo e ele quer Não. Dois euros. E, em seguida, queremos obter os elementos, eo elemento é simplesmente chamado idéias de e-mail e-mail e-mail. Então digite driver esses tipos elementos por e-mail, e vamos chamá-lo de e-mail Campos tem. Você pode usar o método desde chaves para enviar caracteres, modo que é bem, direitos seu e-mail. Então, se você executar esses casacos e apenas colocar um atraso aqui, não a rainha, antes de ver abre e ver, ele começa a navegar e, em seguida, pesquisa 40 campos com a idéia de que e-mail. E então, desde que as teclas assim começa a digitar o fusível de texto, e eu vou apenas carregar essa página e você verá o campo de e-mail aqui, e ele vai começar a digitar automaticamente completamente automaticamente. Certo? Então leva um momento ou um pouco mais para perceber qual cadela? E lá vai você e vê um e-mail tipo T automaticamente, e podemos fazer o mesmo para os campos de senha. Então, se você clicar no passaporte Seta Selecionar, você verá as ideias possíveis vale a pena. Pode usar isso. Então sim, copie essas linhas. Bem, digamos que é possível sentir que acaba. A idéia dos pontos elementos funciona certo? Ideias possíveis? senhas do Justin. Agora, se você executá-lo novamente, você verá que é completa campos de barco, campo de e-mail sinistro eo passaporte sente. E a maioria dos Logan só tem esses campos certos. É o seu e-mail, foi suas senhas ou nome de usuário e senha, Então isso permitirá que você olhar para a maioria das páginas. Veja esses campos ali, e o programa responderá as importações. Isso leva um segundo ou mais dependendo do seu navegador. Então, neste caso, o merceeiro não é tão rápido. Veja, ambos os campos preenchidos automaticamente, mas ainda não estamos bloqueados direito, então também precisamos clicar no botão de login e você verá o botão aqui. Eu vejo isso. A idéia fora deste campo é enviar botão, então vamos usar isso para encontrá-lo botão, e então vamos sinfonia eleito botão alguém chamar os métodos. Clique e você verá que se executarmos este programa, ele vai lançar um nunca porque, obviamente, o e-mail e possíveis estão incorretos. Mas se você especificar seu e-mail e suas senhas, ele será realmente bloqueado na página da web. Agora você verá que não temos o e-mail e as senhas corretos. Selênio, Giddens tipo morte corretamente. Então isso é porque, obviamente, esses imigrantes possíveis desligam corretamente. Mas de qualquer maneira para obter elementos que você pode simplesmente usar, ele encontra elementos idéia nosso elemento encontra por I d. Se eles têm idéias, e então você pode interagir com os elementos para que você possa enviar chaves ou clicar sobre eles. Se eles não tiverem uma ideia, você pode usar a exportação. Mas na maioria dos casos, eles terão uma idéia, um identificador exclusivo para selecionar os elementos e então você pode interagir com eles. 8. Captura de tela: você pode fazer uma captura de tela usando os métodos. A Safe destaca as criações. Militar de Aspira especificar A fundação termina Esta falta será armazenada no mesmo diretório seu programa, então, neste caso, é bem, baixa. Iniciar pessoas fogo Loki, Página Web e, em seguida, salvar Screenshots sob as coisas Cree mostra PNG em uma coisa para notar que este é apenas screenshots fora janela visível. E assim, se você tiver uma página da Web, ela só levará uma captura de tela para o que é mostrado para o usuário dentro da janela. Então as armas podem ser muito mais longas, mas só leva o que é visível. E assim ele vai para um paciente e ver que eu peguei o espaço de notícias do mundo e as pessoas. É bastante sozinho página web aqui, mas só leva uma captura de tela era visível por isso leva um segundo ou assim termina, e ele vai salvar o especial encontrado. Agora, uma vez que este carregamento é concluído, você verá como foi realmente criado. Agora, depois disso é a Síria. Como tirar capturas de tela do programa completo da página da Web que inclui tudo o que não está visível. Ok, vamos agora. É uma discrição segura, mas note que não inclui tudo o que a página web de verão, certo? Então ele pára logo após o que é mostrado para o usuário. E assim, para tirar uma captura de tela do campo onde completo, quem quer o que essas linhas. Então nós simplesmente tiramos o corpo da página web, e então vamos salvá-lo em uma imagem ruim para entrar nesta casa. Clareza. E essas linhas, é claro, tirarão as capturas de tela de todas as armas para que eles pensem perder tudo o que não é visível na janela do navegador. E então você executa o programa. Ele irá criar uma nova falta chamada screenshot, também, também, que inclui Screenshots fora de todo o campo, então apenas ama por um segundo. Agora termina. Uma vez carregado, faça shows discretos. Não pode demorar um momento para completar. Dependendo da sua conexão com a Internet. Abra o gerenciador de arquivos. Você vê outra falta vai aparecer, o que é muito mais longo. Talvez possamos ampliar aqui, então temos uma falta. Ela é apenas o topo das armas dos defeitos, e nós temos um. Isso é para completar as armas. Então, se abrirmos esse, ele vê as imagens completas das armas. Então tudo o que é visível e invisível na página onde os métodos de captura de tela segura S T só leva acima da força que não inclui 17. Então provavelmente você quer ter essas linhas de código para tirar Screenshots das armas completas. 9. Rolagem: fazer nome tolo, Role para baixo a página automaticamente. Então, se você tem o script aqui, nós simplesmente abrimos uma página web. Esperamos dois segundos e teste. Se você executar este programa, você verá que ele iniciará um navegador aberto. A página web pode ser qualquer lugar peixe, e então ele vai sair. Então algumas dessas páginas da Web tão geralmente redes sociais, páginas da Web e outras que eles podem ter, como se você rolar para a última nova constante com medo. E assim é como comer um assado. Ele tipo de rede social e várias outras ciências estão fazendo isso também, e então, usando essa linha, você pode rolar para o fundo do meu ritmo. Então, basicamente, dizemos para o navegador executa scripts, que apenas JavaScript, e podemos inserir JavaScript que é inserido diretamente no chão. Shippen está com armas. Então, quem não está dormindo? E você verá que uma vez que começou a focar página da Web, que rola para os pesos inferiores novamente. Então agora ele vai Starkey na Rússia, ver se abre. Sua página de mídia social pode estar em qualquer lugar. Peachtree Islam, Nova conferência aparecendo na parte inferior. Então agora ele irá rolar para o fundo automaticamente, e você verá um novo carregamento de Huntington. Então, só para ter certeza de que este acampamento pode continuar por um tempo. Então vamos me salvar, fazer isso 10 vezes termina se você executá-lo Agora, você vê nova conferência aparecerá cada vez, e Cellini vai continuar rolando eles. Então, isso é muito útil ao raspar, porque em muitas páginas da Web como essa, nem todo o conteúdo é carregado imediatamente. Talvez apenas 10 artigos, 20 artigos ou 20 tweets 30 tweets, mas não quando você rola para o fundo. Aparecem novos. Então, às vezes, você deseja rolar para o fundo de cada vez apenas para coletar mais dados. Então agora você verá um pergaminho até o fundo. Esses novos conteúdos cruzam para o fundo e repetem isso porque o colocamos dentro de um Ford. Então você vê, nós temos mais e mais dados carregados das armas e processá-lo vai continuar fazendo isso por um tempo. Então, às vezes, você pode querer fazer isso passeando automaticamente, e você pode fazê-lo apenas com a linha. Claro, este é o crânio completo para fazer isso 10. Navegando: o navegador Selenium Firefox, neste caso, abrindo Firefox ou Chrome em seu rosto. Outro mantém uma história, e por isso, para cada arremesso que abrir, você pode voltar e avançar. Então, digamos que você abra várias páginas , o que pagou que ela gostaria, e você pode voltar para o último passo pode ir primeira página em. Depois disso, podemos ir para exemplos depois disso. Então você verá que ele começa a se mover entre essas páginas usando o histórico. Então, se ele em torno deste programa, ele começa a carregar o navegador e vai visitar cada fora dessas páginas e, em seguida, navegar entre cada passo. E pode ser útil e em seu aplicativo, dependendo do que você está tentando alcançar, como carregar cada página que especificou mãos. Pode demorar algum tempo, dependendo do seu navegador. Então você pode usar os métodos para frente e para trás para navegar entre a morte. Então é isso que você vai ver. Usar a função de volta para ir para a página anterior faz isso duas vezes. Chamadas para voltar função duas vezes vai fazer isso novamente uma vez que isso é concluído, e então você vai ver que ele se move para a frente. Então estamos de volta ao segundo arremesso, então você pode ver, ele acenou para a função para navegar entre os pacientes. E se você quiser, você também pode obter o euro atual, modo a pagar ao nosso próprio. Você vê esta linha então nós apenas imprime motorista que correntes sublinham euro, que vai dar-lhe os pacientes sobre ele, é basicamente como pode cada portões, que é sobrancelha, sugerir usar acenou para que bagunça? É no caso do ano em curso para fora seu particular útil, porque mesmo se você não usar os métodos para trás e para frente. Mas se você clicar em botões em todos os lugares da página usando as exportações, clicando em elementos entre formulários e assim por diante, em algum momento você pode querer saber em qual imagem realmente olhando. Então você pode usar para fazer aversão, para saber qual página você é tudo 11. Raspagem de mesa: você pode raspar tabelas inteiras usando selênio, então basta abrir qualquer página da Web com uma tabela. É o caso de eu ter escolhido esta mesa sobre qualquer mesa que serve. Então tabela quase tem vários assados em. Cada linha tem uma ou mais células, então, neste caso, existem cerca de 28 linhas terminam. Cada um deles tem células diferentes, e você pode buscar que todos esses dados de qualquer página de qualquer lugar de qualquer tabela em casaco de luta e assim tubos e variáveis. E então começamos simplesmente abrindo D. Você foi lançar, então precisamos saber a tabela, identificar e assim abrir suas ferramentas de desenvolvedor. Meu atualmente tem 12 chave e ir para o seu ponto para a sua mesa e você verá, neste caso, a tabela não tem uma identificação única aqui. Ele só tem um nome de classe. Então, neste caso, terá que usar o nome da classe missidentify. Então, às vezes, você vai descobrir que é para mesas. Eles não têm um eu d único. E então você tem que usar classe, nome ou todos os truques, e então usamos o mesmo nome de classe. Então eu usei os especialistas e disse que o nome da classe deve ser igual a isso. Então você vai ver esta Wikipédia tipo todo Juburi e assim por diante. Steve Nome Fechado. Então eu diria Close name É que assim com esta linha Fetch D a tabela ea próxima coisa que queremos fazer é obter todas as linhas e para cada estrada em todas as células. Então, para cada fila. Então este é um HTML ou uma linha de página da Web, e esta é a célula. E nós simplesmente imprimimos texto, então pode parecer um pouco estranho se você não estiver familiarizado. Quais códigos HTML. Qual casaco da web? Mas, essencialmente, as tabelas estão usando a tabela T R e TD textos Tiara Rose e Teddy nós mesmos termina. Nós simplesmente buscar cada um deles e imprimir. E, finalmente, você pode querer fechar grousing. Então vamos economizar para dizer, alguns cabelos atrasados. Digamos que três segundos e vamos programa de equidade. Então agora temos a mesa inteira. Programa Randi. Tome um segundo ou mais duas cargas. Natsuki Patri carrega e vai buscar todos esses dados em canos. Então é exatamente o mesmo dia que a partir desta tabela agora, se você quiser, você pode, claro, proteger cada uma dessas variáveis em nomes únicos. Então você chamou Adam para um a cada um. Se você quer uma guerra a um objeto de qualquer maneira, você pode colocá-la em cima da mesa. Eles não apenas reduzem as exportações e, em seguida, especificam a tabela, identificam suas mãos, linhas e colunas.