Python Programming

BeautifulSoup ve Selenium ile Web Veri Toplama: Python Geliştiricileri İçin Tam Rehber

Mar 14, 2026 · 114 views
web scrapingautomationpythonbeautifulsoupseleniumdata extraction

Web scraping, web sitelerinden değerli bilgileri çıkarmak zorunda olan veri bilimciler, araştırmacılar ve geliştiriciler için vazgeçilmez bir beceri haline gelmiştir. Bu kapsamlı kılavuzda, web scraping'i hem erişilebilir hem de modern web uygulamalarını işlemek için sağlam hale getiren iki güçlü Python kütüphanesini - BeautifulSoup ve Selenium - inceleyeceğiz.

Web Scraping Temellerini Anlamak

Web scraping, web sitelerinden veri çıkarma sürecidir. Basit HTML sayfaları temel araçlarla ayrıştırılabilirken, modern web uygulamaları genellikle içeriği dinamik olarak yüklemek için JavaScript kullanır, bu da geleneksel scraping yaklaşımlarının yetersiz kalmasına neden olur.

BeautifulSoup, statik HTML içeriğini ayrıştırmada çok iyi bir performans gösterirken, Selenium JavaScript ile oluşturulan içeriği yönetebilen tam bir tarayıcı otomasyon çözümü sunar. Birlikte, herhangi bir scraping projesi için güçlü bir kombinasyon oluştururlar.

BeautifulSoup ile Başlamak

BeautifulSoup, HTML ve XML belgelerini ayrıştırmak için Python'un tercih ettiği kütüphanedir. Belgelerin yapısında gezinmek ve aramak için sezgisel bir arayüz sağlar.

import requests
from bs4 import BeautifulSoup

# Bir web sayfası alın
url = "https://example.com"
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')

# Veri çıkarın
title = soup.find('title').text
print(f"Sayfa başlığı: {title}")

# Tüm bağlantıları bulun
links = soup.find_all('a')
for link in links:
    print(link.get('href'))

Gelişmiş BeautifulSoup Teknikleri

BeautifulSoup, karmaşık veri çıkarma işlemleri için güçlü yöntemler sunar. Yaygın scraping senaryolarını nasıl ele alacağınız aşağıda gösterilmiştir:

import requests
from bs4 import BeautifulSoup

# CSS seçicilerle gelişmiş ayrıştırma
response = requests.get('https://example.com/products')
soup = BeautifulSoup(response.content, 'html.parser')

# CSS seçicilerini kullanarak belirli öğeleri çıkarın
products = soup.select('.product-item')
for product in products:
    name = product.select_one('.product-name').text
    price = product.select_one('.price').text
    rating = product.select_one('.rating')['data-rating']
    print(f"{name}: {price} (Puan: {rating})")

Selenium Kullanım Zamanı: JavaScript Ağırlıklı Web Siteleri

Çoğu modern web sitesi, içerik yüklemesi için JavaScript'e dayanır, bu da BeautifulSoup'ın yeterli olmayacağı anlamına gelir. Selenium, JavaScript'i gerçek bir kullanıcı gibi çalıştıran tam bir tarayıcı otomasyon çözümü sunar.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# WebDriver Ayarları (bu örnekte Chrome)
driver = webdriver.Chrome()

try:
    driver.get("https://example.com/dynamic-content")
    
    # Öğenin görünür olmasına kadar bekleyin
    element = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CLASS_NAME, "dynamic-content"))
    )
    
    # Veriyi çıkarın
    content = driver.find_element(By.CLASS_NAME, "dynamic-content").text
    print(content)
    
finally:
    driver.quit()

BeautifulSoup ve Selenium Birleştirme

Maksimum etkili olmak için her iki kütüphaneyi birleştirebilirsiniz. Selenium ile JavaScript işleme yapın, ardından HTML'yi BeautifulSoup'e ileterek ayrıştırın.

from selenium import webdriver
from bs4 import BeautifulSoup
import time

# Selenium ile JavaScript içeriği yükleyin
driver = webdriver.Chrome()
driver.get("https://example.com/interactive-page")

# İçeriğin yüklenmesini bekleyin
time.sleep(3)

# JavaScript çalıştırıldıktan sonra sayfa kaynağını alın
html_content = driver.page_source
driver.quit()

# BeautifulSoup ile ayrıştırın
soup = BeautifulSoup(html_content, 'html.parser')

# BeautifulSoup'ın güçlü ayrıştırma yetenekleriyle veri çıkarın
articles = soup.find_all('article', class_='news-item')
for article in articles:
    title = article.find('h2').text
    summary = article.find('p', class_='summary').text
    print(f"Başlık: {title}\nÖzet: {summary}\n")

Yaygın Web Scraping Zorluklarını Yönetme

Gerçek dünya scraping'inde, anti-bot önlemleri, dinamik içerik ve tutarsız HTML yapılarıyla uğraşmak yaygındır. Yaygın sorunlar için çözümler aşağıda yer almaktadır:

import random
import time
from selenium import webdriver
from selenium.webdriver.chrome.options import Options

# Gerçek bir tarayıcıyı taklit etmek için Chrome seçeneklerini yapılandırın
chrome_options = Options()
chrome_options.add_argument("--headless")  # Arka planda çalıştır
chrome_options.add_argument("--no-sandbox")
chrome_options.add_argument("--disable-dev-shm-usage")
chrome_options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36")

# Tespiti önlemek için rastgele gecikmeler ekleyin
def random_delay(min_delay=1, max_delay=3):
    time.sleep(random.uniform(min_delay, max_delay))

# Uygun yapılandırma ile Selenium kullanın
driver = webdriver.Chrome(options=chrome_options)
driver.get("https://example.com")
random_delay(2, 4)

En İyi Uygulamalar ve Performans İpuçları

Etkili web scraping, birkaç önemli faktöre dikkat gerektirir:

  1. robots.txt'yi saygıyla karşılayın: Her zaman web sitesi tarama politikalarını kontrol edin ve bunlara uyun
  2. Oran sınırlaması uygulayın: Sunucuları aşırı yüklememek için istekler arasında gecikmeler ekleyin
  3. Uygun başlıklar kullanın: Tespiti önlemek için gerçek tarayıcı isteklerini taklit edin
  4. Hataları zarifçe işleyin: Sağlam istisna işleme uygulayın
  5. Sonuçları önbelleğe alın: Yinelemeli istekleri önlemek için çıkarılan verileri saklayın

Sonuç

BeautifulSoup ve Selenium birlikte, modern web scraping için kapsamlı bir araç seti sağlar. BeautifulSoup, statik içeriğin ayrıştırılmasında verimli bir şekilde çalışırken, Selenium dinamik JavaScript ile oluşturulan sayfaları yönetir. Her bir aracı ne zaman kullanacağınızı ve stratejik olarak birleştireceğinizi anlayarak, neredeyse herhangi bir web scraping zorluğunu aşabilirsiniz.

Her zaman sorumlu bir şekilde, web sitesi kullanım koşullarını dikkate alarak ve uygun hata işleme ile oran sınırlaması uygulayarak veri toplamayı unutmayın. Bu kütüphaneler ve en iyi uygulamalarla, uygulamalarınız ve araştırma projeleriniz için web'den değerli verileri çıkarmak için iyi donatılmış olacaksınız.

Share:
Related Posts