在普通的蜘蛛中，您可以使用请求对象来打开URL。如果要打开的页面包含JS生成的数据，则必须使用SplashRequest(或SplashFormRequest)来呈现页面。下面是一个简单的例子：class MySpider(scrapy.Spider):
name = "jsscraper"
start_urls = ["http://quotes.toscrape.com/js/"]
def start_requests(self):
for url in self.start_urls:
yield SplashRequest(
url=url, callback=self.parse, endpoint='render.html'
)
def parse(self, response):
for q in response.css("div.quote"):
quote = QuoteItem()
quote["author"] = q.css(".author::text").extract_first()
quote["quote"] = q.css(".text::text").extract_first()
yield quote
SplashRequest将URL呈现为html，并返回您可以在回调(解析)方法中使用的响应。