Skip to content

javascript支持,性能,反扒 #2

Description

@Foristkirito

我之前也做过一个爬虫的小项目,你说的该项目的特点挺好的,但是就我个人而言,不是非常在意。感觉最关心的内容如下:

  • javascript 支持。很多网页,包括当当,苏宁等,有部分数据都是通过 javascript 渲染得到的,这个框架是否提供支持,可能这个是使用者应该做的,但是这种场景下,框架有和优势。

  • 性能。对于一本的文本网页,其实性能都不是问题,主要和网速有关。但是在这种场景下:
    1. 租的vps, 当然越便宜越好,性能也越差。
    2. 起一个支持 javascript 的 core,耗内存非常严重(当然相对于租的 vps 而言)
    这样一来性能就很敏感了,比起线程,我更倾向于协程。

  • 反扒。这个真的是非常让人头疼的问题,之前做的最让人头疼的就是爬亚马逊。基本无解,但是对于豆瓣这种,应该还是可以解决的,这个框架是否有相应的应对措施?

这是我选择一个爬虫框架考虑的点,省时、省钱、省事。不过作者这个框架确实是很与众不同的,支持!

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions