爬取youtube playlist时,找不到ytInitiaData

[ironGYII]

谢谢作者分享。今天突然接到爬虫需求，knowsmore对我有很大帮助。但是在运行过程中发现, ytInitiaData一直为None。只有在Request时带上请求头，{'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36'})才会返回ytInitiaData。

[libbit702]

非常感谢反馈，目前youtube的抓取逻辑是基于PC端的展示页面编写的，所以设置useragent为PC端的浏览器UA可以更顺利地得到期望页面内容；另外全局设置settings.py中的knowsmore.middlewares.RandomUserAgent， 底层使用了fake_useragent ，不过在Youtube.py中，我覆盖了middleware的全局设置，所以这部分全局设置是没有生效的
custom_settings = { 'DOWNLOADER_MIDDLEWARES' : { } }
可以考虑打开这个设置，这样在请求中就可以切换不同的UA来访问，如果量大也建议配合一些代理池来进行抓取