爬虫j***a开发,j***a开源爬虫项目

1. 写爬虫和用Java写爬虫的区别是什么？
2. JAVA爬虫爬取天猫某一个手机所有数据（包括品牌型号价格评论参数都要有）？
3. java和python在爬虫方面的优势和劣势是什么？
4. Java爬虫问题，网页核心文案是js动态获取的，如何使用java获取？

写爬虫和用java写爬虫的区别是什么？

没得区别的，用Java写爬虫代码

public class DownMM {

public static void main(String[] args) throws Exception {

//out为输出的路径,注意要以\\结尾

String out = "D:\\JSP\\pic\\JAVA\\";

try{

File f = new File(out);

if(! f.exists()) {

f.mkdirs();

}

J***A爬虫爬取天猫某一个手机所有数据（包括品牌型号价格评论参数都要有）？

httpClient client = new ***Client(); ***Method method = new PostMethod(indexUrl); client.executeMethod(method); method = new PostMethod("***://要抓取的地址"); client.executeMethod(method); // 返回的信息 // 程序运行到这里时，就读取了索引页的源代码，然后去除空白的换行 String letterContent = method.getResponseBodyAsString().replaceAll("\r\n", ""); // 这个方法是去解析这一页内容的 // 这里是默认执行的第一页. handleFirstIndex(client, method, letterContent,indexUrl); // 释放连接 method.releaseConnection();

j***a和python在爬虫方面的优势和劣势是什么？

做过数年爬虫，Python和J***a都用过（主要用Python），亲身感受来回答问题。

做爬虫是一个很有意思的事情，它不是算算数字也不是画图，更像是模拟人类来做重复性的琐碎工作，同时要和反爬虫斗智斗勇。

我们抛开语言，先看看什么是做爬虫开发要注意的或者更重要的：

据说最好的编程语言是你已经熟悉的——网络爬虫也是这样。在学习使用时，可能会加快速度——站在凳子上拿高处东西会容易些。

并不需要从头开始，因为有许多第三方库专门用于网络爬虫——憋重头造轮子阿——站在巨人肩膀上更容易摸到月亮——也更容易掉下来。

从网站爬行和提取数据涉及各种问题——I/O机制、通信、多线程、任务调度和重复数据删除等等。语言框架将对爬网效率产生重大影响。

许多初学者都在思考编程语言在速度方面的问题。但是处理速度一般不是这里的瓶颈。实际上，影响速度的主要因素是I / O（输入/输出），因为网络爬虫就是发送请求和接收响应。与互联网的沟通是这里的真正瓶颈。互联网的速度无法与您机器内处理器的速度相匹配。

python

网络功能强大，模拟登陆、解析j***ascript，短处是网页解析python写起程序来真的很便捷，著名的python爬虫有scrapy等

j***a

j***a有很多解析器，对网页的解析支持很好，缺点是网络部分j***a开源爬虫非常多，著名的如 nutch 国内有webmagicj***a优秀的解析器有htmlparser、jsoup对于一般性的需求无论j***a还是python都可以胜任。如需要模拟登陆、对抗防***集选择python更方便些，如果需要处理复杂的网页，解析网页内容生成结构化数据或者对网页内容精细的解析则可以选择j***a。

爬虫目前主要开发语言为j***a、Python、c++对于一般的信息***集需要，各种语言差别不大。c、C++搜索引擎无一例外使用C\C++ 开发爬虫，猜想搜索引擎爬虫***集的网站数量巨大，对页面的解析要求不高，部分支持j***ascriptpython网络功能强大，模拟登陆、解析j***ascript，短处是网页解析python写起程序来真的很便捷，著名的python爬虫有scrapy等j***aj***a有很多解析器，对网页的解析支持很好，缺点是网络部分j***a开源爬虫非常多，著名的如 nutch 国内有webmagicj***a优秀的解析器有htmlparser、jsoup对于一般性的需求无论j***a还是python都可以胜任。如需要模拟登陆、对抗防***集选择python更方便些，如果需要处理复杂的网页，解析网页内容生成结构化数据或者对网页内容精细的解析则可以选择j***a。

J***a爬虫问题，网页核心文案是js动态获取的，如何使用j***a获取？

即使js动态获取，他也是有一个请求地址的，你可以通过chrome或fireFox的[_a***_]功能把他找到！按F12，然后在控制台打开后刷新页面！控制台会显示所有的网络调用地址！你找一下就有了！然后你按他的get或post到这个地址就能拿到数据了！（登录用户的话记得带上cookie）