基于JAVA的网络爬虫脚本语言:CrawlScript 经验

基于JAVA的网络爬虫脚本语言,可以直接使用或用JAVA二次开发。 网络爬虫即自动获取网页信息的一种程序,有很多JAVA、C++的网络爬虫类库,但是在这些类库的基础上开发十分繁琐,需要大量的代码才可以

jopen 2014-01-18   20157   0

苹果官方证实“AppleBot”网络爬虫 资讯

苹果官方已经证实传闻已久的“AppleBot”网络爬虫存在。这种苹果官方推出的网络爬虫,去年十一月被外界发现。现在,苹果在最近更新的支 持文档当中给出了一些细节。据苹果表示,“AppleBot”网络爬虫主要用于苹果 Siri

efbb 2015-05-06   6094   0
苹果  

轻量化易用网络爬虫Gecco v1.2.3 发布 资讯

Gecco是一款用java语言开发的轻量化的易用的网络爬虫。Gecco整合了jsoup、httpclient、fastjson、spring、htmlunit、redission等优秀框架,让您只需要

jopen 2016-08-19   13865   0
Gecco   爬虫   Java  

python 爬虫 代码段

学习python就一直想做爬虫的东西,还要继续学 理论上的东西一要加强 #!/usr/bin/python #coding=utf-8 import urllib import re def getHtml(url):

atts 2016-01-22   1227   0
爬虫  
P38

  python爬虫 文档

1. Python爬虫 许超英 2. python爬虫基础知识: Python基础知识 Python中urllib和urllib2库的用法 Python正则表达式 Python爬虫框架Scrapy Python爬虫更高级的功能

xcyflyer 2016-05-26   826   0
Python开发   HTTP   HTML   JSON   Python  

Scrapy安装、爬虫入门教程、爬虫实例(豆瓣电影爬虫 经验

上面的入门教程是很基础的,先跟着作者走一遍,要动起来哟,不要只是阅读上面的那篇入门教程,下面我简单总结一下Scrapy爬虫过程: 1、在Item中定义自己要抓取的数据 : movie_name就像是字典中的“键”,爬到的数据就像似字典中的“值”。

jopen 2015-05-28   47485   0

简单的java爬虫抓取网页实现代码 代码段

import java.io.IOException; import java.util.LinkedList; import java.util.List; import java.util.Queue; import java.util.regex.Matcher; import java.util.regex.Pattern; import org.jsoup.Jsoup; import o

nbnb 2015-01-04   16607   4
爬虫  

简单的电子邮件爬虫Python代码 代码段

import requests import re try: from urllib.parse import urljoin except ImportError: from urlparse import urljoin # regex email_re = re.compile(r'([\w\.,]+@[\w\.,]+\.\w+)') link_re = re.compile(r'href=

jopen 2015-10-14   2664   0
Python  

500 行 Python 代码构建一个轻量级爬虫框架 经验

引言 玩 Python 爬虫有段时间了,但是目前还是处于入门级别。 xcrawler 则是利用周末时间构建的一个轻量级的爬虫框架,其中一些设计思想借鉴了著名的爬虫框架 Scrapy 。既然已经有像

zwye2010 2016-12-26   32116   0

iOS检查网络是否可用的代码 代码段

SCNetworkReachabilityFlags flags; BOOL receivedFlags; SCNetworkReachabilityRef reachability = SCNetworkReachabilityCreateWithName(CFAllocatorGetDefault(), [@"google.com" UTF8String]); receivedFlags =

n5b6 2015-01-20   1336   0
IOS  

C#修复网络连接代码 代码段

namespace 修复网络连接 { public partial class form1 : Form { DateTime ds; int timescan; System.Diagnostics

bdnp 2015-05-02   2608   0
C#  

Go标准网络使用示例代码:GoNetworking 经验

GoNetworking提供了一些示例代码演示了如何使用Go的标准网络库来进行明文和加密的通信。 package main import ( . "fmt" "net/http" ) const MESSAGE

jopen 2014-11-20   10266   0
P78

  java网络五子棋的源代码 文档

下面的源代码分为4个文件; chessClient.java:客户端主程序。 chessInterface.java:客户端的界面。 chessPad.java:棋盘的绘制。 chessServer

S20062052 2012-05-09   9192   0

Android的Volley网络Get/Post请求包实例代码 代码段

1. GET请求 // 1.创建请求队列 RequestQueue volleyRequestQueue = Volley.newRequestQueue(this); // 2.json get请求处理 JsonObjectRequest jsonObjectRequest = new JsonObjectRequest( Request.Method.GET, "your server url

jopen 2015-02-13   9240   0
Android  

Android 通过网络获取图片的代码 代码段

Android 通过网络获取图片的代码 主activity package com.netimg; import android.app.Activity; import android.graphics

cwf8 2015-03-25   4844   0
Android  

iphone判断网络链接是否正常的代码 代码段

+(BOOL)connectedToNetwork{ struct sockaddr_in zeroAddress; bzero(&zeroAddress;, sizeof(zeroAddress)); zeroAddress.sin_len = sizeof(zeroAddress); zeroAddress.sin_family = AF_INET; SCNetworkReachability

jopen 2015-07-08   797   0
IOS  

Android检测是否有网络代码 经验

主要是用来检测是否有网络,如果没有,就去wifi里面去进行设置网络。。。 下面贴一下主要代码: private void checkNetWorkInfo() { if (!Tools.isN

jopen 2014-06-12   34760   0

Android 获取网络图片的代码 代码段

import android.app.Activity; import android.graphics.Bitmap; import android.graphics.BitmapFactory; import android.os.Bundle; import android.view.View; import android.view.View.OnClickListener; import

3y8nn 2015-01-15   4956   0
Android  

Web 爬虫:scrape 经验

scrape 是一个使用 Go 语言开发的简单高级Web 爬虫。 示例代码: package main import ( "fmt" "net/http" "github.com/yhat/scrape"

jopen 2015-05-24   15210   0

Web爬虫 larbin 经验

larbin是一种开源的网络爬虫/网络蜘蛛,由法国的年轻人 Sébastien Ailleret独立开发。larbin目的是能够跟踪页面的url进行扩展的抓取,最后为搜索引擎提供广泛的数据来源。Larbin只是一个爬虫,也就

jopen 2012-10-13   25366   0
1 2 3 4 5 6 7 8 9 10