# Request

## 简介

Request为feapder的下载器，基于requests进行了封装，因此支持requests的所有参数

我们可以直接调用框架中的Request发起请求，使用示例：

```
from feapder import Request

request = Request("https://www.baidu.com", data={}, params=None)
response = request.get_response()
print(response)
```

返回的response支持xpath、css等表达式，具体用法见[Response](source_code/Response)

Request除了支持requests的所有参数外，更需要关心的是框架中支持的参数

## 参数详解

```python
@summary: Request参数
---------
框架参数
@param url: 待抓取url
@param retry_times: 当前重试次数
@param priority: 请求优先级 越小越优先 默认300
@param parser_name: 回调函数所在的类名 默认为当前类
@param callback: 回调函数 可以是函数 也可是函数名（如想跨类回调时，parser_name指定那个类名，callback指定那个类想回调的方法名即可）
@param filter_repeat: 是否需要去重 (True/False) 当setting中的REQUEST_FILTER_ENABLE设置为True时该参数生效 默认True
@param auto_request: 是否需要自动请求下载网页 默认是。设置为False时返回的response为空，需要自己去请求网页
@param request_sync: 是否同步请求下载网页，默认异步。如果该请求url过期时间快，可设置为True，相当于yield的reqeust会立即响应，而不是去排队
@param use_session: 是否使用session方式
@param random_user_agent: 是否随机User-Agent (True/False) 当setting中的RANDOM_HEADERS设置为True时该参数生效 默认True
@param download_midware: 下载中间件。默认为parser中的download_midware
@param is_abandoned: 当发生异常时是否放弃重试 True/False. 默认False
@param render: 是否用浏览器渲染
@param render_time: 渲染时长，即打开网页等待指定时间后再获取源码
--
以下参数于requests参数使用方式一致
@param method: 请求方式，如POST或GET，默认根据data值是否为空来判断
@param params: 请求参数
@param data: 请求body
@param json: 请求json字符串，同 json.dumps(data)
@param headers:
@param cookies: 字典 或 CookieJar 对象
@param files: 
@param auth: 
@param timeout: (浮点或元组)等待服务器数据的超时限制，是一个浮点数，或是一个(connect timeout, read timeout) 元组
@param allow_redirects : Boolean. True 表示允许跟踪 POST/PUT/DELETE 方法的重定向
@param proxies: 代理 {"http":"http://xxx", "https":"https://xxx"}
@param verify: 为 True 时将会验证 SSL 证书
@param stream: 如果为 False，将会立即下载响应内容
@param cert: 
--
@param **kwargs: 其他值: 如 Request(item=item) 则item可直接用 request.item 取出
---------
```

举例说明：如果我们不想用内置的下载器，写法如下：

    def start_requests(self):
        yield feapder.Request("https://www.baidu.com", auto_request=False)

    def parse(self, request, response):
        # response 为None， 需要自己去下载
        pass
        
        
## 方法详解

### 1. 发起请求，获取响应

```
def get_response(self, save_cached=False):
    """
    获取带有selector功能的response
    @param save_cached: 保存缓存 方便调试时不用每次都重新下载
    @return:
    """
```

save_cached 参数用于设置是否把响应缓存到redis，若为True, 需要配置redis连接信息。redis连接信息会读取setting.py文件，所以需要保证工作区间下有setting.py。

或者可以将连接信息设置为环境变量
以mac电脑为例

```
> vim ~/.bash_profile

export REDISDB_IP_PORTS='ip:port' # 多个地址用逗号隔开
export REDISDB_USER_PASS='xxx'
export REDISDB_DB='xxx' # 默认是0, 可不设置
export REDISDB_SERVICE_NAME='xxx' # 用于redis的哨兵模式，单节点或集群模式可不设置

```

这样，当框架读取不到setting时，便会取环境变量里的值

### 2. 从缓存中取响应

```
def get_response_from_cached(self, save_cached=True):
    pass
```

用于从上面的缓存中取response。当缓存不存在时，会先下载，然后将响应存入缓存，之后再返回响应。缓存同样依赖redis，因此需要先配置好redis连接信息

### 3. 删除缓存

```
def del_response_cached(self)
    pass
```

### 4. 复制Request

```
def copy(self):
    pass
```

## 缓存机制

### 1. 缓存有效期

缓存使用redis的str结构存储，每条缓存对应一个key，默认有效期20分钟，可以通过 `Request.cached_expire_time=过期时间`来设置

### 2. 缓存key

默认的key为 `response_cached:test:request指纹`

可通过`Request.cached_redis_key`设置，设置后为 `response_cached:自定义的key:request指纹`

## 代理及UserAgent

 代理及UA的设置优先取传递的参数，若参数没指定，则依赖`setting.py`的配置，默认如下：

```python
# 设置代理
PROXY_EXTRACT_API = None  # 代理提取API ，返回的代理分割符为\r\n
PROXY_ENABLE = True

# 随机headers
RANDOM_HEADERS = True
# requests 使用session
USE_SESSION = False
```

PROXY_EXTRACT_API 为代理的提取地址，如

```python
PROXY_EXTRACT_API="http://xxxx"
```

返回的代理格式为：

```
ip:port
ip:port
ip:port
```