在Docker环境中使用Nginx作为透明的中间人转发代理

95次阅读

问题描述

在Docker环境中使用Nginx（或Squid等）是否能够设置透明的中间人转发代理？他拥有三种类型的容器：主要的Web API、一个工作节点和一个代理。
– 主要的API向工作节点发出任务，工作节点的所有出站流量都必须经过代理。
– 使用中间人攻击来捕获和记录所有的HTTP和HTTPS流量，最好是以WARC格式记录，如果不行，则必须以原样捕获套接字活动，逐字节记录。即不进行代理的HTTP头/正文解析等操作。
– 从工作节点发出的某些出站流量将被允许（如AWS、GitHub），但其他所有流量必须通过代理，或者以其他方式被阻止。
– 此外，在记录流量时，必须将其与特定的任务/工作节点匹配。
– 为了上下文，记录的流量将用于创建带有CDXJ索引的WARC/WACZ存档，并可以在以后的日期进行回放（类似于Web存档解决方案的工作原理）。

根据这个文档：https://gist.github.com/dannvix/5261642，用户想要做以下操作：
– 找到合适的nginx.conf，使Nginx充当转发代理。
– 使用dnsmasq设置自定义DNS服务器，将所有流量路由到代理服务器。
– 使Nginx使用自签名证书。
– 在工作节点上安装并信任根证书。

用户现在不确定如何：
– 使工作节点容器将所有流量通过Nginx代理容器路由。
– 让这适用于任何域名（不仅限于在GitHub Gist中使用的api.example.org）。
– 使用Docker Compose完成所有这些操作。

解决方案

请注意以下操作可能涉及到版本差异，或者可能需要根据具体情况进行调整。

使用Nginx作为透明中间人代理

在Docker Compose环境中，将Nginx配置为透明中间人代理需要以下步骤：

编写docker-compose.yml文件：
在你的项目目录中，创建一个docker-compose.yml文件，并定义三种容器：主要的Web API容器，工作节点容器和代理容器。
定义代理服务：
在docker-compose.yml文件中，为代理服务定义一个容器。同时，确保代理容器能够访问主要的Web API和工作节点容器。以下是一个示例：

“`yaml
version: ‘3’
services:
main_api:
image: your_main_api_image:latest
# 定义主要Web API容器的配置

 worker:
   image: your_worker_image:latest
   # 定义工作节点容器的配置

 proxy:
   image: nginx:latest
   # 定义代理容器的配置

“`

配置Nginx代理：
在代理容器中配置Nginx作为透明中间人代理。使用Nginx的proxy_pass指令将流量转发到工作节点容器。以下是一个示例Nginx配置片段：

“`nginx
server {
listen 80;
server_name _;

 location / {
   proxy_pass http://worker:port;  # 替换为工作节点容器的地址和端口
   proxy_set_header Host $host;
   proxy_set_header X-Real-IP $remote_addr;
   proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
   proxy_set_header X-Forwarded-Proto $scheme;
 }

}
“`

自签名证书：
为Nginx配置自签名证书以处理HTTPS流量。可以使用openssl生成自签名证书，并在Nginx配置中引用它。
配置DNS解析：
使用dnsmasq或其他工具为代理容器配置自定义DNS服务器，将流量引导到代理服务器。确保你的工作节点容器使用这个自定义DNS服务器。
安装根证书：
在工作节点容器中安装并信任Nginx代理容器的根证书，以确保流量可以正确解密和转发。
适用于任何域名：
如果你想让代理适用于任何域名，可以使用通配符*来匹配所有域名。例如，将Nginx配置中的server_name设置为_。

日志记录网络流量

要在Nginx中记录原始请求和响应字节，可以调整日志格式以记录更多信息。然而，要完全记录原始的套接字字节可能需要更多的定制化解决方案。考虑以下步骤：

自定义日志格式：
在Nginx配置中定义一个自定义的日志格式，以便将更多的信息记录下来。以下是一个示例：

nginx http { log_format raw_format '$remote_addr - $remote_user [$time_local] ' '"$request" $status $body_bytes_sent ' '"$http_referer" "$http_user_agent" ' '"$request_body" "$bytes_sent"'; access_log /path/to/access.log raw_format; }

在上面的示例中，我们使用了$request_body和$bytes_sent变量来记录请求体和响应字节数。