在Azure Web应用中使用服务帐户进行Web爬虫 – 如何处理Azure Active Directory单一登录？

38次阅读

问题描述

在Azure云中有一些私有的Web应用程序，这些Web应用程序仅由一组动态Web页面组成。用户希望运行一个Web爬虫来抓取这些内容。需要注意的是，用户抓取的是Azure Web应用程序站点，而不是SharePoint。然而，用户遇到了身份验证问题：访问页面时会提示使用Microsoft单一登录。而传统的用户名/密码方法（如NTLM）或基于表单的身份验证（使用HTTP或Selenium）并不可用。默认情况下，只允许通过Azure Active Directory云登录进行单一登录。用户了解到可能涉及应用程序注册、服务帐户、OAuth等，但在具体操作上遇到了困难，不知道该如何处理。

解决方案

请注意以下操作可能涉及版本差异或有一定风险。在操作之前，请确保做好相关的备份和准备工作。

使用Azure Active Directory进行身份验证

针对Azure Web应用的爬虫，需要使用Azure Active Directory进行身份验证。以下是处理方法的一个通用步骤：

创建Azure Active Directory应用程序注册
登录到Azure门户（https://portal.azure.com/）。
导航到”Azure Active Directory”服务。
在左侧导航栏中，选择”应用注册”，然后点击”新注册”。
输入应用程序的名称，选择所需的受支持帐户类型（通常是”任何组织目录（任何Azure AD目录 – 多租户）”），并设置重定向URL。
完成应用注册。
配置应用程序权限
在应用程序注册的”API权限”选项卡中，点击”添加权限”。
选择”Microsoft Graph”，然后选择适当的权限（例如，User.Read、Sites.Read.All等）。
保存更改。
获取应用程序凭据
在应用程序注册的”证书和密码”选项卡中，可以生成应用程序的客户端ID和客户端机密（或证书）。
这些凭据将在爬虫脚本中用于身份验证。
编写爬虫脚本
使用适合的编程语言（例如Python）编写爬虫脚本。
在脚本中，使用先前获得的应用程序客户端ID和机密来获取Azure Active Directory访问令牌。
使用该访问令牌向目标Azure Web应用发送HTTP请求，进行爬取。

这个解决方案的核心是创建Azure Active Directory应用程序注册并配置适当的权限，然后使用应用程序的凭据进行身份验证，最后编写爬虫脚本来执行实际的抓取操作。可以使用适当的SDK来简化Azure Active Directory的操作，也可以手动配置HTTP请求。

请根据具体需求和环境进行调整，并确保在实际操作前阅读相关文档和指南，以适应可能的变化和更新。

可能涉及的额外工具

如果你需要在命令行中执行HTTP请求，可以考虑使用curl或者Postman等工具。这些工具能够帮助你手动构建和发送HTTP请求，从而模拟登录过程。然而，对于Azure Active Directory的身份验证，还是建议使用Azure提供的SDK或者编程语言中的库来进行操作，以便更好地集成Azure的功能和机制。