「スクレイピング」タグの記事が2件件あります

AWSサービス一覧がかなりのいいねをいただきましたので第2段です。

AWSのサービスの東京リージョン、大阪ローカルリージョンの対応状況をまとめました。

最新情報はこちらです https://aws.amazon.com/jp/about-aws/global-infrastructure/regional-product-services/

東京リージョンにも大阪ローカルリージョンにもあるサービス​

東京リージョンにはあるけど大阪リージョンにないサービス​

東京リージョンにも大阪ローカルリージョンにもないサービス​

感想​

大阪ローカルリージョンで提供されているサービスがかなり限定的なことと、東京リージョンにはほとんどのサービスが提供されていることがわかります。

スクレイピングのソース​

import requests
from bs4 import BeautifulSoup

def parse_html_region():
  url = 'https://aws.amazon.com/jp/about-aws/global-infrastructure/regional-product-services/'
  r = requests.get(url)
  soup = BeautifulSoup(r.content, 'lxml')

  table = soup.find('div', id="element-0eb92496-750c-475f-9def-ee305caff349")

  row = {}
  for tr in table.find_all('tr'):
    column = []
    for td in tr.find_all('td'):
      column.append(td.text.replace(u"\xa0",u""))
    row[column[0]] = column
  
  return row

regions = parse_html_region()

print ('### 東京リージョンにも大阪ローカルリージョンにもあるサービス')
print ()
print('| サービス名 |')
print('|  --- |')
for key in regions:
  service = regions[key]
  tokyo = service[2]
  osaka = service[3]
  if (tokyo == '✓') and (osaka == '✓'):
    print('| %s |' % (service[0]))

print ()
print ('### 東京リージョンにはあるけど大阪リージョンにないサービス')
print ()
print('| サービス名 |')
print('|  --- |')

for key in regions:
  service = regions[key]
  tokyo = service[2]
  osaka = service[3]
  if (tokyo == '✓') and (not osaka):
    print('| %s |' % (service[0]))

print ()
print ('### 東京リージョンにも大阪ローカルリージョンにもないサービス')
print ()
print('| サービス名 |')
print('|  --- |')
for key in regions:
  service = regions[key]
  tokyo = service[2]
  osaka = service[3]
  if (not tokyo):
    print('| %s |' % (service[0]))

2019年1月13日現在、AWSのサイトの上部メニューの「製品」からサービスが確認できますが 作りがおしゃれすぎて、見づらいですよね。

なので、一覧を作りました。 また参考までに一覧をどうやって作ったかも書いておきます。

更新履歴は一番末尾に移動しました。

AWSサービス一覧​

分析​

アプリケーション統合​

ブロックチェーン​

コミュニケーションデベロッパーサービス​

クラウド財務管理​

コンピューティング​

コンタクトセンター​

コンテナ​

データベース​

デベロッパーツール​

エンドユーザーコンピューティング​

ウェブとモバイルのフロントエンド​

Game Tech​

IoT​

Machine Learning​

マネジメントとガバナンス​

メディアサービス​

移行と転送​

ネットワーキングとコンテンツ配信​

量子テクノロジー​

ロボット工学​

人工衛星​

セキュリティ、アイデンティティ、コンプライアンス​

サーバーレス​

ストレージ​

AR と VR​

スクレイピング方法​

Pythonでやりました。

import requests
from bs4 import BeautifulSoup,NavigableString
import re
import json

def parse_html():

    url = 'https://s0.awsstatic.com/ja_JP/nav/v3/panel-content/desktop/index.html'
    response = requests.get(url)

    soup = BeautifulSoup(response.text, 'html.parser')
    category = soup.select('div[id^=products-]')

    groups = []

    for c in category:
        if c['id'] == 'products-featured':
            continue
        
        col_1 = c.select_one('div[class=m-nav-col-1]')

        group = {}
        service = []
        groups.append(group)

        for cc in col_1.find_all('div', recursive=False):

            a = cc.find('a')
            span = a.find('span')

            service_url = a['href']
            service_name = a.get_text('', strip=True)
            service_description = ''
            if span is not None:
                service_description = span.get_text('', strip=True)
                service_name = service_name.replace(service_description, '')
                s = {
                    'name': service_name,
                    'description': service_description,
                    'href': service_url
                }
                service.append(s)
            else:
                group['genre'] = service_name
                group['service'] = service
                
    return groups

def print_markdown(services):
  base_url = 'https://aws.amazon.com'

  for s in services:
    # print('----------')
    print ('### %s' % (s['genre']))
    # print('----------')

    print()
    print('| サービス名 | 説明 |')
    print('| --- | --- |')

    for service in s['service']:
      name = service['name']
      description = service['description']
      if (service['href'].startswith('/')) :
        href = base_url + service['href']
      else:
        href = service['href']

      print('| [%s](%s) | %s |'% (name, href, description))
    print()


print_markdown(parse_html())

参考サイト​

https://qiita.com/h1na/items/d305d49b5a27e92d132a https://qiita.com/itkr/items/513318a9b5b92bd56185

更新履歴​

2019/1/20更新 たくさんのいいねをいただきましたので、第2段を書きました

AWSのサービスの東京リージョン、大阪ローカルリージョンの対応状況

2019/3/31更新 最新の内容に更新しました。

• 翻訳が結構変わってる
• 追加サービス
  • Amazon DocumentDB (MongoDB 互換)
  • Amazon WorkLink
  • AWS Backup
  • AWS 予算がAWS Budgetsに
  • Amazon GlacierがAmazon S3 Glacierに
• Amazon RDSの説明のPostgresSQLがPostgreSQLに
  ※ @shge さんに編集リクエスト頂いていた件、本家が修正されてました。
• デスクトップとアプリケーションのストリーミングのグループがなくなってエンドユーザーコンピューティングが新設

2019/6/9更新

• AWS AppSyncの説明文が変更
• Elastic Load Balancing (ELB)がコンピューティングからネットワークとコンテンツ配信に移動
• AWS 深層学習コンテナが新規追加
• AWS Organizationsがセキュリティ、アイデンティティ、コンプライアンスからマネジメントとガバナンスに移動
• CloudEndure 移行が新規追加
• Amazon VPC PrivateLinkがAWS PrivateLinkに名称変更、説明文が変更
• AWS Secrets Managerの説明文が変更
• Amazon FSx for Lustreの説明文が変更

2019/7/7更新

• メディアサービスにAWS Elemental アプライアンスとソフトウェアが追加
• セキュリティ、アイデンティティ、コンプライアンスにAWS Resource Access Managerが追加

2019/8/12更新

• Amazon Managed Streaming for KafkaがAmazon Managed Streaming for Apache Kafkaにサービス名変更
• Amazon Redshiftの説明文が微妙に変更
• アプリケーション統合にAmazon EventBridgeが追加
• Amazon MQの説明文が微妙に変更
• Amazon WorkDocsがエンドユーザーコンピューティングからビジネスアプリケーションに移動
• Amazon Elastic Container Service for KubernetesがAmazon Elastic Kubernetes Serviceにサービス名変更
• 開発者用ツールの並びが変更
• 開発者用ツールにAWS クラウド開発キットが追加
• AWS コマンドラインインターフェイスの説明文が微妙に変更
• マネジメントとガバナンスにAWS Chatbotが追加
• セキュリティ、アイデンティティ、コンプライアンスからAmazon Cloud Directoryが削除（減ることもあるんですね）

2019/10/12更新

• 分析のAmazon EMRとAmazon Elasticsearch Serviceの並びが変更
• 開発者用ツールにAWS Device Farmが追加

2020/1/3更新

あけましておめでとうございます。 re:Invent 2019があったため、更新が多めです。

• 分析にAWS Data Exchangeが追加
• AWS コスト管理にSavings Plansが追加
• コンピューティングにAWS Wavelengthが追加
• カスタマーエンゲージメントにContact Lens for Amazon Connectが追加
• データベースにAmazon Managed Apache Cassandra サービスが追加
• 開発者用ツールのAWS クラウド開発キットがAWS Cloud Development Kit (CDK)に名称変更
• 機械学習にAmazon Augmented AI、Amazon CodeGuru (プレビュー)、Amazon Fraud Detector、Amazon Kendra、AWS DeepComposerが追加
• 機械学習のAWS 深層学習コンテナがAWS Deep Learning Containersに名称変更
• マネジメントとガバナンスにAWS Compute Optimizerが追加
• マネジメントとガバナンスのAWS マネージドサービスがAWS Managedに名称変更
• 移行と転送のAWS Transfer for SFTPの説明文が変更
• 移行と転送のCloudEndure 移行のURLが変更
• 量子テクノロジーにAmazon Braketが追加（量子テクノロジーカテゴリも追加）
• セキュリティ、アイデンティティ、コンプライアンスにAmazon Detectiveが追加
• ストレージにCloudEndure の災害対策が追加

2020/4/26更新

• コンテナカテゴリが増え、ECR、ECS、EKS、Fargateがコンピューティングから移動
• Amazon Managed Apache Cassandra サービスがAmazon Managed Apache Cassandra Serviceに名称変更
• Amazon FreeRTOSがFreeRTOSに名称変更
• Amazon Fraud Detectorに(プレビュー)の文字が追加
• Amazon Kendraの説明文が少し更新
• AWS Identity and Access Management (IAM)の説明文がユーザーアクセスと暗号化キーを管理からサービスとリソースへのアクセスを安全に管理に更新
• CloudEndure の災害対策がCloudEndure Disaster Recoveryに名称変更

2020/9/5更新

• アプリケーション統合カテゴリにAmazon AppFlowが追加
• ビジネスアプリケーションカテゴリにAmazon Honeycode (ベータ)が追加
• Amazon WorkDocsの説明が変更
• コンピューティングカテゴリにAWS Snow ファミリーが追加（AWS Snow ファミリーは他のカテゴリにもあります）
• コンテナカテゴリにAWS App2Containerが追加
• データベースカテゴリのAmazon Managed Apache Cassandra ServiceがAmazon Keyspaces (Apache Cassandra 用)に名称変更
• 開発者用ツールカテゴリの名称がデベロッパー用ツールに変更
• デベロッパー用ツールカテゴリにAWS CodeArtifactとAmazon CodeGuruが追加
• 機械学習カテゴリのAmazon CodeGuruの名称からプレビューが消えて、説明が変更
• 機械学習カテゴリにAWS での PyTorchが追加
• メディアサービスカテゴリにAmazon Interactive Video Serviceが追加
• メディアサービスカテゴリのAmazon Kinesis Video Streamsの説明が変更
• 移行と転送カテゴリのAWS Transfer for SFTPがAWS Transfer Familyに名称変更
• 移行と転送カテゴリのCloudEndure 移行がCloudEndure Migrationに名称変更
• 移行と転送カテゴリにMigration Evaluator (旧 TSO Logic)が追加
• セキュリティ、アイデンティティ、コンプライアンスカテゴリのAmazon Macieの説明が変更
• ストレージカテゴリのAWS Snow ファミリーの説明が変更

久しぶりの更新なので多かったです。

2021/2/20更新

• アプリケーション統合カテゴリのAmazon AppFlowの説明が変更
• アプリケーション統合カテゴリにAmazon Managed Workflows for Apache Airflowが追加
• アプリケーション統合カテゴリのAmazon MQの説明が変更
• アプリケーション統合カテゴリのAmazon Simple Notification Service (SNS)の説明が変更
• コンピューティングカテゴリのAWS Elastic Beanstalkの説明が変更
• コンピューティングカテゴリのAWS Serverless Application Repositoryの説明が変更
• コンピューティングカテゴリのAWS Snow ファミリーの説明が変更
• コンテナカテゴリにAmazon ECS Anywhere (近日公開)、Amazon EKS Distro、AWS での Red Hat OpenShiftが追加
• コンテナカテゴリのAWS App2Container`の説明が変更
• カスタマーエンゲージメントカテゴリのContact Lens for Amazon Connectの説明が変更
• データベースカテゴリにAmazon Aurora Serverless v2 (プレビュー)が追加
• データベースカテゴリのAmazon Keyspaces (Apache Cassandra 向け)の名称が変更
• デベロッパー用ツールカテゴリにAWS CloudShellが追加
• デベロッパー用ツールカテゴリのAWS CodeArtifactの説明が変更
• デベロッパー用ツールカテゴリにAWS Fault Injection Simulator (近日公開)が追加
• エンドユーザーコンピューティングカテゴリのAmazon AppStream 2.0の説明が変更
• モバイルカテゴリがウェブとモバイルのフロントエンドに名称変更
• ウェブとモバイルのフロントエンドカテゴリのAWS Amplifyの説明が変更
• ウェブとモバイルのフロントエンドカテゴリにAmazon Location Service (プレビュー)が追加
• 機械学習カテゴリがMachine Learningに名称変更
• Machine LearningカテゴリにAmazon DevOps Guruが追加
• Machine LearningカテゴリのAmazon Elastic Inferenceの説明が変更
• Machine LearningカテゴリのAmazon Kendraの説明が変更
• Machine LearningカテゴリにAmazon Lookout for Equipment (プレビュー)、Amazon Lookout for Metrics (プレビュー)、Amazon Lookout for Vision (プレビュー)、Amazon Monitron、Amazon SageMaker Data Wrangler、AWS Panorama (プレビュー)が追加
• Machine LearningカテゴリのAmazon Personalizeの説明が変更
• Machine LearningカテゴリのAWS DeepComposerの説明が変更
• Machine LearningカテゴリのAWS Inferentiaの説明が変更
• マネジメントとガバナンスカテゴリのAWS コンソールモバイルアプリの説明が変更
• マネジメントとガバナンスカテゴリにAWS Distro for OpenTelemetry (プレビュー)、Amazon Managed Service for Grafana (プレビュー)、Amazon Managed Service for Prometheus (プレビュー)、AWS Proton (プレビュー)が追加
• マネジメントとガバナンスカテゴリのAWS OpsWorksの説明が変更
• マネジメントとガバナンスカテゴリのAWS Service Catalogの説明が変更
• マネジメントとガバナンスカテゴリのAWS Systems Managerの説明が変更
• メディアサービスカテゴリのAWS Elemental MediaConnectの説明が変更
• 移行と転送カテゴリのAWS Snow ファミリーの説明が変更
• ネットワークとコンテンツ配信カテゴリがネットワーキングとコンテンツ配信に名称変更
• セキュリティ、アイデンティティ、コンプライアンスカテゴリのAmazon Cognitoの説明が変更
• セキュリティ、アイデンティティ、コンプライアンスカテゴリにAWS Audit Manager、AWS Network Firewallが追加
• セキュリティ、アイデンティティ、コンプライアンスのAWS Certificate Managerの説明が変更
• セキュリティ、アイデンティティ、コンプライアンスのAWS Resource Access Managerの説明が変更
• サーバーレスカテゴリが追加
• サーバーレスカテゴリにAWS Lambda、Amazon API Gateway、Amazon DynamoDB、Amazon EventBridge、Amazon Simple Notification Service (SNS)、Amazon Simple Queue Service (SQS)、Amazon Simple Storage Service (S3)、AWS AppSync、AWS Fargate、AWS Step Functionsが追加
• AR と VRカテゴリがVR および ARに名称変更

サボってたので、すごい数でした。

2021/05/11更新

• AWS Data Exchangeの説明が変更
• コンテナカテゴリにAWS Copilot追加
• AWS Managed ServicesがAWS マネージドサービスに名称変更
• Migration Evaluator（旧 TSO Logic）がMigration Evaluator (旧 TSO Logic)に名称変更
• Amazon FSx for Windows File ServerがAmazon FSx for Windows ファイルサーバーに名称変更

2021/12/27更新

スクレイピングするスクリプトを更新しました。