AWSではIoT CoreをはじめDevice Mangementなど関連サービスが多数提供されています。IoT系サービスを試してみる場合、IoTという特性上クラウド側の準備の他にデバイス側も準備する必要があり、かなり手間がかかってしまいます。デバイス側の手間を削減するため、AWSがデバイス側のソフトウェアとしてAWS IoT Device ClientをOSSで公開していますので、これを使って簡単にPoCを始めることができます。
過去にQiitaに投稿した内容のアーカイブです。
前回の続きです。 Greengrass側で動作するPythonプログラムからAWS IoT Coreへメッセージをパブリッシュできました。
公式ドキュメントがまだ整ってないのでちょっと大変でした。 https://docs.aws.amazon.com/greengrass/v2/developerguide/interprocess-communication.html#ipc-iot-core-mqtt
ハード：Raspberry Pi 4 OS：Raspberry Pi OS(32bit)
$ tree
.
├── artifacts
│ └── com.example.HelloWorld
│ └── 1.0.0
│ ├── hello_world.py
│ └── ipc_utils.py
└── recipes
└── com.example.HelloWorld-1.0.0.yaml
これは公式ドキュメントにも記載があります。
## Copyright Amazon.com, Inc. or its affiliates. All Rights Reserved.
## SPDX-License-Identifier: Apache-2.0
import os
from awscrt.io import (
ClientBootstrap,
DefaultHostResolver,
EventLoopGroup,
SocketDomain,
SocketOptions,
)
from awsiot.eventstreamrpc import Connection, LifecycleHandler, MessageAmendment
TIMEOUT = 10
class IPCUtils:
def connect(self):
elg = EventLoopGroup()
resolver = DefaultHostResolver(elg)
bootstrap = ClientBootstrap(elg, resolver)
socket_options = SocketOptions()
socket_options.domain = SocketDomain.Local
amender = MessageAmendment.create_static_authtoken_amender(os.getenv("SVCUID"))
hostname = os.getenv("AWS_GG_NUCLEUS_DOMAIN_SOCKET_FILEPATH_FOR_COMPONENT")
connection = Connection(
host_name=hostname,
port=8033,
bootstrap=bootstrap,
socket_options=socket_options,
connect_message_amender=amender,
)
self.lifecycle_handler = LifecycleHandler()
connect_future = connection.connect(self.lifecycle_handler)
connect_future.result(TIMEOUT)
return connection
Javaのサンプルを参考に、頑張ってみました。
import awsiot.greengrasscoreipc.client as client
import awsiot.greengrasscoreipc.model as model
from ipc_utils import IPCUtils
import json
print("Start Lambda !!!")
ipc_utils = IPCUtils()
connection = ipc_utils.connect()
ipc_client = client.GreengrassCoreIPCClient(connection)
message = {"hello": "world"}
message = json.dumps(message).encode('utf-8')
request = ipc_client.new_publish_to_iot_core()
publishMessage = model.PublishToIoTCoreRequest(topic_name='test/topic', qos='1', payload=message)
future = request.activate(publishMessage)
result = future.result(timeout=10.0)
print("Finish Lambda !!!")
レシピの書き方が大苦戦。。
accessControlのところはaws.greengrass.ipc.mqttproxy、
operationsがaws.greengrass#PublishToIoTCore、
resourcesがトピック名です。
Greengrass 1.0のころのサブスクリプションのイメージですね。
---
RecipeFormatVersion: '2020-01-25'
ComponentName: com.example.HelloWorld
ComponentVersion: '1.0.0'
ComponentDescription: A component that publishes messages.
ComponentPublisher: Amazon
ComponentConfiguration:
DefaultConfiguration:
accessControl:
aws.greengrass.ipc.mqttproxy:
"com.example.HelloWorld:pubsub:1":
policyDescription: Allows access to publish to test/topic.
operations:
- "aws.greengrass#PublishToIoTCore"
resources:
- "test/topic"
Manifests:
- Lifecycle:
Install:
Timeout: 1000
Script: pip3 install awsiotsdk
Run: |
python3 {artifacts:path}/hello_world.py
Greengrass 2.0の特徴で、「Lambdaにデプロイせずにローカルでデプロイできる」機能があります。
sudo /greengrass/v2/bin/greengrass-cli \
--ggcRootPath=/greengrass/v2 \
deployment create \
--recipeDir recipes \
--artifactDir artifacts \
--merge "com.example.HelloWorld=1.0.0"
おめでとうございます！！！
過去にQiitaに投稿した内容のアーカイブです。
re:InventでGreengassのバージョンアップが発表されました〜！！！
AWS IoT Greengrass 2.0 を発表 — オープンソースエッジランタイムと新しい開発者向け機能
ちょっと試してみたのですが、1.0とは別物です（笑）
ハード：Raspberry Pi 4 OS：Raspberry Pi OS(32bit)
OSは新規インストール、SSH接続ができる状態でスタートしました。
いつものcgroup_enable=memory cgroup_memory=1を末尾に足します。
※いつもの過ぎて公式ドキュメントに載ってなさそう
- console=serial0,115200 console=tty1 root=PARTUUID=a1849cf9-02 rootfstype=ext4 elevator=deadline fsck.repair=yes rootwait quiet splash plymouth.ignore-serial-consoles
+ console=serial0,115200 console=tty1 root=PARTUUID=a1849cf9-02 rootfstype=ext4 elevator=deadline fsck.repair=yes rootwait quiet splash plymouth.ignore-serial-consoles cgroup_enable=memory cgroup_memory=1
Greengrass 2.0はなんとJavaでできております。Open JDKをインストールします。
sudo apt install openjdk-8-jdk
Greengrassの動作にはAWS CLIやAWSの認証情報は不要ですが、インストール作業には必要です。 （インストール時にモノの登録とかIAMロール、ポリシーの作成を行うからです）
インストール時だけ必要な認証情報なので、最近提供されたばかりの AWS CloudShellを使ってみます
ACCOUNT_ID=`aws sts get-caller-identity | jq -r '.Account'`
cat << EOF > GreengrassV2InstallAssumeRolePolicy.json
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::${ACCOUNT_ID}:root"
},
"Action": "sts:AssumeRole",
"Condition": {}
}
]
}
EOF
cat << EOF > GreengrassV2InstallPolicy.json
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"greengrass:CreateDeployment",
"iot:AddThingToThingGroup",
"iot:AttachPolicy",
"iot:AttachThingPrincipal",
"iot:CreateJob",
"iot:CreateKeysAndCertificate",
"iot:CreatePolicy",
"iot:CreateRoleAlias",
"iot:CreateThing",
"iot:CreateThingGroup",
"iot:DescribeEndpoint",
"iot:DescribeRoleAlias",
"iot:DescribeThingGroup",
"iot:GetPolicy",
"iam:GetRole",
"iam:GetPolicy",
"iam:CreateRole",
"iam:PassRole",
"iam:CreatePolicy",
"iam:AttachRolePolicy"
],
"Resource": "*"
}
]
}
EOF
aws iam create-policy --policy-name GreengrassV2InstallPolicy --policy-document file://GreengrassV2InstallPolicy.json
aws iam create-role --role-name GreengrassV2InstallRole --assume-role-policy-document file://GreengrassV2InstallAssumeRolePolicy.json
aws iam attach-role-policy --policy-arn arn:aws:iam::${ACCOUNT_ID}:policy/GreengrassV2InstallPolicy --role-name GreengrassV2InstallRole
aws sts assume-role --role-arn arn:aws:iam::${ACCOUNT_ID}:role/GreengrassV2InstallRole --role-session-name session1
こんな感じで出力されます
{
"Credentials": {
"AccessKeyId": "XXXXXXXXXX",
"SecretAccessKey": "XXXXXXXXXX",
"SessionToken": "XXXXXXXXXX",
"Expiration": "XXXX-XX-XXTXX:XX:XX+XX:XX"
},
"AssumedRoleUser": {
"AssumedRoleId": "XXXXXXXXXX",
"Arn": "XXXXXXXXXX"
}
}
cd ~
curl -s https://d2s8p88vqu9w66.cloudfront.net/releases/greengrass-nucleus-latest.zip > greengrass-nucleus-latest.zip
unzip greengrass-nucleus-latest.zip -d GreengrassCore
先程取得した認証情報を環境変数にセットします。
export AWS_ACCESS_KEY_ID=XXXXXXXXXX
export AWS_SECRET_ACCESS_KEY=XXXXXXXXXX
export AWS_SESSION_TOKEN=XXXXXXXXXX
sudo -E java -Droot="/greengrass/v2" -Dlog.store=FILE \
-jar ./GreengrassCore/lib/Greengrass.jar \
--aws-region ap-northeast-1 \
--thing-name GreengrassCore-1767ad88a82 \
--thing-group-name GreengrassGroup \
--component-default-user ggc_user:ggc_group \
--provision true \
--setup-system-service true \
--deploy-dev-tools true
かんたん！！！ サービス登録もされており、起動もしてます。
sudo systemctl status greengrass
● greengrass.service - Greengrass Core
Loaded: loaded (/etc/systemd/system/greengrass.service; enabled; vendor preset: enabled)
Active: active (running) since Sat 2020-12-19 13:21:07 GMT; 4s ago
Main PID: 9148 (sh)
Tasks: 12 (limit: 4915)
Memory: 33.4M
CGroup: /system.slice/greengrass.service
├─9148 /bin/sh /greengrass/v2/alts/current/distro/bin/loader
└─9152 java -Dlog.store=FILE -Droot=/greengrass/v2 -jar /greengrass/v2/alts/current/distro/lib/Greengrass.jar --setup-syst
Dec 19 13:21:07 raspberrypi systemd[1]: Started Greengrass Core.
Dec 19 13:21:07 raspberrypi sh[9148]: Greengrass root: /greengrass/v2
Dec 19 13:21:07 raspberrypi sh[9148]: JVM options: -Droot=/greengrass/v2
Dec 19 13:21:07 raspberrypi sh[9148]: Nucleus options: --setup-system-service false
Dec 19 13:21:11 raspberrypi sh[9148]: Added ggc_user to ggc_group
Greengrass 2.0は、「レシピでコンポーネントを作ってデプロイする」という考え方になっているようです。
Greengrass 1.0は「Lambdaをエッジで」という感じでしたが、Greengrass 2.0はLambdaにとらわれず、「クラウドから任意のプログラムをデプロイできる仕組み」にバージョンアップしたイメージです。 サンプルがこんな感じなので、その気になれば何でもOK的な感じですよね。もちろんLambdaもデプロイできます。
超簡単なLambdaをデプロイしてみました。
import json
def lambda_handler(event, context):
# TODO implement
print (json.dumps(event))
return {
'statusCode': 200,
'body': json.dumps('Hello from Lambda!')
}
print (json.dumps('start lambda'))
イベントソースを設定したり、タイムアウト、ロングライブ設定など、表現は変わってますが、旧バージョンと大体同じことができそうです。
ボリュームやデバイスの設定も、Lambdaに対して行うので、旧バージョンよりわかりやすい感じになりました。
まずはデプロイ対象を指定します。モノのグループを選ぶと、グループに追加になったコアに対しても自動で適用されるようです。
次に、デプロイするコンポーネントを選択します。自分で作ったコンポーネントの他に、AWSが提供するコンポーネントも沢山あります。もともとコネクタで提供されていた機能もここに統合されているような気がします。
コンポーネントごとの個別設定を行います。
これがNucleus（Greengrassコアのことと思います）の個別設定です。MQTTの接続ポートを替えたりできそうです。jvmOptionsまで変えれます。
最後にデプロイの設定です。タイムアウトや失敗時のロールバック設定ができます。
これでデプロイが実行されます。
マネジメントコンソールのテストで、hello/worldトピックにメッセージを投げて、ログが出力されることを確認。
root@raspberrypi:~# tail /greengrass/v2/logs/gg_sample.log -n 1
2020-12-19T13:53:36.759Z [INFO] (pool-2-thread-22) gg_sample: lambda_function.py:5,{"message": "Hello from AWS IoT console"}. {serviceInstance=0, serviceName=gg_sample, currentState=RUNNING}
root@raspberrypi:~#
Lambda間の通信や、IoT CoreへのPublishはこちらの方法を使うようです。勉強中です
Interprocess communication https://docs.aws.amazon.com/greengrass/v2/developerguide/interprocess-communication.html
過去にQiitaに投稿した内容のアーカイブです。
フリートプロビジョニングで作成したモノのシャドウをフリートインデックスでクエリするとほぼ同じ内容ですが、フリートインデックスを試してみました。
AWSマネジメントコンソールでAWS IoTを開き、設定に移動します。
フリートインデックス作成を有効にするをオンにするとフリートインデックスが作成されます。
その下のチェックは、、、見づらい。。
上から順番に
全部チェックつければすべてインデックス化されますが、課金がインデックスの更新でも発生するため、不必要な項目はチェックをオフにしましょう。
料金表 https://aws.amazon.com/jp/iot-device-management/pricing/
マネジメントコンソールから検索するには管理->モノのフリートインデックス作成から行えます。
左の検索を選択
ページ下部にサンプルクエリがあるので、とてもわかり易いです。
現在接続中にデバイスを検索
connectivity.connected:true
切断されているデバイスの場合はfalseにするだけです。
簡単ですね。
上記と同様、接続中のデバイスを検索するには、
aws iot search-index --query-string 'connectivity.connected:true'
簡単ですね。
過去にQiitaに投稿した内容のアーカイブです。
AWS IoTのフリートプロビジョニング機能が面白そうだなぁと思ってAWS IoT Device SDK for PythonのGitHubのREADMEを眺めていると ## New Version Available の文字が!!!
AWS IoT SDK for Python v2が出てました。
https://github.com/aws/aws-iot-device-sdk-python-v2
（呼び方はAWS IoT SDK for Python v2なのかaws-iot-device-sdk-python-v2なのかAWS IoT Client SDK for Pythonなのかよくわかりません）
READMEによると
This SDK is built on the AWS Common Runtime, a collection of libraries written in C to be cross-platform, high-performance, secure, and reliable.
だそうです。
さらにv2はフリートプロビジョニングのAPIにもすでに対応しており、サンプルも含まれています。 今後はv2が主流でしょうか。
AWSのブログで紹介されていたサンプルと同じ内容をv2で試してみました。
フリートプロビジョニングを用いて、IoTデバイスとAWS IoT Coreの初期セットアップを自動化する方法
Mac Python 3.8.2
git clone https://github.com/aws/aws-iot-device-sdk-python-v2.git
pip install ./aws-iot-device-sdk-python-v2
証明書は以下の場所に配置しました。
.
├── aws-iot-device-sdk-python-v2
└── certs
├── bootstrap-certificate.pem.crt
├── bootstrap-private.pem.key
└── root.ca.pem
templateNameやtemplateParametersはいい感じに修正ください。
cd aws-iot-device-sdk-python-v2/samples/
python fleetprovisioning.py \
--endpoint xxxxxxxxxx.iot.ap-northeast-1.amazonaws.com \
--root-ca ../../certs/root.ca.pem \
--cert ../../certs/bootstrap-certificate.pem.crt \
--key ../../certs/bootstrap-private.pem.key \
--templateName production_template \
--templateParameters '{"SerialNumber": 9999, "hasValidAccount": false}'
実行結果（ところどころ伏せたり端折ったりしてます）
Connecting to xxxxxxxxxx.iot.ap-northeast-1.amazonaws.com with client ID 'samples-client-id'...
Connected!
Subscribing to CreateKeysAndCertificate Accepted topic...
Subscribing to CreateKeysAndCertificate Rejected topic...
Subscribing to RegisterThing Accepted topic...
Subscribing to RegisterThing Rejected topic...
Publishing to CreateKeysAndCertificate...
Waiting... CreateKeysAndCertificateResponse: null
Published CreateKeysAndCertificate request..
Received a new message awsiot.iotidentity.CreateKeysAndCertificateResponse(certificate_id='xxxxxxxxxx', certificate_ownership_token='xxxxxxxxxx', certificate_pem='-----BEGIN CERTIFICATE-----\nxxxxxxxxxx\n-----END CERTIFICATE-----\n', private_key='-----BEGIN RSA PRIVATE KEY-----\nxxxxxxxxxx\n-----END RSA PRIVATE KEY-----\n')
Publishing to RegisterThing topic...
Waiting... RegisterThingResponse: null
Published RegisterThing request..
Received a new message awsiot.iotidentity.RegisterThingResponse(device_configuration={}, thing_name='born_9999')
Exiting Sample: success
Disconnecting...
Disconnected.
https://docs.aws.amazon.com/ja_jp/iot/latest/developerguide/provision-wo-cert.html https://aws.amazon.com/jp/about-aws/whats-new/2020/04/announcing-general-availability-of-aws-iot-core-fleet-provisioning/ https://aws.amazon.com/jp/blogs/news/how-to-automate-onboarding-of-iot-devices-to-aws-iot-core-at-scale-with-fleet-provisioning/ https://qiita.com/tatsuhiroiida/items/46ef5035f99b304d3d6f