SageMaker GroundTruthを使ってラベリングするときに、ワーカーのアクセス範囲を限定したいことがある。 IPの範囲でアクセス制限したいときには、awscliを使って、workforceに対してCIDRを指定することでIP制御することが可能
aws sagemaker update-workforce --workforce-name default --source-ip-config '{"Cidrs":["xxx.xxx.xxx.xxx/yy"]}' --region ap-northeast-1
以下のURLを参考のこと kohira-1980.hatenablog.com
例： ssh://git-codecommit.ap-northeast-1.amazonaws.com/v1/repos/hoge_repo
注意: .ssh/configファイルにてURLのエイリアスを指定している場合は、上記のURLのホスト名をエイリアスに変更すること
rm -rf .git git init git add . git commit -m "first commit" git remote add origin <コピーしたgitのURL(.ssh/configにてエイリアスを使用している場合はそのURLに変更)> git push -u origin master
これで連携されます。
cd ~/.ssh ssh-keygen -t rsa -f id_rsa_hoge
id_rsa_hogeとid_rsa_hoge.pubの２つのファイルが作成される。
"認証情報"タブを押下し、”AWS CodeCommit の SSH キー”コンテンツから、”SSHパブリックキーのアップロード”を押下。上記で作成したid_rsa_hoge.pub公開鍵ファイルの中の文字列をコピペする。
登録後、”AWS CodeCommit の SSH キー”コンテンツ表に現れるSSHキーIDが生成されます。これをコピーします。
Host hoge.git-codecommit.ap-northeast-1.amazonaws.com
HostName git-codecommit.ap-northeast-1.amazonaws.com
User {SSH key ID}
IdentityFile ~/.ssh/id_rsa_hoge
Hostはエイリアス、HostNameは真のhost名を指定します。{SSH key ID}には上記で保存したSSHキーIDを記載します。IdentityFileには秘密鍵のパスを記載します。
以下のコマンドを打ち、SSH接続できたら、設定完了。
ssh hoge.git-codecommit.ap-northeast-1.amazonaws.com
出力
You have successfully authenticated over SSH. You can use Git to interact with AWS CodeCommit. Interactive shells are not supported.Connection to git-codecommit.ap-northeast-1.amazonaws.com closed by remote host. Connection to git-codecommit.ap-northeast-1.amazonaws.com closed.
Pythonを使って、S3上にある２つのファイルを結合して出力する。目的としては、ヘッダーのないcsvファイルにヘッダーをつける。 pandasを使って読み込むと余計なオーバーヘッドがあるので、StringIOでメモリ上に乗せてくっつけるだけにする。
サンプルコードは以下の通り
import boto3 import io # define args src_bucket = "src_bucket" src_prefixKey_header = "hoge/hoge_header.csv" src_prefixKey_data = "hoge/hoge_data.csv" dest_bucket = "dest_bucket" dest_prefixKey = "hoge/hoge_out.csv" SRC_FILE_ENCODING="utf-8" s3 = boto3.resource('s3') #ヘッダファイルの読み込み src_obj_header = s3.Object( src_bucket, src_prefixKey_header ) body_in_header = src_obj_header.get()['Body'].read().decode( SRC_FILE_ENCODING ) buffer_in_header = io.StringIO(body_in_header) #データファイルの読み込み src_obj_data = s3.Object( src_bucket, src_prefixKey_data ) body_in_data = src_obj_data.get()['Body'].read().decode( SRC_FILE_ENCODING ) buffer_in_data = io.StringIO(body_in_data) # ヘッダとデータの結合 outputs = list() outputs.append(buffer_in_header) outputs.append(buffer_in_data) buffer_out=io.StringIO() buffer_out.write(''.join([i.getvalue() for i in outputs])) body_out=buffer_out.getvalue() #ファイル配置 dest_obj = s3.Object( dest_bucket, dest_prefixKey ) dest_obj.put(Body = body_out)
S3バケット上のCSVファイルをバッファに読み出してpandasで編集する | DevelopersIO
concatenation - python how to concat stringio objects? - Stack Overflow
マニュアルに書いてあるのをやってみた。
Greengrassにはjavaランタイムが必要なので、入れる。jetson nano上で実行
sudo apt install default-jdk
jdkのバージョン確認
$ java -version openjdk version "11.0.11" 2021-04-20 OpenJDK Runtime Environment (build 11.0.11+9-Ubuntu-0ubuntu2.18.04) OpenJDK 64-Bit Server VM (build 11.0.11+9-Ubuntu-0ubuntu2.18.04, mixed mode)
curlでGreengrass Coreのモジュールをダウンロードする。ダウンロードにはcurlを使うので、curlがインストールされていない場合は、sudo apt install curlを実行する。
cd ~ curl -s https://d2s8p88vqu9w66.cloudfront.net/releases/greengrass-nucleus-latest.zip > greengrass-nucleus-latest.zip
解凍する。
unzip greengrass-nucleus-latest.zip -d jetson_nano_ggc && rm greengrass-nucleus-latest.zip
AWSのIAMユーザーに割り当てられたアクセスキーIDとシークレットアクセスキーをexportする
export AWS_ACCESS_KEY_ID=AKIAIOSFODNN7EXAMPLE export AWS_SECRET_ACCESS_KEY=wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY
マニュアルそのまま実行
sudo -E java -Droot="/greengrass/v2" -Dlog.store=FILE \ -jar ./jetson_nano_ggc/lib/Greengrass.jar \ --aws-region ap-northeast-1 \ --thing-name jetson_nano_ggc \ --thing-group-name jetson_nano_ggc_group \ --tes-role-name GreengrassV2TokenExchangeRole \ --tes-role-alias-name GreengrassCoreTokenExchangeRoleAlias \ --component-default-user ggc_user:ggc_group \ --provision true \ --setup-system-service true \ --deploy-dev-tools true
AWS コンソール画面からgreengrassの画面にいき、greengrassのコアデバイスが登録されていることを確認
$aws greengrassv2 list-effective-deployments --core-device-thing-name jetson_nano_ggc
出力はこのようになる。
{
"effectiveDeployments": [
{
"deploymentId": "165qdadhgsh6htsthsdfsdhfsfdsh4654hoge",
"deploymentName": "Deployment for jetson_nano_ggc_group",
"iotJobId": "kdajsfopijw-jpoieawj-feajo-fweao-lkpo78755",
"iotJobArn": "arn:aws:iot:ap-northeast-1:000000000001:job/",
"targetArn": "arn:aws:iot:ap-northeast-1:000000000001:thinggroup/jetson_nano_ggc_group",
"coreDeviceExecutionStatus": "SUCCEEDED",
"reason": "SUCCESSFUL",
"creationTimestamp": 1623025275.335,
"modifiedTimestamp": 1623025275.335
}
]
}
これでインストールは完了。次にレシピなどつくる。
csvをGlue Crawlerでクロールして、データカタログを作成するとき注意点の csvファイル側の制約（と思われるもの）
ヘッダー行は、データ行と十分に異なっている必要があります。これを判断するには、1 つ以上の行が STRING 型以外として解析されることを確認します。すべての列が STRING 型である場合、最初のデータ行は以降の行と十分に異なっていないため、ヘッダーとして使用できません。
CDKの勉強のため、こちらのワークショップを実施中
cdk bootstrap実行時に以下のエラーが発生
Unable to resolve AWS account to use. It must be either configured when you define your CDK or through the environment
ネットで検索したところ、.aws/configのdefaultプロファイルを消せとか出てきて、やってみたけど、うまくいかなかった。
~/.aws/configにて、credential_processを使ってsts assumeを取得していたことが原因のようだった。AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY, AWS_SECRET_ACCESS_KEYを直にexportして再度実行したところ、うまくいった。aws sts assume-role --role-arn "arn:aws:iam::123456789012:role/example-role" --role-session-name AWSCLI-Session
role-arnとrole-session-nameを指定して、実行するとACCESS_KEY_IDなどが取得できるので、それらをexportする
export AWS_ACCESS_KEY_ID=ASIAXXXXXXXXXXXX export AWS_SECRET_ACCESS_KEY=yyyyyyyyyyyyyyyyyyyyyy export AWS_SESSION_TOKEN=zzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzz(長い)
これでcdk bootstrap実行したところ、エラー解消。