Berechtigungen für den Zugriff auf ElasticSearch von Lambda?

Ich versuche, Elasticsearch für Datenhaltung für eine Lambda-Funktion verbunden Alexa Fähigkeiten-Kit. Die Lambda funktioniert gut ohne Elasticsearch, aber ES bietet die dringend benötigten fuzzy-matching.

Nur so, ich habe Zugriff auf die von Lambda ist von Elasticsearch ermöglicht global access, aber das ist eine wirklich schlechte Idee. Ich habe auch in der Lage gewesen, um Zugriff von meinem computer über die open-access-policy oder die IP-Adresse der Politik. Gibt es eine Möglichkeit zu tun, nur-lese-Zugriff über Lambda und Lesen-schreiben-über-IP?

Auf IAM gewährt ich meine Lambda Rolle AmazonESReadOnlyAccess. Auf der ES-Seite, die ich versuchte dieses aber es funktioniert nur für IP-Adresse:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": [
          "arn:aws:iam::NUMBER:root",
          "arn:aws:iam::NUMBER:role/lambda_basic_execution"
        ]
      },
      "Action": "es:*",
      "Resource": "arn:aws:es:us-east-1:NUMBER:domain/NAME/*"
    },
    {
      "Sid": "",
      "Effect": "Allow",
      "Principal": {
        "AWS": "*"
      },
      "Action": "es:*",
      "Resource": "arn:aws:es:us-east-1:NUMBER:domain/NAME/*",
      "Condition": {
        "IpAddress": {
          "aws:SourceIp": "MY IP"
        }
      }
    }
  ]
}

Diese forum post fragt die gleiche Frage aber unbeantwortet.

InformationsquelleAutor Keith | 2016-06-07

8

Die einzige Möglichkeit, die ich kenne, um dies zu tun, ist die Verwendung einer Ressource-based policy oder eine IAM-basierte Politik auf Ihre ES-domain. Dies würde den Zugriff zu einem bestimmten IAM-Benutzer oder einer Rolle. Jedoch, um diese Arbeit zu machen, müssen Sie auch melden Sie Ihre Wünsche, um ES mit SigV4.

Gibt es Bibliotheken, die dies tun, die Unterzeichnung für Sie, zum Beispiel diese eine erweitert die beliebte Python-requests-Bibliothek zu melden ElasticSearch-Anfragen über SigV4. Ich glaube ähnlich und es gibt Bibliotheken für andere Sprachen.
- Ist dieser das Modul meinst du? Auch funktioniert mein setup Aussehen stimmt, ansonsten für den Versuch zu tun, ein hybrid von IAM-und IP?
- Ich aktualisierte die Antwort mit einem link zu dem Projekt meinte ich.
- Ok hab die Dinge meist funktioniert jetzt. Ich konnte nicht herausfinden, ein Weg, das zu tun auth mit der Lambda-Rolle, sondern verwendet einen dedizierten Benutzer. Das einzige Problem ist, dass ich keinen Zugriff auf Kibana von meinem browser nicht mehr auf, aber das ist nicht zu groß einen deal.
- Hier ist eine Anleitung von AWS beschreiben, wie die zum signieren von Anfragen mit verschiedenen Sprachen: docs.aws.amazon.com/elasticsearch-service/latest/developerguide/...
InformationsquelleAutor garnaat

Es ist nun möglich, aus Ihrem code mit elasticsearch.js. Bevor Sie versuchen, es zu installieren, müssen Sie http-aws-es Modul.

const AWS = require('aws-sdk');
const httpAwsEs = require('http-aws-es');
const elasticsearch = require('elasticsearch');

const client = new elasticsearch.Client({
    host: 'YOUR_ES_HOST',
    connectionClass: httpAwsEs,
    amazonES: {
        region: 'YOUR_ES_REGION',
        credentials: new AWS.EnvironmentCredentials('AWS')
    }
});

//client.search({...})

Natürlich, bevor Sie es verwenden, konfigurieren Sie den Zugriff auf elasticsearch domain:
Berechtigungen für den Zugriff auf ElasticSearch von Lambda?

InformationsquelleAutor Iurii Golskyi

3

Müssen Sie auf die access-policy der Lambda und bieten die AWS ARN zu verbinden

http://docs.aws.amazon.com/elasticsearch-service/latest/developerguide/es-aws-integrations.html#es-aws-integrations-s3-lambda-es-authorizations
- Für Abfragen zu ElasticSearch-Dokument-API, das wird nicht funktionieren "out-of-the-box". HTTP(s) - requests mit Ihrer Sprache die HTTP-client-Modul wird nicht über die AWS-V4-Anforderung Signatur, und wird behandelt, als käme es aus einem anonymen Benutzer. Sie müssen explizit melden Sie Ihre HTTP-Anfragen mit einem AWS-Signatur, um die beabsichtigte Funktion durchzuführen.
InformationsquelleAutor Shef

Für externe (außerhalb AWS) Zugang zu Ihrer Elasticsearch-cluster, die Sie wollen, um den cluster zu erstellen, die mit einem IP-basierten access-policy. So etwas wie die folgenden:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "",
      "Effect": "Allow",
      "Principal": {
        "AWS": "*"
      },
      "Action": "es:*",
      "Condition": {
        "IpAddress": {
          "aws:SourceIp": [
            "<<IP/CIDR>>"
          ]
        }
      },
      "Resource": "arn:aws:es:<<REGION>>:<<ACCOUNTID>>:domain/<<DOMAIN_NAME>>/*"
    }
  ]
}

Für Ihre Lambda-Funktion erstellen Sie die Rolle, die die Lambda-Funktion übernehmen wird, mit den unten Politik snippet.

{
  "Sid": "",
  "Effect": "Allow",
  "Action": [
    "es:DescribeElasticsearchDomain",
    "es:DescribeElasticsearchDomains",
    "es:DescribeElasticsearchDomainConfig",
    "es:ESHttpPost",
    "es:ESHttpPut"
  ],
  "Resource": [
    "arn:aws:es:<<REGION>>:<<ACCOUNTID>>:domain/<<DOMAIN_NAME>>",
    "arn:aws:es:<<REGION>>:<<ACCOUNTID>>:domain/<<DOMAIN_NAME>>/*"
  ]
},
{
  "Sid": "",
  "Effect": "Allow",
  "Action": [
    "es:ESHttpGet"
  ],
  "Resource": [
    "arn:aws:es:<<REGION>>:<<ACCOUNTID>>:domain/<<DOMAIN_NAME>>/_all/_settings",
    "arn:aws:es:<<REGION>>:<<ACCOUNTID>>:domain/<<DOMAIN_NAME>>/_cluster/stats",
    "arn:aws:es:<<REGION>>:<<ACCOUNTID>>:domain/<<DOMAIN_NAME>>/<<INDEX>>*/_mapping/<<TYPE>>",
    "arn:aws:es:<<REGION>>:<<ACCOUNTID>>:domain/<<DOMAIN_NAME>>/_nodes",
    "arn:aws:es:<<REGION>>:<<ACCOUNTID>>:domain/<<DOMAIN_NAME>>/_nodes/stats",
    "arn:aws:es:<<REGION>>:<<ACCOUNTID>>:domain/<<DOMAIN_NAME>>/_nodes/*/stats",
    "arn:aws:es:<<REGION>>:<<ACCOUNTID>>:domain/<<DOMAIN_NAME>>/_stats",
    "arn:aws:es:<<REGION>>:<<ACCOUNTID>>:domain/<<DOMAIN_NAME>>/<<INDEX>>*/_stats"
  ]
}

Ich denke, man kann sich leichter verdichten die beiden oben genannten politischen Aussagen in die folgenden:

{
  "Sid": "",
  "Effect": "Allow",
  "Action": [
    "es:DescribeElasticsearchDomain",
    "es:DescribeElasticsearchDomains",
    "es:DescribeElasticsearchDomainConfig",
    "es:ESHttpPost",
    "es:ESHttpGet",
    "es:ESHttpPut"
  ],
  "Resource": [
    "arn:aws:es:<<REGION>>:<<ACCOUNTID>>:domain/<<DOMAIN_NAME>>",
    "arn:aws:es:<<REGION>>:<<ACCOUNTID>>:domain/<<DOMAIN_NAME>>/*"
  ]
}

Habe ich es geschafft, das Stück der oben genannten zusammen aus den folgenden Quellen:

https://aws.amazon.com/blogs/security/how-to-control-access-to-your-amazon-elasticsearch-service-domain/

Wie Sie Zugang zu Kibana von Amazon elasticsearch service?

https://forums.aws.amazon.com/thread.jspa?threadID=217149

InformationsquelleAutor Brooks

1

AWS Lambda führt auf öffentlichen EC2-Instanzen. So einfach das hinzufügen einer whitelist der IP-Adressen an die Elasticsearch-access-policy wird nicht funktionieren. Eine Möglichkeit, dies zu tun wird sein, dass die Lambda-Ausführung Rolle entsprechenden Berechtigungen für den Elasticsearch-Domäne. Stellen Sie sicher, dass die Lambda-Ausführung Rolle hat Berechtigungen, um die ES-Domäne und die ES-domain-access-policy hat eine Aussage, die dies ermöglicht, Lambda Rolle ARN zu tun, die entsprechende Aktionen. Sobald dies geschehen ist alles was Sie tun müssen ist, melden Sie Ihre Anfrage per SigV4 beim Zugriff auf das LiveCycle ES-Endpunkt

Hoffe, das hilft!
- Eigentlich versuche ich, die Umsetzung der Strategie, die Sie vorgeschlagen, aber ich habe Probleme beim erstellen der ElasticSearch-inline-policy zulassen, dass meine lambda-Funktion. Haben Sie eine Probe-Politik?
InformationsquelleAutor Raheel Kazi

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.