Erste Schritte mit AWS CloudFront-Streaming mit Python

Du hast Recht, es braucht eine Menge von API-Arbeit, um diese einzurichten. Ich hoffe, Sie bekommen es in der AWS-Konsole bald!

UPDATE: ich habe vorgelegt, diesen code zu boto - boto v2.1 (veröffentlicht am 2011-10-27) wird dies viel einfacher. Für boto < 2.1, verwenden Sie die Anweisungen hier. Für boto 2.1 oder höher, erhalten die aktualisierten Anleitung auf meinem blog: http://www.secretmike.com/2011/10/aws-cloudfront-secure-streaming.html Einmal boto v2.1 wird verpackt durch mehr Distributionen, ich werde zu aktualisieren, hier die Antwort.

Zu erreichen, was Sie wollen, Sie müssen führen Sie die folgenden Schritte, die ich unten näher:

1. Erstellen Sie Ihren s3-bucket und lade einige Objekte (Sie haben dies bereits getan)
2. Erstellen Sie eine Cloudfront - "Origin Access-Identität" (im Grunde ein AWS-Konto zu ermöglichen, cloudfront, um Zugang zu Ihren s3-bucket)
3. Ändern der ACLs auf den Objekten, so dass nur Ihre Cloudfront-Ursprung Access-Identität erlaubt ist, Sie zu Lesen (dies verhindert, dass Menschen umgehen Cloudfront und geht direkt zu s3)
4. Erstellen Sie eine cloudfront-Verteilung mit Basis-URLs und eine, die erfordert signierte URLs
5. Test, die Sie herunterladen können Objekte von basic cloudfront-Verteilung, aber nicht von s3, oder mit der signierten cloudfront-Verteilung
6. Erstellen Sie ein Schlüsselpaar für das signieren von URLs
7. Generieren URLs mit Python
8. Test, dass die signierten URLs funktionieren

1 - Bucket Erstellen und hochladen-Objekt

Der einfachste Weg, dies zu tun ist durch die AWS-Konsole, aber der Vollständigkeit halber werde ich zeigen, wie mithilfe boto. Boto-code ist hier dargestellt:

import boto

#credentials stored in environment AWS_ACCESS_KEY_ID and AWS_SECRET_ACCESS_KEY
s3 = boto.connect_s3()

#bucket name MUST follow dns guidelines
new_bucket_name = "stream.example.com"
bucket = s3.create_bucket(new_bucket_name)

object_name = "video.mp4"
key = bucket.new_key(object_name)
key.set_contents_from_filename(object_name)

2 - Erstellen Sie eine Cloudfront - "Origin Access Identity"

Für jetzt, dieser Schritt kann nur durchgeführt werden, indem die API. Boto code ist hier:

import boto

#credentials stored in environment AWS_ACCESS_KEY_ID and AWS_SECRET_ACCESS_KEY
cf = boto.connect_cloudfront()

oai = cf.create_origin_access_identity(comment='New identity for secure videos')

#We need the following two values for later steps:
print("Origin Access Identity ID: %s" % oai.id)
print("Origin Access Identity S3CanonicalUserId: %s" % oai.s3_user_id)

3 - Ändern der ACLs auf den Objekten

Nun, wir haben unsere speziellen S3-Benutzerkonto (das S3CanonicalUserId wir weiter oben erstellt), die wir brauchen, um ihm Zugang zu unserem s3-Objekte. Wir können dies leicht tun mit der AWS-Konsole, indem Sie ein Objekt öffnen (nicht den Eimer!!!) Berechtigungen Registerkarte, klicken Sie auf "weitere Berechtigungen" - Taste und einfügen der sehr lange S3CanonicalUserId wir haben oben in das "Empfänger" - Feld einer neuen. Stellen Sie sicher, Sie geben Sie die neue Berechtigung "Open/Download" Rechte.

Können Sie auch im code über die folgenden boto Skript:

import boto

#credentials stored in environment AWS_ACCESS_KEY_ID and AWS_SECRET_ACCESS_KEY
s3 = boto.connect_s3()

bucket_name = "stream.example.com"
bucket = s3.get_bucket(bucket_name)

object_name = "video.mp4"
key = bucket.get_key(object_name)

#Now add read permission to our new s3 account
s3_canonical_user_id = "<your S3CanonicalUserID from above>"
key.add_user_grant("READ", s3_canonical_user_id)

4 - Erstellen Sie eine cloudfront-Verteilung

Beachten Sie, dass benutzerdefinierte Ursprünge und private-Versionen werden nicht vollständig unterstützt, in boto, bis version 2.0 noch nicht offiziell freigegeben, zum Zeitpunkt des Schreibens. Der code unten zieht einige code aus der boto-2.0-Zweig und hacks, es zusammen zu bekommen, es geht, aber es ist nicht schön. Den 2.0-Zweig behandelt, so viel mehr aus - auf jeden Fall nutzen, wenn möglich!

import boto
from boto.cloudfront.distribution import DistributionConfig
from boto.cloudfront.exception import CloudFrontServerError

import re

def get_domain_from_xml(xml):
    results = re.findall("<DomainName>([^<]+)</DomainName>", xml)
    return results[0]

#custom class to hack this until boto v2.0 is released
class HackedStreamingDistributionConfig(DistributionConfig):

    def __init__(self, connection=None, origin='', enabled=False,
                 caller_reference='', cnames=None, comment='',
                 trusted_signers=None):
        DistributionConfig.__init__(self, connection=connection,
                                    origin=origin, enabled=enabled,
                                    caller_reference=caller_reference,
                                    cnames=cnames, comment=comment,
                                    trusted_signers=trusted_signers)

    #override the to_xml() function
    def to_xml(self):
        s = '<?xml version="1.0" encoding="UTF-8"?>\n'
        s += '<StreamingDistributionConfig xmlns="http://cloudfront.amazonaws.com/doc/2010-07-15/">\n'

        s += '  <S3Origin>\n'
        s += '    <DNSName>%s</DNSName>\n' % self.origin
        if self.origin_access_identity:
            val = self.origin_access_identity
            s += '    <OriginAccessIdentity>origin-access-identity/cloudfront/%s</OriginAccessIdentity>\n' % val
        s += '  </S3Origin>\n'


        s += '  <CallerReference>%s</CallerReference>\n' % self.caller_reference
        for cname in self.cnames:
            s += '  <CNAME>%s</CNAME>\n' % cname
        if self.comment:
            s += '  <Comment>%s</Comment>\n' % self.comment
        s += '  <Enabled>'
        if self.enabled:
            s += 'true'
        else:
            s += 'false'
        s += '</Enabled>\n'
        if self.trusted_signers:
            s += '<TrustedSigners>\n'
            for signer in self.trusted_signers:
                if signer == 'Self':
                    s += '  <Self/>\n'
                else:
                    s += '  <AwsAccountNumber>%s</AwsAccountNumber>\n' % signer
            s += '</TrustedSigners>\n'
        if self.logging:
            s += '<Logging>\n'
            s += '  <Bucket>%s</Bucket>\n' % self.logging.bucket
            s += '  <Prefix>%s</Prefix>\n' % self.logging.prefix
            s += '</Logging>\n'
        s += '</StreamingDistributionConfig>\n'

        return s

    def create(self):
        response = self.connection.make_request('POST',
            '/%s/%s' % ("2010-11-01", "streaming-distribution"),
            {'Content-Type' : 'text/xml'},
            data=self.to_xml())

        body = response.read()
        if response.status == 201:
            return body
        else:
            raise CloudFrontServerError(response.status, response.reason, body)


cf = boto.connect_cloudfront()

s3_dns_name = "stream.example.com.s3.amazonaws.com"
comment = "example streaming distribution"
oai = "<OAI ID from step 2 above like E23KRHS6GDUF5L>"

#Create a distribution that does NOT need signed URLS
hsd = HackedStreamingDistributionConfig(connection=cf, origin=s3_dns_name, comment=comment, enabled=True)
hsd.origin_access_identity = oai
basic_dist = hsd.create()
print("Distribution with basic URLs: %s" % get_domain_from_xml(basic_dist))

#Create a distribution that DOES need signed URLS
hsd = HackedStreamingDistributionConfig(connection=cf, origin=s3_dns_name, comment=comment, enabled=True)
hsd.origin_access_identity = oai
#Add some required signers (Self means your own account)
hsd.trusted_signers = ['Self']
signed_dist = hsd.create()
print("Distribution with signed URLs: %s" % get_domain_from_xml(signed_dist))

5 - Test, die Sie herunterladen können Objekte aus cloudfront-aber nicht vom s3

Sollten Sie nun in der Lage sein zu überprüfen:

• stream.example.com.s3.amazonaws.com/video.mp4 - geben sollte Zugriff verweigert
• signed_distribution.cloudfront.net/video.mp4 - geben sollte MissingKey (weil die URL nicht unterzeichnet)
• basic_distribution.cloudfront.net/video.mp4 - sollte funktionieren

Die tests angepasst werden müssen, um mit Ihrer stream-player, aber die grundlegende Idee ist, dass nur die basic-cloudfront-url sollte funktionieren.

6 - Erstellen Sie ein Schlüsselpaar für die CloudFront

Ich denke, der einzige Weg, dies zu tun ist durch die Amazon-Website. Gehen Sie in Ihrer AWS - "Konto" - Seite und klicken Sie auf "Security Credentials" - link. Klicken Sie auf "Key Pairs" - Registerkarte, dann klicken Sie auf "Erstellen Sie ein Neues Schlüsselpaar". Dies generiert ein neues Schlüsselpaar für Sie und automatisch laden Sie eine private key-Datei (pk-xxxxxxxxx.pem). Halten Sie die Schlüssel-Datei sicher und privat. Beachten Sie auch die "Key Pair ID" von amazon als wir benötigen es im nächsten Schritt.

7 - Erzeugen von URLs in Python

Als der boto version 2.0 scheint es nicht zu sein, jede Unterstützung für das generieren von signierten CloudFront-URLs. Python nicht enthalten ist die RSA-Verschlüsselung Routinen in der standard-Bibliothek, also müssen wir die Verwendung einer zusätzlichen Bibliothek. Ich habe M2Crypto in diesem Beispiel.

Für eine nicht-streaming-distribution, müssen Sie die vollständige cloudfront-URL als Ressource, jedoch für das streaming verwenden wir nur die Objekt Namen der video-Datei. Finden Sie den code unten ein vollständiges Beispiel für das erzeugen einer URL, die dauert nur 5 Minuten.

Dieser code basiert lose auf dem PHP-Beispiel-code von Amazon in der CloudFront-Dokumentation.

from M2Crypto import EVP
import base64
import time

def aws_url_base64_encode(msg):
    msg_base64 = base64.b64encode(msg)
    msg_base64 = msg_base64.replace('+', '-')
    msg_base64 = msg_base64.replace('=', '_')
    msg_base64 = msg_base64.replace('/', '~')
    return msg_base64

def sign_string(message, priv_key_string):
    key = EVP.load_key_string(priv_key_string)
    key.reset_context(md='sha1')
    key.sign_init()
    key.sign_update(str(message))
    signature = key.sign_final()
    return signature

def create_url(url, encoded_signature, key_pair_id, expires):
    signed_url = "%(url)s?Expires=%(expires)s&Signature=%(encoded_signature)s&Key-Pair-Id=%(key_pair_id)s" % {
            'url':url,
            'expires':expires,
            'encoded_signature':encoded_signature,
            'key_pair_id':key_pair_id,
            }
    return signed_url

def get_canned_policy_url(url, priv_key_string, key_pair_id, expires):
    #we manually construct this policy string to ensure formatting matches signature
    canned_policy = '{"Statement":[{"Resource":"%(url)s","Condition":{"DateLessThan":{"AWS:EpochTime":%(expires)s}}}]}' % {'url':url, 'expires':expires}

    #now base64 encode it (must be URL safe)
    encoded_policy = aws_url_base64_encode(canned_policy)
    #sign the non-encoded policy
    signature = sign_string(canned_policy, priv_key_string)
    #now base64 encode the signature (URL safe as well)
    encoded_signature = aws_url_base64_encode(signature)

    #combine these into a full url
    signed_url = create_url(url, encoded_signature, key_pair_id, expires);

    return signed_url

def encode_query_param(resource):
    enc = resource
    enc = enc.replace('?', '%3F')
    enc = enc.replace('=', '%3D')
    enc = enc.replace('&', '%26')
    return enc


#Set parameters for URL
key_pair_id = "APKAIAZCZRKVIO4BQ" #from the AWS accounts page
priv_key_file = "cloudfront-pk.pem" #your private keypair file
resource = 'video.mp4' #your resource (just object name for streaming videos)
expires = int(time.time()) + 300 #5 min

#Create the signed URL
priv_key_string = open(priv_key_file).read()
signed_url = get_canned_policy_url(resource, priv_key_string, key_pair_id, expires)

#Flash player doesn't like query params so encode them
enc_url = encode_query_param(signed_url)
print(enc_url)

8 - Probieren Sie die URLs

Hoffentlich Sie sollten nun über eine funktionierende URL die wie folgt aussieht:

video.mp4%3FExpires%3D1309979985%26Signature%3DMUNF7pw1689FhMeSN6JzQmWNVxcaIE9mk1x~KOudJky7anTuX0oAgL~1GW-ON6Zh5NFLBoocX3fUhmC9FusAHtJUzWyJVZLzYT9iLyoyfWMsm2ylCDBqpy5IynFbi8CUajd~CjYdxZBWpxTsPO3yIFNJI~R2AFpWx8qp3fs38Yw_%26Key-Pair-Id%3DAPKAIAZRKVIO4BQ

Setzen Sie diese in Ihre js und sollten Sie etwas, das sieht aus wie diese (aus dem PHP-Beispiel im Amazon CloudFront-Dokumentation):

var so_canned = new SWFObject('http://location.domname.com/~jvngkhow/player.swf','mpl','640','360','9');
    so_canned.addParam('allowfullscreen','true');
    so_canned.addParam('allowscriptaccess','always');
    so_canned.addParam('wmode','opaque');
    so_canned.addVariable('file','video.mp4%3FExpires%3D1309979985%26Signature%3DMUNF7pw1689FhMeSN6JzQmWNVxcaIE9mk1x~KOudJky7anTuX0oAgL~1GW-ON6Zh5NFLBoocX3fUhmC9FusAHtJUzWyJVZLzYT9iLyoyfWMsm2ylCDBqpy5IynFbi8CUajd~CjYdxZBWpxTsPO3yIFNJI~R2AFpWx8qp3fs38Yw_%26Key-Pair-Id%3DAPKAIAZRKVIO4BQ');
    so_canned.addVariable('streamer','rtmp://s3nzpoyjpct.cloudfront.net/cfx/st');
    so_canned.write('canned');

Zusammenfassung

Wie Sie sehen können, nicht sehr einfach! boto v2 wird eine Menge helfen, einrichten der distribution. Ich werde es herausfinden, wenn es möglich ist, zu einigen URL-Generierung code in es als auch zu verbessern-diese tolle Bibliothek!

InformationsquelleAutor der Antwort secretmike