dataplattform.common

dataplattform.common

Hjelpeklasser og annen felles funksjonalitet som brukes på tvers av funksjoner

dataplattform.common.aws

AWS hjelpeklasser

aws.S3

aws.S3.put(data: Data)

Sett rådata inn i S3 på riktig access path

from dataplattform.common.aws import S3
from dataplattform.common.schema import Data, Metadata

S3().put(
    Data(
        metadata=Metadata(),
        data={}
    ))

aws.S3.get(key: str) -> S3Result

Hent rådata fra S3, key path kan være relativ til access path

from dataplattform.common.aws import S3

raw_data = S3().get('raw/12345678.json')

raw_data.json() #  get data as a python dict

aws.S3.fs

Bruk s3 som et filsystem (wrapper over s3fs), paths kan være relative til access path

Kun open og exists er eksponert fra s3fs

from dataplattform.common.aws import S3

s3 = S3()

with s3.fs.open('raw/12345678.json') as f:
    f.read()  # ..

if s3.fs.exists('raw/12345678.json'):
    print('hello world')

aws.SSM

aws.SSM.get(*names)

Hent SSM parametere

from dataplattform.common.aws import SSM

my_param = SSM().get('my_param')

Støtter å hente flere paramentere på en gang

my_param1, my_param2 = SSM().get('my_param1', 'my_param2')

Krypterte parametere

my_param = SSM(with_decryption=True).get('my_param')

dataplattform.common.handler

Se utvikler guide

dataplattform.common.schema

Dataklasser