Data Engineering, Datensicherheit und Zugriffsrechte

Inhalt:

• Einleitung
• Data virtualization am Beispiel Postgres
• Welche Rollen braucht man?
• Wie kann man den Überblick über die Rechte behalten?
• Zusammenfassung

Einleitung

In einem Vortrag, den ich vor einiger Zeit gehört habe, waren die einleitenden Worte sinngemäß folgende:

Am liebsten würde man als Data Engineer …

Wochennotiz 26

Inhalt:

• Postgres und die Datenwelt
• Security und Privacy
• AI
• Diverses

Postgres und die Datenwelt

Bei xata schreiben sie zum Thema Geographically distributed Postgres for multi-tenant applications. Auf HN gibt es auch einen Thread dazu, wo auch auf ein älteres Posting von Notion hingewiesen wird: Herding elephants: Lessons learned …

Wochennotiz 25

Inhalt:

• Postgres und die Datenwelt
• Security und Privacy
• AI
• Diverses

Postgres und die Datenwelt

Ein Thread zu Serverless Postgres auf HN: Show HN: Serverless Postgres.

Bei Stormatics beschreibt man, was man alles beachten sollte, wenn man es mit heiklen Daten zu tun hat: Protecting Personally Identifiable Information in …

Wochennotiz 24

Inhalt:

• Postgres und die Datenwelt
• Security und Privacy
• AI
• Diverses

Postgres und die Datenwelt

Tembo sorgt mit einer eigenen Extension für Timeseries-Data für Konkurrenz zu Timescale: Introducing pg_timeseries: Open-source time-series extension for PostgreSQL. Auf Hacker News gibt es auch einen Thread dazu: pg_timeseries: Open-source time-series extension for PostgreSQL …

Drei Ereignisse der letzten Tage haben mich bewogen diesen Beitrag zu schreiben, der mir schon länger im Kopf herumschwirrt. Mir wurde der Link zu einem Blogbeitrag von Eugene Yan mit dem Titel Simplicity is An Advantage but Sadly Complexity Sells Better geschickt, auf Hacker News bin ich über den Blogbeitrag …

Wochennotiz 23

Inhalt:

• Postgres und die Datenwelt
• Security und Privacy
• AI
• Diverses

Postgres und die Datenwelt

Im Laufe der Woche habe ich einen Beitrag über Data virtualization mit Postgres geschrieben, der ein wenig die Konzepte von data virtualization am Beispiel von Postgres näher bringen soll.

Ein Blogbeitrag widmet sich dem …

Glück im Unglück

Lange habe ich mir überlegt, ob ich diesen Beitrag schreiben beziehungsweise dann auch veröffentlichen soll. Zwei Dinge haben mich in letzter Zeit dazu bewogen, die Ereignisse, die auf den 20. Oktober 2022 gefolgt sind, "auf Papier" zu bringen. Einerseits waren/sind es die Beiträge von Paul Ramsey …

Data virtualization mit Postgres

Inhalt:

• Was ist Data virtualization?
• Data virtualization am Beispiel Postgres
• Herausforderungen von FDWs
• Zusammenfassung

Was ist data virtualization?

Data virtualization bezeichnet einen Prozess, wo es einen direkten Zugriff zwischen den Datenquellen gibt. Beispielsweise greift das Data Warehouse direkt auf die Daten im Data Lake zu. Es …

Wochennotiz 22

Inhalt:

• Postgres und die Datenwelt
• Security und Privacy
• AI
• Diverses

Postgres und die Datenwelt

Bei Supabase schaut man sich an was es neues bei pgvectorgibt: What's new in pgvector v0.7.0.

In einem Beitrag bei Neon wird die Implementierung des psql-Commands \d beschrieben:Bringing psql …

Wochennotiz 21

Inhalt:

• Postgres und die Datenwelt
• Security und Privacy
• AI
• Diverses

Postgres und die Datenwelt

Nikolay Samokhvalov schreibt über Common DB schema change mistakes.

Robert Hass schreibt über die Arbeit am Postgres-Code: Hacking on PostgreSQL is Really Hard.

Über den Beitrag PostgreSQL 17: part 3 or CommitFest 2023-11 bin …

Wochennotiz 20

Inhalt:

• Postgres und die Datenwelt
• Security und Privacy
• AI
• Diverses

Postgres und die Datenwelt

LWN fasst eine Diskussion auf der Postgres-Mailingliste zusammen: The PostgreSQL community debates ALTER SYSTEM.

Es gibt eine Präsentiation zu eienr neuen und spannenden Extension, die das MySQL wire protocol nutzt und es ermöglichen soll …

Wochennotiz 19

Inhalt:

• Postgres und die Datenwelt
• Security und Privacy
• AI
• Diverses

Postgres und die Datenwelt

Adam Hendel schreibt über die Extension pg_vectorize: Operationalizing Vector Databases on Postgres.

In einem Blogbeitrag sieht man schön, wie sich der Postgrees Optimizer über die Zeit verbessert hat: Ten years of improvements in PostgreSQL's …

Wochennotiz 18

Inhalt:

• Postgres und die Datenwelt
• Security und Privacy
• AI
• Diverses

Postgres und die Datenwelt

Jonathan Katz berichtet über Neuerungen bei pgvector, die es mit der Veröffentlichung von Version 0.7.0 geben wird und zeigt auch Benchmarks. Beeindruckend finde ich das Tempo der Entwicklung von pgvector. Hier sieht …

Wochennotiz 17

Inhalt:

• Postgres und die Datenwelt
• Security und Privacy
• AI
• Container
• Diverses
• Grazer Linuxtage

Postgres und die Datenwelt

David Wheeler fragt sich mit welcher Programmiersprache PGXN 2 umgesetzt werden soll: PGXN v2: Go or Rust?.

OnGres hat auch eine Idee zum Thema der Postgres-Extensions: Why Postgres Extensions should be …

Wochennotiz 16

Durch das verlängerte Osterwochenende kommt die Wochennotiz nach dem Wochenende. Und auch ein klein wenig ist es den Entwicklungen rund um Xz geschuldet. Aber dazu gibt es ja Security und Privacy einiges lesenswertes.

Inhalt:

• Postgres und die Datenwelt
• Security und Privacy
• AI
• Diverses

Postgres und die Datenwelt

Eine …

Wochennotiz 15

Mit der heutigen Ausgabe erscheint die Website in einem neuen Design. Ich dachte es ist wieder einmal an der Zeit etwas zu ändern.

Inhalt:

• Postgres
• Security
• AI
• Diverses

Postgres

JIT compiling gibt es jetzt schon einige Versionen in Postgres. Aber neue Ideen und Prototypen schaden nie: Look ma …

Wochennotiz 14

Inhalt:

• Postgres
• Security
• AI
• Diverses

Postgres

Vom Beitrag Postgres Start-up Ökosystem 2024 habe ich auch eine englische Version erstellt: Postgres start-up ecosystem 2024.

Einen detailierten Beitrag, wie man Postgres und Postgis nutzen kann, um räumliche Fragestellungen zu analysieren, findet man bei Taras Kloba: How to use PostgreSQL for …

Postgres start-up ecosystem 2024

This is the English version of an article published in February. For the German version go to Postgres Start-up Ökosystem 2024.

A conversation with a colleague about databases and the importance of the longevity of data gave me the idea, to investigate the postgres start-up ecosystem …

Wochennotiz 13

Inhalt:

• Postgres
• Security
• AI
• Diverses

Postgres

Ein kleines Update habe ich dem Beitrag Postgres Start-up Ökosystem 2024 verpasst, da ich noch über weitere Firmen "gestolpert" bin.

Diese Woche wurde eine neue Version von Pigsty veröffentlicht. Pigsty bechreibt sich als Open-Source RDS Alternative. Neben einer Postgres Installation selbst, bringt …

Wochennotiz 12

Inhalt:

• Postgres
• Security
• AI
• Diverses

Postgres

Der wichtigste Beitrag in der Postgres Kategorie stammt diese Woche natürlich von dieser Seite ;-) Es handelt sich um einen Blick auf das Postgres Start-up Ökosystem. Im Beitrag werden einige Firmen und deren Produkte aufgelistet. Wie vollständig der Blick ist, kann ich nicht …