Category “Pgloader” — 28 articles

While making progress with both Event Triggers and Extension Templates, I needed to make a little break. My current keeping sane mental exercise seems to mainly involve using Common Lisp, a programming language that ships with about all the building blocks you need. Yes, that old language brings so much on the table When using Common Lisp, you have an awesome interactive development environment where you can redefine function and objects while testing them.

pgloader is a tool to help loading data into PostgreSQL, adding some error management to the COPY command. COPY is the fast way of loading data into PostgreSQL and is transaction safe. That means that if a single error appears within your bulk of data, you will have loaded none of it. pgloader will submit the data again in smaller chunks until it’s able to isolate the bad from the good, and then the good is loaded in.

Another day, another migration from MySQL to PostgreSQL… or at least that’s how it feels sometimes. This time again I’ve been using some quite old scripts to help me do the migration.

This article is about versions 2.x of pgloader, which are not supported anymore. Consider using pgloader version 3.x instead. You won’t need to generate the configuration anymore as pgloader now connects to a live instance of the source database and query its system catalogs for you.

En reprenant le contenu des articles de la série sur pgloader, j’ai pris le temps de compiler un tutoriel complet, en anglais. Si j’en crois les quelques mails que je reçois régulièrement au sujet de pgloader depuis quelques années maintenant, cela devrait aider les nouveaux utilisateurs.

To finish up the pgloader series, I’ve compiled all the information into a single page, the long awaited pgloader tutorial. That should help lots of users to get started with pgloader.

Dans la série de nos articles sur pgloader, l’article du jour décrit comment insérer des valeurs constantes (absentes du fichier de données) pendant le chargement. Cela permet par exemple d’ajouter un champ « origine », qui dépend typiquement de la chaîne de production des données et se retrouve souvent dans le nom du fichier de données lui-même.

Dans la série de nos articles sur pgloader, le dernier venu détaille comment utiliser la fonction de reformatage de cet outil. Dans le cadre d’utilisation d’un ETL, cela est assimilé à la phase Transform, ce qui fait de pgloader une solution simple pour vos besoins d’ETL.

Dimitri Fontaine

PostgreSQL Major Contributor

Open Source Software Engineer

France