bdr: document types of conflicts and their resolution (internals)

bdr: Don't create TRUNCATE triggers for DDL replication during pg_restore

bdr: Use logical dump/reload and catchup mode during DB startup

Install BDR extension in remote, track progress in bdr.bdr_nodes,
support pg_dump --snapshot and pg_restore for dump+reload apply,
use catchup mode.

bdr: Support stopping replay at a specified LSN

bdr: Expose origin id and lsn in decoded commit records

This is required for catchup mode.

bdr: Add bdr_apply_pause/_resume functions

These are analogous to pg_xlog_replay_pause()/_resume().

bdr: reorder functions in bdr_apply.c

bdr: do no longer generate a warning when bdr.permit_unsafe_ddl_commands = yes

bdr: Permit exclusion constraints in bdr extension creation

bdr: Remove defunct contrib/bdr tests

bdr: forbid partial unique indexes on permanent relations

bdr: forbid EXCLUDE constraints on permanent relations

bdr: Greatly improve conflict handling for insert

Needs some more refactoring and logging improvements.

bdr: Add bdr.default_apply_delay GUC

bdr: create extensions IF NOT EXISTS

This avoids useless errors when the btree_gist extension is already
installed.

bdr: fix: actually set sys id and timeline

bdr: fix: use palloc0() instead of palloc()

When using palloc(), bdr_startup_context->workers is not NULL/NIL and
therefore the later lcons() call will lead to a segfault.

bdr: added prototype for bdr_worker_shmem_release()

Currently the prototype has an unused attribute since function is not yet used

bdr: fix: ensure to use the right format by using format constants now

Conflicts:
contrib/bdr/bdr.c

bdr: If bdr.max_connections is zero, don't try to allocate -1 shmem

bdr: auto-calculate bdr.max_workers from bdr.connections if unset

Allocate enough shared memory to create BdrWorker entries in BdrWorkerCtl for
one per-database worker and one apply worker for every configured connection,
i.e. assume each configured connection is for a different DB.

bdr: Don't print an informative message in a signal handler.

bdr: code style cleanups for the dynamic bgworker change

Including formatting and shmem vs shm consistency cleanups.

bdr: fix shmem size computation for the recent dynamic bgworker change

bdr: prefix functions with bdr_

bdr: Use dynamic background workers and shared memory

BDR previously used one static bgworker for each apply connection, passing the
configuration for each apply worker as a pointer into postmaster memory.

This relied on the ability to fork() without exec(), which won't work on
EXEC_BACKEND platforms (i.e. Windows). It also prevented any possibility
of adding new connections at runtime, made it harder to control when
apply workers started, and made it impossible to run a short lived apply
worker.

In order to properly support dump/apply for logical dump based node bring-up,
we need to be able to run short-lived bgworkers and pass parameters to them
that are only determined after postmaster start. This requires dynamic
bgworkers and the use of shared memory to communicate parameters to bgworkers.

bdr: fix: corrected typo in PG_FUNCTION_INFO_V1() call

bdr: fix: SPI expects a char array for NULLs

bdr: Fix issues with transaction local state used in ddl queues processing.

Otherwise CONCURRENTLY commands fails because resources will be freed
twice and because tupledescs et al. are still referenced.

bdr: bugfix: avoid replication of internal schema

bdr: Apply event from the command queue using full blown portals.

This has the advantage that we can support normal SQL statements in
the command queue which is needed for conflict triggers.

bdr: lift restriction on ALTER .. RENAME

bdr: fix idiotic bdr-drops merge mistaek

bdr: lift restriction on DROP

bdr: add DROP support, using stuff from bdr-drops

bdr: Improve buffer and snapshot tracking.

As a preparation for more elaborate conflict handling track tuples
using TupleTableSlots and acquire/release snapshots more granulary.

bdr: Minor code formatting fixes

bdr: Introduce support for forwarding changes from foreign nodes

Adds the "forward_changesets" option to the bdr_output plugin.

This can be used to cascade changes from one node to another,
potentially allowing cascading logical replication.

It's required to support proper addition of a new node via logical
dump.

bdr: Use sequencer wakeup scheduling code in the apply path as well.

bdr: Improve sequencer wakeup logic.

Schedule a sequencer wakeup at EOXact whenever a sequence is created
or it's setttings are modified. This allows to significantly decrease
the frequency of unneccessary sequencer wakeups and also significantly
reduces the time until a new sequence is initialized.

bdr: Fix some embarrassing oversights in recent commits leading to aborting replay.

bdr: allow certain types of ALTER TABLE commands

For now we allow:

- ADD COLUMN
- DEFAULT
- CLUSTER ON
- SET WITHOUT CLUSTER
- SET (...)
- RESET (...)
- replace reloption list

bdr: better error messages for SPI calls

I could be wrong but „blub“ or „blart“ is not a very comprehensible
error message ;-)

bdr: Don't forbid CREATE INDEX CONCURRENTLY anymore.

bdr: Clean up remote update replay code a bit.

bdr: Remove superflous check_sequencer_wakeup() call.

bdr: Simplify logic for generating the primary key during updates.

That hopefully gets rid of compiler warnings on older gccs.

bdr: Try to add bdr_commandfilter.c to windows buildsystem.

Also reorder some sourcefiles into alphabetical order...

bdr: prevent specific utility commands from being executed

We use a ProcessUtility_hook to prevent some utility commands from being
executed. Currently this contains:

- SECURITY LABEL
- CREATE INDEX CONCURRENTLY
- ALTER TABLE
- ALTER … RENAME TO
- DROP TABLE/VIEW/SEQUENCE/TRIGGER/RULE/EXTENSION/TYPE
- DROP OWNED
- ALTER TYPE … ADD VALUE

Still TODO:

- Prevent replication for CREATE/DROP/ALTER TABLESPACE/ALTER TABLESPACE
  MOVE.
- Prevent replication of COMMENT ON for non-local objects.
- Implement a new GUC, bdr.ddl_prevent_replication

bdr: bugfix: end critical section in „not acquired new“ case as well

bdr: calling check_sequencer_wakeup() now on UPDATE conflict

After reading code it seems to be no problem calling
check_sequencer_wakeup() on UPDATE conflict; thus we do it.

bdr: moved apply/log update check code to a dedicated function

bdr: generated_key wasn't used at all, so drop it

bdr: refactored use Oids to identify and refer to relations

bdr: Support replication of CONCURRENTLY commands.

To do so ddl replication can no longer user spi as that prohibits
executing commands that execute transaction internally. Do the grunt
work ourselves instead.

bdr: queue CREATE SCHEMA as well

bdr: Rewrote lookup code for bdr.bdr_queued_commands

Now we're looking up the QueuedDDLCommandsRelid of
bdr.bdr_queued_commands in bdr_maintain_schema() using
get_namespace_oid() as well as get_relname_relid().

bdr: Fix typo causing the wrong tuple format to be sent

bdr: Fix typo causing the send/recv not to be used even though version's match

Found in respond to tests by Christian.

bdr: Fix Windows build by compiling bdr_compat.c

bdr: Properly send timestamps, xlogrecptrs as int64s

bdr: Initial framework for choosing the correct data encoding based on the client.

bdr: Don't perform index insertions for HOT updates

bdr: Use the old local tuple to build the new tuple version for updates.

This allows us to handle unchanged toast columns.

bdr: Send relation information separately from tuple data

bdr: Ugly makefile hack to support make clean

bdr: Initial implementation of a more elaborate tuple wire protocol.

BDR wants to be fast, but it also wants to support replication across
versions and architectures. So far we used to always copy the binary
data as is between sender as receiver. That works well enough for
simple scalar core data types, but it breaks down when oids are
embedded in the disk format.

Instead allow to specify the format on a per-datum format. It's now
supported to send data in binary, send/recv format or text. On the
sending side we select binary if it's a scalar core type, and
otherwise use send/recv. This needs to be extended to support cross
architecture replication, but that's for another commit.

bdr: Don't queue truncate triggers for serials created inside a CREATE TABLE

bdr: add CREATE EXTENSION to set of replicated commands

bdr: Replicat CREATE TYPE

At least CREATE TYPE ... AS ENUM works.

bdr: adjustments for changed output plugin API

bdr: use correct lock mode when creating extensions

bdr: code formatting cleanup

bdr: mergme: Also queue ALTER TABLE commands

bdr: mergme: Only add truncate trigger if CREATE TABLE

bdr: avoid race conditions when installing bdr extensions

Previously installing the bdr (and prerequisite) extensions was racy
because only the sequencer installed them. Initially that wasn't much
of a problem since only the sequencer and manual queries needed the
schema, but that's not true anymore.

Instead check whether the schema exists in every started worker and
prevent races by acquiring a suitably strong lock on pg_extension
while checking/creating.

bdr: enabling CREATE TRIGGER replication

bdr: implement support for TRUNCATE TABLE replication

bdr: Don't insert commands into bdr_queued_commands during replay.

bdr: formatting fixes for bdr--0.5.sql

bdr: moved GUCs to one-dot notation

bdr: ignore temp objects when queueing

bdr: Initial DDL replication

This simply accumulates DDL commands in a table, and has the bdr_apply
background worker execute it.

bdr: Initialize bgw_notify_pid to 0

Failure to do this resulted in a bgworker that would not run in some
cases.

bdr: fix nasty typo leading to pkey extraction using the wrong type

bdr: pgbench: delete instead of truncate

bdr: bdr plugin

Andres Freund, Alvaro Herrera, Abhijit Menon-Sen

bdr,core: Add database oid to IDENTIFY_SYSTEM

Adjust all IDENTIFY_SYSTEM callers

bdr,core: isolationtester: Isolationtester with multi-server support

The spec file can now start with declarations like this:

    conninfo "cname1" "port=NNNN dbname=XYZ"
    conninfo "cname2" "port=MMMM dbname=PQR"

And sessions may include connection declarations like this:

    session "s1"
    connection "cname1"

Both are optional. If no connection information is explicitly specified,
then the earlier behaviour (use conninfo from commandline or fall back
to "dbname=postgres") is retained.

If connection information is specified, we open one "global" connection
per conninfo (for lock checking) and one connection per session. Setup
SQL is executed only on conns[0], as before (but perhaps it would help
to execute it on all until DDL replication is implemented?).

Includes the rudimentary tests from before, including some failing ones.

wal_decoding: Add pg_xlog_wait_remote_{apply,receive} functions

We want to use these in isolationtester tests, but they're more
generally useful for "inter-node synchronisation".

core, bdr: Add --snapshot argument to pg_dump, allowing user-specified snapshot to dump

Allows pg_dump to dump from a snapshot that already exists. pg_dump already
supported SET TRANSACTION SNAPSHOT for use in parallel dump, but didn't allow
the user to explicitly specify the snapshot.

This is useful in BDR/UDR, where we want to initialize a new replica
using the state of an existing node from the snapshot automatically
exported by a slot.

Author: Simon Riggs

wal_decoding: Add (non-)transactional message feature for logical decoding

core: Hack around function_parse_error_transpose() hack of using portal's query text

core: Add strtoll/strtoull emulation if necessary.

seqam: v0.2.3

replication_identifiers: v0.3.2

Introduce feature to keep track of replication progress.

Replication identifiers can be used to track & lookup remote nodes identified
via (sysid, tlid, remote_dbid, local_dbid, name) and map that tuple to a local
uint16.

Keyed by that replication identifier the progress of replication from
that system is tracked in a crashsafe manner.

Support for tracking that via output plugins is added as well.

Needs a catversion bump.

committs: v0.4.5

Alvaro Herrera, from 20131022221600.GE4987@eldon.alvh.no-ip.org

core: use PG_FUNCNAME_MACRO to avoid stale name

event_trigger.c: Fix typo in comment

gram.y: more psprintf()