bdr: Fix silly mistakes in the merge of worker and output plugins

bdr: pg_dump: check for exported snapshots support only when --snapshot option was used

bdr: move to version 0.6

bdr: Merge worker and output plugin shared objects.

The output plugin API used to require a separate shared object for
output plugins when _PG_init() did significant stuff. That's not the
case anymore, so get rid of that split.

bdr: Improve sequence debug messages a bit.

bdr: Improve handling of non-PANIC crashes of the perdb worker.

The ddl locking subsystem sent out a message to release all ddl locks
when the perdb worker was restarted. That can, among others, happen if
a DDL lock clashes with the sequencer.

RT-#37787, reported by Petr Jelinek

bdr: Don't error out when replicating rows with NULLs in unique keys.

At an earlier point build_index_scan_key() never had to deal with
indexes where keys can contain NULL. Instead of erroring out properly
set SK_ISNULL and return the information that the scankey returns
NULLs to the caller.
Current callers can just skip indexes with NULLs.

bdr: Small usage tip for bdr_init_copy

bdr: fix build by including sys/stat.h

the S_* constants live in sys/stat.h (according to POSIX), so include
that, too and allow building on platforms other than Linux (which
provides the S_* constants via fcntl.h).

bdr: add bdr.bdr_version() interface

bdr: Remove verbose message for every replayed commit.

bdr: Fix various memory leaks.

Found by Petr.

bdr: Introduce a quickstart script to be used in the tutorial

This provides a quick way to install BDR from sources.

bdr: Add sample config and basic docs

bdr: Ignore some build outputs

Tweak .gitignore

bdr: Add a distinct version, 9.4beta1_bdr0601, to configure.in

This allows us to tell BDR and non-BDR binaries apart, and helps with packaging.

bdr, deparse: Deparse nondefault seqams correctly when default_seqam is set.

This could lead to sequences being created as bdr sequences on one
node and local sequences on others.

bdr: Add bdr_init_replica utility for starting up new bdr node from a pg_basebackup copy.

bdr: Properly initialize stack variable.

bdr: add -s [SYSID] option to pg_resetxlog

bdr: Distributed DDL locking.

bdr: Allow shutdown to interrupt bdr workers by triggering PROCESS_INTERRUPTS().

bdr: Reset replication identifier lsn/time after a commit

bdr: Reduce log level of feedback messages to DEBUG2

bdr: Fix typo in log message

bdr: Don't increase the number of configured nodes after each crash restart.

wal_decoding: Fix sending of nontransactional messages in transactions.

wal_decoding: Add rmgrdesc support for the message feature

bdr: Send remote transaction origin (sysid,tlid,dboid) at BEGIN

Previously we sent this information at COMMIT time, which meant code
running before COMMIT was replayed couldn't tell if it was working on
a forwarded transaction from a third party node (in catchup mode).

Now the remote identifier is decoded into a local RepNodeId at BEGIN
and stored for access throughout replay.

bdr: Remove unused ApplyWorker allocations from _PG_init

bdr: Fix crash when queueing ddl commands that are represented by more than one command row by pg_event_trigger_get_creation_commands.

bdr: code review for bdr_conflict_handlers_check_handler_fun

Make the error messages clearer by adding hints; also fix a bug that it
was requesting type TEXT when in reality it wanted regclass (&^%$#!)

bdr: minor code review for bdr_create_conflict_handler

bdr/deparse: have DDL replication track perpetrators

This means tables (and other objects) are created with the right owners,
GRANTs are executed with the right grantors, etc.

Queueing function had to be rewritten in C in order for this to work.

bdr: Fix use of wrong variable.

Introduced in "bdr: implement per-db worker in shmem"

bdr: restart bgworkers after connection aborts again.

The recent bgworker API fixes reinterpreted the proc_exit(0) by the
old connection abort case into a "don't restart bgworker".

bdr: Set application_name for both SPI and libpq connections

Setting application_name makes it much easier to see what bdr is doing
in pg_stat_activity and provides a useful log_line_prefix.

bdr: Use (sysid,timelineid,dboid) on the wire, not local RepNodeId

The wire protocol was using RepNodeId in catchup mode, but RepNodeId is a
purely local identiifer that should never leave a node.

It should 've been sending the (sysid, timeline id, dboid) tuple that globally
identifies a node, then turning that back to a RepNodeId local to the apply
side when it' s received.

bdr: Use database oid, not database name, as key in bdr.bdr_nodes

The key for a bdr node is (sysid, timelineid, dboid) so using dbname
in bdr.bdr_nodes is incorrect.

bdr: Expose dboid via bdr_connect

We need to be able to access the remote database oid now that
we support intra-node replication.

bdr: BGWorker exit with BGW_NO_RESTART is now respected, so simplify error handling

bdr: Fix init_replica bug introduced by per-db workers in shmem

Two arrays that previously always had the same offsets for any given
connection no longer do after per-db workers were introduced. This
exposed a previous bug in init_replica where mapping between the two
arrays was not properly done.

bdr: Add db oid param to fetch_sysid_via_node_id, add bdr_ prefix

Rename fetch_sysid_via_node_id to bdr_fetch_sysid_via_node_id and add a new
output parameter to return the database oid for the database that's local
to that RepNodeId.

This allows bdr_fetch_sysid_via_node_id to return the full identifying
key for a node now that we support intra-node replication.

bdr: Fixup for Mkvcbuild.pm typo

bdr: fix: include header file for prototypes

AdvanceCachedReplicationIdentifier() and AdvanceReplicationIdentifier()
are defined in replication/replication_identifier.h

bdr: Put files to be built into a consistent order. again.

Doing so makes resolving merge conflicts far easier.

bdr: move fetch_sysid_via_node_id into bdr_catalogs.c

This allows fetch_sysid_via_node_id to be used by the output
plugin for resolving a local RepNodeId into a (sysid,tlid) tuple.

bdr: Add timeline ID to bdr.bdr_nodes, change sysid type to text

The unique identifier for a given bdr node is (sysid, timelineid, dbname), so
make sure that's the correct key in bdr.bdr_nodes.

bdr: tests for DDL replication

bdr: fixing check target

bdr: use get_database_name() not direct syscache lookup

Per review from Andres.

bdr: fix drops stuff for internal objects

Things such as TOAST tables were causing errors when tables having them
were dropped.

bdr: replicate all DDL commands

bdr: Don't use send/recv protocol for array/composite types.

bdr: Use GetSysCacheOidError2 to cut some code in conflict logging

bdr: move GetSysCacheOidError2 into bdr_catalogs.c and bdr.h

Should be shareable between bdr apply and bdr output.

bdr: Better error message on slot creation for db where bdr not active

We want to block slot creation on a database where there's no active
bdr connection configured for that db. Test to see whether there's a
bdr schema and refuse to create a slot in this case.

Doesn't protect against bdr being enabled then disabled, but nothing
exciting will happen in that case anyway.

bdr: minor header cleanup

bdr: don't perform ddl command filtering in non bdr databases.

bdr: disable commandfilter when running in single user mode

bdr: test cases for cluster-internal drop replication and common conflicts

common_conflicts.spec: Generate the common conflicts
cluster-internal-drop.spec: Test case failing for a DROP bug in
cluster-internal replication

bdr: enabling cluster-internal replication

bdr: implementing bdr.<name>_local_dbname

bdr: refactor BdrConnectionConfig to use char * instead of NameData

bdr: Prevent slot creation until BDR is up and ready

Checks bdr.bdr_nodes status field for the local node in the local DB during bdr
output plugin startup and ERRORs if status isn't set to ready yet. This ensures
that we cannot begin sending changes to other nodes while we're still applying
a dump or performing catchup.

The BDR per-db worker now creates an entry in the local bdr.bdr_nodes if
init_replica isn't configured on any connection and no such entry exists. That
makes sure BDR without init_replica keeps working properly.

An error like:

    ERROR:  bdr.bdr_nodes entry for local node (sysid=6013159507840554182, dbname=postgres): row missing, bdr not active on this database or is initializing.

is emitted if the DB isn't ready for BDR yet. This can be tested easily with
pg_recvlogical by deleting the bdr.bdr_nodes entry for the local node or
creating an init_replica script that pauses indefinitely.

bdr: At high debug levels log replication protocol commands

This makes getting a view of the parameters sent when starting logical
replication easier.

bdr: Prevent null pointer dereference for blank output plugin params

bdr_output would crash with a segfault due to a null pointer dereference
if a parameter was specified but no corresponding value was supplied, e.g.

pg_recvlogical -P bdr_output -S test -d postgres --create
pg_recvlogical -P bdr_output -S test -d postgres --start -f - -o pg_version

This now fails with an ERROR instead of crashing and forcing postmaster
re-init, e.g.

    ERROR:  uint32 parameter "pg_version" had no value

bdr: Don't register duplicate apply workers on perdb worker restart

Previously we handled postmaster restarts, but not the case where a per-db
worker restarted without a postmaster restart being triggered (such as on an
ERROR in a per-db worker).

This solution is imperfect. The flag to detect postmaster restart is set after
shmem is populated with the apply worker info but before they're actually
registered. If a crash forces a postmaster restart before all apply workers are
registered by all each per-db worker we'll fail to launch any that weren't
launched before the restart, because we've lost the shmem launch state flags
and have to assume they were all launched.

A proper solution probably requires a way to query the list of registered
bgworkers to determine whether a particular worker is registered.

bdr: fix: always send 0 as timeframe for UPDATE vs DELETE

bdr: integration of conflict handlers for UPDATE vs DELETE

bdr: fix: use same datatype as bdr_max_workers to avoid compiler warning

bdr: adding errcodes to a lot of ereports

bdr: refactoring: remove duplicate enum for conflict handlers/logging

bdr: fix: bdr_queued_commands has been changed, use new structure

bdr: Move apply worker global state out of shmem

bdr: implement per-db worker in shmem

bdr: Be a bit more considerate when creating the necessary extensions.

bdr: Be more careful about recursively entered ddl replication commands

bdr: Try to be more consistent in bdr--0.5.sql

* indent with 4 spaces
* always revoke permissions from tables
* always have the revoke close to the table's definition
* creating object in a halfway meaningful order

bdr: queue command_tag rather than objtype/identity

These are used for error messages anyway, so they aren't very important;
and it's hard to see what would be identity be for commands that act on
multiple objects such as GRANT.

bdr: Log conflicts to a bdr.bdr_conflict_history table

Creates a bdr.bdr_conflict_history table and logs conflicts to it when they're
detected, with details on both sides of the error.

Currently only logs insert/insert conflicts. The infrastructure for reporting
ERROR conflicts is present but not yet used.

bdr: move heap and index access routines into bdr_executor.c

bdr: move bdr_process_remote_command into bdr_apply.c

bdr: fix: include timeframe in conflict handlers view

bdr: fix: partly reverting ff6fc55 due to mussjudgements

bdr: we now use ereport() and elog(DEBUG1) in various cases

bdr: fix: get schema name from oid and don't use hard coded public

bdr: fix: do not use vars named errmsg, generate proper log message

bdr: fix: use correct datatypes in various loops

This avoids compiler warnings for signed vs unsigned comparison.

bdr: command filter enhancements and fixes

Forbidding renaming of ALTER AGGREGATE … RENAME TO …, ALTER COLLATION …
RENAME TO …, ALTER CONVERSION … RENAME TO …, ALTER OPERATOR CLASS …
RENAME TO …, ALTER OPERATOR FAMILY … RENAME TO …. Forbidding ALTER
TABLESPACE … MOVE …, too.

bdr: conflict handlers: refactored handler invocation

In the previous code we forgot in one case to call conflict
handlers. This lead to calling them in each if branch. Thus we decided
to refactor the code to call the handlers above the code.

bdr: fix: use CreateCommandTag() for various commands

Due to inernals completionCommand is not always available. Use
CreateCommandTag() in this cases.

bdr: fix: really disallow SECURITY LABEL for now

bdr: Don't use hack to avoid copying whole tuples when putting them in slots.

The current hack isn't sufficient, instead more widespread changes to the slot
mechanism are required.

This caused errors like:

ERROR: could not access status of transaction 4294967295
DETAIL: Could not open file "pg_clog/0FFF": No such file or directory.

when getting a Datum for a tuple with ExecFetchSlotTupleDatum .

Author: Andres Freund

bdr: Send remote transaction ID in begin messages

Adds 4 bytes to each BEGIN, but allows better debugging information
by logging the remote transaction ID when conflicts are detected
or apply errors occur.

bdr: Remove unused field has_timetravel from ReorderBufferTXN

This field is never used and doesn't appear in the copy of ReorderBufferTXN in
master. It looks like a merge oversight.

bdr: fix: use createCommandTag()

Use createCommandTag() for T_DefineStmt/T_CreateTableAsStmt class
queries because completionTag isn't available in this case (due to
internals).

bdr: conflict handlers: always forbid conflict handlers on system tables

bdr: isolationtester: some basic tests for generating conflicts

bdr: allow VALIDATE CONSTRAINT