bdr: fix: include timeframe in conflict handlers view

bdr: fix: partly reverting ff6fc55 due to mussjudgements

bdr: we now use ereport() and elog(DEBUG1) in various cases

bdr: fix: get schema name from oid and don't use hard coded public

bdr: fix: do not use vars named errmsg, generate proper log message

bdr: fix: use correct datatypes in various loops

This avoids compiler warnings for signed vs unsigned comparison.

bdr: command filter enhancements and fixes

Forbidding renaming of ALTER AGGREGATE … RENAME TO …, ALTER COLLATION …
RENAME TO …, ALTER CONVERSION … RENAME TO …, ALTER OPERATOR CLASS …
RENAME TO …, ALTER OPERATOR FAMILY … RENAME TO …. Forbidding ALTER
TABLESPACE … MOVE …, too.

bdr: conflict handlers: refactored handler invocation

In the previous code we forgot in one case to call conflict
handlers. This lead to calling them in each if branch. Thus we decided
to refactor the code to call the handlers above the code.

bdr: fix: use CreateCommandTag() for various commands

Due to inernals completionCommand is not always available. Use
CreateCommandTag() in this cases.

bdr: fix: really disallow SECURITY LABEL for now

bdr: Don't use hack to avoid copying whole tuples when putting them in slots.

The current hack isn't sufficient, instead more widespread changes to the slot
mechanism are required.

This caused errors like:

ERROR: could not access status of transaction 4294967295
DETAIL: Could not open file "pg_clog/0FFF": No such file or directory.

when getting a Datum for a tuple with ExecFetchSlotTupleDatum .

Author: Andres Freund

bdr: Send remote transaction ID in begin messages

Adds 4 bytes to each BEGIN, but allows better debugging information
by logging the remote transaction ID when conflicts are detected
or apply errors occur.

bdr: Remove unused field has_timetravel from ReorderBufferTXN

This field is never used and doesn't appear in the copy of ReorderBufferTXN in
master. It looks like a merge oversight.

bdr: fix: use createCommandTag()

Use createCommandTag() for T_DefineStmt/T_CreateTableAsStmt class
queries because completionTag isn't available in this case (due to
internals).

bdr: conflict handlers: always forbid conflict handlers on system tables

bdr: isolationtester: some basic tests for generating conflicts

bdr: allow VALIDATE CONSTRAINT

bdr: fix: build bdr_relcache.c and bdr_conflict_handlers.c on Windows, too

bdr: introducing conflict handlers

Conflict handlers are user definable functions which get called when a
conflict appears. Currently there is only UPDATE vs UPDATE implemented

bdr: introducing a relcache

The relcache caches relation dependent data to avoid gathering them again
for every action

bdr: fix: don't access relation after it's been closed

bdr: fix command filter to check on the transformed ALTER TABLE statements

bdr: Fix a couple of minor typos

bdr: Significantly improve the commandfilter.

Several previously allowed command are now forbidden and vice versa.

bdr: Place assertion forbidding expression unique indexes more precisely.

bdr: Use a more narrow START/END critical section in sequences code.

bdr: also replicate CREATE FUNCTION

bdr: don't replicate objects in extensions

bdr: also replicate ALTER SEQUENCE

bdr: Also accept ProcessedConstraints in the commandfilter.

That makes CREATE TABLE ..( ... REFERENCES ...) work.

bdr: WIP: add more info to ddl queues

bdr: in get_worker_option removal, it helps to increment the counter

Failure to increment the loop counter led to >2 node configurations failing.

bdr: Supply a 'short_desc' for bdr.default_apply_delay.

Otherwise SHOW ALL crashes.

bdr: Fix typo in the get_worker_option() removal patch.

bdr: Remove get_worker_option in favour of direct GUC access

Store GUCs for each bdr.[connname] as members of a postmaster palloc'd struct
accessed via a global array. Pass BDR workers indexes into this array in shmem
so they know how to access their GUC values.

Fixes Andres's concerns with get_worker_option. This also makes it easier to
support EXEC_BACKEND later.

bdr: Don't include frontend libpq in generic bdr header.

Otherwise we need to link to libpq on windows to get the right include
dir added.

bdr: Remove further pre C99 incompatibility.

bdr/deparse: don't use TG_TAG

It's not useful in case of nested commands (maybe in other cases too);
rely on pg_event_trigger_get_creation_commands().command_tag instead.

bdr: Don't use c99-only const array initializers

bdr: Windows? Not yet. #ifdef out bdr_exec_init_replica

In future we should CreateProcessEx for Windows. This really wants a new
function for port/ that uses fork()/exec() on *nix, and CreateProcessEx on
Windows.

That's not within the scope of BDR as specified, and time's a-'ticking, so for
now let's just make this feature unsupported on Windows so the buildfarm stops
whining.

bdr: Allow ALTER TABLE DROP COLUMN/SET NULL/DROP NULL

bdr: fix compiler warning about unused variable

bdr: Always use the correct relation name in truncation triggers.

bdr: Adapt to postgresql upstream changes

bdr: deparse: Support USING in CREATE SEQUENCE

bdr: fix: include header files instead of forward declare data structures

bdr: Include errno.h not sys/errno.h

bdr: some cleanups for the init replica functionality.

bdr: Build bdr_init_replica.c on Windows too

bdr: clean up include file mess

bdr: document types of conflicts and their resolution (internals)

bdr: Don't create TRUNCATE triggers for DDL replication during pg_restore

bdr: Use logical dump/reload and catchup mode during DB startup

Install BDR extension in remote, track progress in bdr.bdr_nodes,
support pg_dump --snapshot and pg_restore for dump+reload apply,
use catchup mode.

bdr: Support stopping replay at a specified LSN

bdr: Expose origin id and lsn in decoded commit records

This is required for catchup mode.

bdr: Add bdr_apply_pause/_resume functions

These are analogous to pg_xlog_replay_pause()/_resume().

bdr: reorder functions in bdr_apply.c

bdr: do no longer generate a warning when bdr.permit_unsafe_ddl_commands = yes

bdr: Permit exclusion constraints in bdr extension creation

bdr: Remove defunct contrib/bdr tests

bdr: forbid partial unique indexes on permanent relations

bdr: forbid EXCLUDE constraints on permanent relations

bdr: Greatly improve conflict handling for insert

Needs some more refactoring and logging improvements.

bdr: Add bdr.default_apply_delay GUC

bdr: create extensions IF NOT EXISTS

This avoids useless errors when the btree_gist extension is already
installed.

bdr: fix: actually set sys id and timeline

bdr: fix: use palloc0() instead of palloc()

When using palloc(), bdr_startup_context->workers is not NULL/NIL and
therefore the later lcons() call will lead to a segfault.

bdr: added prototype for bdr_worker_shmem_release()

Currently the prototype has an unused attribute since function is not yet used

bdr: fix: ensure to use the right format by using format constants now

Conflicts:
contrib/bdr/bdr.c

bdr: If bdr.max_connections is zero, don't try to allocate -1 shmem

bdr: auto-calculate bdr.max_workers from bdr.connections if unset

Allocate enough shared memory to create BdrWorker entries in BdrWorkerCtl for
one per-database worker and one apply worker for every configured connection,
i.e. assume each configured connection is for a different DB.

bdr: Don't print an informative message in a signal handler.

bdr: code style cleanups for the dynamic bgworker change

Including formatting and shmem vs shm consistency cleanups.

bdr: fix shmem size computation for the recent dynamic bgworker change

bdr: prefix functions with bdr_

bdr: Use dynamic background workers and shared memory

BDR previously used one static bgworker for each apply connection, passing the
configuration for each apply worker as a pointer into postmaster memory.

This relied on the ability to fork() without exec(), which won't work on
EXEC_BACKEND platforms (i.e. Windows). It also prevented any possibility
of adding new connections at runtime, made it harder to control when
apply workers started, and made it impossible to run a short lived apply
worker.

In order to properly support dump/apply for logical dump based node bring-up,
we need to be able to run short-lived bgworkers and pass parameters to them
that are only determined after postmaster start. This requires dynamic
bgworkers and the use of shared memory to communicate parameters to bgworkers.

bdr: fix: corrected typo in PG_FUNCTION_INFO_V1() call

bdr: fix: SPI expects a char array for NULLs

bdr: Fix issues with transaction local state used in ddl queues processing.

Otherwise CONCURRENTLY commands fails because resources will be freed
twice and because tupledescs et al. are still referenced.

bdr: bugfix: avoid replication of internal schema

bdr: Apply event from the command queue using full blown portals.

This has the advantage that we can support normal SQL statements in
the command queue which is needed for conflict triggers.

bdr: lift restriction on ALTER .. RENAME

bdr: fix idiotic bdr-drops merge mistaek

bdr: lift restriction on DROP

bdr: add DROP support, using stuff from bdr-drops

bdr: Improve buffer and snapshot tracking.

As a preparation for more elaborate conflict handling track tuples
using TupleTableSlots and acquire/release snapshots more granulary.

bdr: Minor code formatting fixes

bdr: Introduce support for forwarding changes from foreign nodes

Adds the "forward_changesets" option to the bdr_output plugin.

This can be used to cascade changes from one node to another,
potentially allowing cascading logical replication.

It's required to support proper addition of a new node via logical
dump.

bdr: Use sequencer wakeup scheduling code in the apply path as well.

bdr: Improve sequencer wakeup logic.

Schedule a sequencer wakeup at EOXact whenever a sequence is created
or it's setttings are modified. This allows to significantly decrease
the frequency of unneccessary sequencer wakeups and also significantly
reduces the time until a new sequence is initialized.

bdr: Fix some embarrassing oversights in recent commits leading to aborting replay.

bdr: allow certain types of ALTER TABLE commands

For now we allow:

- ADD COLUMN
- DEFAULT
- CLUSTER ON
- SET WITHOUT CLUSTER
- SET (...)
- RESET (...)
- replace reloption list

bdr: better error messages for SPI calls

I could be wrong but „blub“ or „blart“ is not a very comprehensible
error message ;-)

bdr: Don't forbid CREATE INDEX CONCURRENTLY anymore.

bdr: Clean up remote update replay code a bit.

bdr: Remove superflous check_sequencer_wakeup() call.

bdr: Simplify logic for generating the primary key during updates.

That hopefully gets rid of compiler warnings on older gccs.

bdr: Try to add bdr_commandfilter.c to windows buildsystem.

Also reorder some sourcefiles into alphabetical order...

bdr: prevent specific utility commands from being executed

We use a ProcessUtility_hook to prevent some utility commands from being
executed. Currently this contains:

- SECURITY LABEL
- CREATE INDEX CONCURRENTLY
- ALTER TABLE
- ALTER … RENAME TO
- DROP TABLE/VIEW/SEQUENCE/TRIGGER/RULE/EXTENSION/TYPE
- DROP OWNED
- ALTER TYPE … ADD VALUE

Still TODO:

- Prevent replication for CREATE/DROP/ALTER TABLESPACE/ALTER TABLESPACE
  MOVE.
- Prevent replication of COMMENT ON for non-local objects.
- Implement a new GUC, bdr.ddl_prevent_replication

bdr: bugfix: end critical section in „not acquired new“ case as well