More comments on default GIN opclass

Refactor deepContains(), and move to jsonb_support.c

Tweak the deepContains() implementation. Add extensive comments where
before there were very few.

The new location seems more appropriate, and allows jsonb_ops.c to
consist only of client functions to what could broadly be classified as
"walker infrastructure" that now all lives in jsonb_support.c.

A few other jsonb_support.c tweaks are made in passing.

Similar emphasis for other containment operators

Document ? operator limitation

initdb required: GIN compare support function

Previously, the jsonb_ops GIN opclass followed the example of
gin_hstore_ops in using bttextcmp() as its support function 1.  This
makes a certain amount of sense, since the opclass storage format is
text in both cases.  However, there is no need to pay the additional
overhead of collation-aware comparisons, since the ordering of keys
serialized as text within a gin_jsonb_ops GIN B-Tree is merely an
implementation detail of no consequence to users.

In passing, perform a little diff minimization.

Remarks on GIN numeric textual storage

Be careful about freeing memory in comparator

Use a possibly less confusing name for turning a json string into a jsonb.

Significant further JsonbIteratorNext() clean-up

Clarify issues around memory management, and the role of each of the
helper functions at each point.

Add GIN_SEARCH_MODE_ALL test coverage

More dead code removal

Macro alignment consistency

Prefer sizeof(type)

This especially applies to memory allocation.  There were a number of
expressions that rather confusingly referenced dereferenced anonymous
struct members and things like that.

Comments on findJsonbValueFromSuperHeader()

Fix-up jsonb macros

Consistent variable naming

jsonb.h macro alignment

Remove more dead code in jsonb_exists_all()

Remove more dead code

Remove dead code

gconv shows that the jbvBinary switch case within putStringConversion()
to be dead code.  This is unsurprising, as this is not one of the
contexts in which a scalar can be a binary.

Remove questionable coding practices

Don't return a pointer to static memory in a couple of functions.  Just
palloc() it and be done.  There is no reason to think we're particularly
sensitive to leaking memory in the relevant contexts (although I should
revisit memory leaks within B-Tree support function 1).

Also, don't XOR togther enum constants and WJB_* constants within
JsonbIteratorNext().

Clean-up "compression walking"

This doesn't have much to do with actual compression.  It actually
concerns converting an arbitrary JsonbValue to a 4 byte uncompressed
varlena representation (i.e. a Jsonb).  So stop using the misleading
term  compression, and start calling it conversion.  Use the type system
sensibly.  Clean-up and comment the code more generally.

Introduce "superheader" abstraction

This makes it clearer how the nested structure can be interacted with
through either a varlena Jsonb buffer pointer, or a (nested) pointer to
a Jentry (which has a header...so we might be accessing that through
what is nominally a superheader pointer, and it doesn't matter).

This makes the structure of much of jsonb_support.c a lot clearer.

Correct serialize/deserialize confusion

Clarify role of dataProper

Clean up iterator struct

Remove unused python-style negative subscripting code

Remove path separator

Minor simplification

Remove unnecessary header includes

Use hash_any(), not crc32

Trim some operator code

Relocate some support functions

Formalize enum value assert pattern

Use lengthCompareJsonbStringValue where possible.

This clarifies the role of length-based sorting, and lexical sorting.

Restructure loop

Don't incorrectly free iterators after all

Make some insufficient effort to not leak memory in bt support 1 routine

Clean up around lexical comparisons

Merge remote-tracking branch 'feodor/jsonb_and_hstore' into jsonb_and_hstore

Refactor, cleaning up mess around unique-ifying

Add hstore_to_jsonb, hstore_to_jsonb_loose functions and cast

compareJsonbStringValue is private

Made possible by last commit

Move array to jsonb sorted array function

Note on binary search

Remove == true idiom

Clean-up padding of unaligned jsonb internal types

Clean-up tree walk logic. Remove unnecessary callback.

Lose unnecessary walkUncompressedJsonbDo indirection

Remove GiST support

Given time pressures, and the fact that there is an unknown bug, it
makes sense to drop this for 9.4.

jsonb_1.out fixes missed earlier

Tweaks

JsonbIteratorGet() name and position altered.

Consistently use the term "scalar" in preference to the RFC term
"primitive" internally.

Fix from Alexander for jsonb_hash_ops @> issue

Merge branch 'master' into jsonb

Allow dynamic shared memory segments to be kept until shutdown.

Amit Kapila, reviewed by Kyotaro Horiguchi, with some further
changes by me.

Allow logical decoding via the walsender interface.

In order for this to work, walsenders need the optional ability to
connect to a database, so the "replication" keyword now allows true
or false, for backward-compatibility, and the new value "database"
(which causes the "dbname" parameter to be respected).

walsender needs to loop not only when idle but also when sending
decoded data to the user and when waiting for more xlog data to decode.
This means that there are now three separate loops inside walsender.c;
although some refactoring has been done here, this is still a bit ugly.

Andres Freund, with contributions from Álvaro Herrera, and further
review by me.

Teach on_exit_reset() to discard pending cleanups for dsm.

If a postmaster child invokes fork() and then calls on_exit_reset, that
should be sufficient to let it exit() without breaking anything, but
dynamic shared memory broke that by not updating on_exit_reset() to
discard callbacks registered with dynamic shared memory segments.

Per investigation of a complaint from Tom Lane.

gin comments

Fix one last GIN bug before submission

It's not okay for hash_stack_value() to just store a hash value in the
case of numeric JsonbValues.  Produce textual version of numeric with
trailing zeroes stripped.

GIN comments copy-edited for consistency

Move docs type mapping

Elipsis tweak

Re-indent GiST macros

On NULL sementatics and json null

More doc tweaks

Overhaul docs, with good example

Re-organizing json documentation. Needs more work.

Correct copy/pasto in comment for REPLICA IDENTITY

Reorder within jsonb_support.c

arrayToJsonbSortedArray variable name

More on compareJsonbStringValue

Tweaks

Formalize the notion that text index storage treats keys and elements as
equivalent.  lexicalCompareJsonbStringValue requires no "arg".

Update jsonb_1.out with recent tests previously missed

Fix GiST key/element bug too

Minor opclass-wise function re-ordering for GIN

Fix contains operator in jsonb GIN support routine

Have gin_extract_jsonb() flag boths keys and elements as keys.  I
believe this is safe, but additional review would be useful.

Add some regression testing for this.  The same bug exists for GiST, and
that isn't fixed here, so the failing regression test adding for the
analogous GiST bug earlier continues to fail.

Failing test for GiST indexes on jsonb arrays

Even though in some contexts jsonb arrays of strings have as keys (or at
least indexable values) their string elements, this only works with
seqscan plans.  Both GiST and GIN are broken here, which I'm inclined to
consider a submission-blocking issue.

This presumably breaks non-utf8 tests for now, but currently it isn't
clear to me how I ought to deal with that, so pending an answer I'll go
ahead and commit this.

doc: remove extra whitespace in SGML markup

fix lexical comparison of strings in json

fix jsonb_1.out file

C comments: improve description of relfilenode uniqueness

Report by Antonin Houska

pg_ctl:  improve handling of invalid data directory

Return '4' and report a meaningful error message when a non-existent or
invalid data directory is passed.  Previously, pg_ctl would just report
the server was not running.

Patch by me and Amit Kapila
Report from Peter Eisentraut

docs:  small adjustements to recent SELECT and pg_upgrade improvements

jsonb_support.c style tweaks

pg_upgrade: document delete problems with tablespaces inside the cluster directory

Per report by Marc Mamin

doc: improve server's keepalive description

Use superior libpq keepalive description for the server-level
parameters.

Per report by Tatsuo Ishii and Marko Tiikkaja

docs:  improve TABLE command by showing supported clauses

Initial patch by Colin 't Hart

Merge branch 'jsonb-test-fixes' into jsonb_and_hstore

Final clean-up for consistency

jsonb test cleanup for duplication and formatting consistency

More consistent formatting for jsonb tests

Remove last of the hstore2 regression tests

Merge branch 'jsonb-test-fixes' into jsonb_and_hstore

This is the last of the tests from hstore.

Remove hstore data changes

Merge branch 'jsonb-test-fixes' into jsonb_and_hstore

jsonb nested each tests

Why use jsonb_hash_ops

jsonb exists tests

Update documentation to reflect new JSON RFC

jsonb nested path extraction

GIN comment tweaks