Fix from Alexander for jsonb_hash_ops @> issue

Merge branch 'master' into jsonb

Allow dynamic shared memory segments to be kept until shutdown.

Amit Kapila, reviewed by Kyotaro Horiguchi, with some further
changes by me.

Allow logical decoding via the walsender interface.

In order for this to work, walsenders need the optional ability to
connect to a database, so the "replication" keyword now allows true
or false, for backward-compatibility, and the new value "database"
(which causes the "dbname" parameter to be respected).

walsender needs to loop not only when idle but also when sending
decoded data to the user and when waiting for more xlog data to decode.
This means that there are now three separate loops inside walsender.c;
although some refactoring has been done here, this is still a bit ugly.

Andres Freund, with contributions from Álvaro Herrera, and further
review by me.

Teach on_exit_reset() to discard pending cleanups for dsm.

If a postmaster child invokes fork() and then calls on_exit_reset, that
should be sufficient to let it exit() without breaking anything, but
dynamic shared memory broke that by not updating on_exit_reset() to
discard callbacks registered with dynamic shared memory segments.

Per investigation of a complaint from Tom Lane.

gin comments

Fix one last GIN bug before submission

It's not okay for hash_stack_value() to just store a hash value in the
case of numeric JsonbValues.  Produce textual version of numeric with
trailing zeroes stripped.

GIN comments copy-edited for consistency

Move docs type mapping

Elipsis tweak

Re-indent GiST macros

On NULL sementatics and json null

More doc tweaks

Overhaul docs, with good example

Re-organizing json documentation. Needs more work.

Correct copy/pasto in comment for REPLICA IDENTITY

Reorder within jsonb_support.c

arrayToJsonbSortedArray variable name

More on compareJsonbStringValue

Tweaks

Formalize the notion that text index storage treats keys and elements as
equivalent.  lexicalCompareJsonbStringValue requires no "arg".

Update jsonb_1.out with recent tests previously missed

Fix GiST key/element bug too

Minor opclass-wise function re-ordering for GIN

Fix contains operator in jsonb GIN support routine

Have gin_extract_jsonb() flag boths keys and elements as keys.  I
believe this is safe, but additional review would be useful.

Add some regression testing for this.  The same bug exists for GiST, and
that isn't fixed here, so the failing regression test adding for the
analogous GiST bug earlier continues to fail.

Failing test for GiST indexes on jsonb arrays

Even though in some contexts jsonb arrays of strings have as keys (or at
least indexable values) their string elements, this only works with
seqscan plans.  Both GiST and GIN are broken here, which I'm inclined to
consider a submission-blocking issue.

This presumably breaks non-utf8 tests for now, but currently it isn't
clear to me how I ought to deal with that, so pending an answer I'll go
ahead and commit this.

doc: remove extra whitespace in SGML markup

fix lexical comparison of strings in json

fix jsonb_1.out file

C comments: improve description of relfilenode uniqueness

Report by Antonin Houska

pg_ctl:  improve handling of invalid data directory

Return '4' and report a meaningful error message when a non-existent or
invalid data directory is passed.  Previously, pg_ctl would just report
the server was not running.

Patch by me and Amit Kapila
Report from Peter Eisentraut

docs:  small adjustements to recent SELECT and pg_upgrade improvements

jsonb_support.c style tweaks

pg_upgrade: document delete problems with tablespaces inside the cluster directory

Per report by Marc Mamin

doc: improve server's keepalive description

Use superior libpq keepalive description for the server-level
parameters.

Per report by Tatsuo Ishii and Marko Tiikkaja

docs:  improve TABLE command by showing supported clauses

Initial patch by Colin 't Hart

Merge branch 'jsonb-test-fixes' into jsonb_and_hstore

Final clean-up for consistency

jsonb test cleanup for duplication and formatting consistency

More consistent formatting for jsonb tests

Remove last of the hstore2 regression tests

Merge branch 'jsonb-test-fixes' into jsonb_and_hstore

This is the last of the tests from hstore.

Remove hstore data changes

Merge branch 'jsonb-test-fixes' into jsonb_and_hstore

jsonb nested each tests

Why use jsonb_hash_ops

jsonb exists tests

Update documentation to reflect new JSON RFC

jsonb nested path extraction

GIN comment tweaks

jsonb nested field/index lookup tests

Minor jsonfuncs.c diff minimization

Nested containment tests

Reorder btree ops

Refactor jsonb_support.c

Remove unportable use of anonymous unions from reorderbuffer.h.

In b89e151054a I had assumed it was ok to use anonymous unions as
struct members, but while a longstanding extension in many compilers,
it's only been standardized in C11.

To fix, remove one of the anonymous unions which tried to hide some
implementation specific enum values and give the other a name. The
latter unfortunately requires changes in output plugins, but since the
feature has only been added a few days ago...

Andres Freund

Fix contrib/postgres_fdw to handle multiple join conditions properly.

The previous coding supposed that it could consider just a single join
condition in any one parameterized path for the foreign table.  But in
reality, the parameterized-path machinery forces all join clauses that are
"movable to" the foreign table to be evaluated at that node; including
clauses that we might not consider safe to send across.  Such cases would
result in an Assert failure in an assert-enabled build, and otherwise in
sending an unsafe clause to the foreign server, which might result in
errors or silently-wrong answers.  A lesser problem was that the
cost/rowcount estimates generated for the parameterized path failed to
account for any additional join quals that get assigned to the scan.

To fix, rewrite postgresGetForeignPaths so that it correctly collects all
the movable quals for any one outer relation when generating parameterized
paths; we'll now generate just one path per outer relation not one per join
qual.  Also fix bogus assumptions in postgresGetForeignPlan and
estimate_path_cost_size that only safe-to-send join quals will be
presented.

Based on complaint from Etsuro Fujita that the path costs were being
miscalculated, though this is significantly different from his proposed
patch.

Restructure jsonb.c

Restructure jsonb_op.c

Restructure jsonb_gist.c

Nested jsonb tests

Enable, don't facilitate

Merge branch 'jsonb-test-fixes' into jsonb_and_hstore

Restructure jsonb_gin.c

jsonb_typeof tests

invalid, not wrong

Remove redundancy in docs on jsonb vs json

jsonb_contained tests

Add function call version of jsonb_contains tests

Move containment tests

Transfer exists tests

@> operator tests

release notes:  add item missed in 9.2.5 release

Item is "Prevent errors in WAL replay due to references to uninitialized
empty pages".

Report and text by Andres Freund

Backpatch through 9.2.

fix ReplicationSlotsCountDBSlots for dropping unrelated databases

YAMAMOTO Takashi

Fix dangling smgr_owner pointer when a fake relcache entry is freed.

A fake relcache entry can "own" a SmgrRelation object, like a regular
relcache entry. But when it was free'd, the owner field in SmgrRelation
was not cleared, so it was left pointing to free'd memory.

Amazingly this apparently hasn't caused crashes in practice, or we would've
heard about it earlier. Andres found this with Valgrind.

Report and fix by Andres Freund, with minor modifications by me. Backpatch
to all supported versions.

Avoid memcpy() with same source and destination address.

The behavior of that is undefined, although unlikely to lead to problems in
practice.

Found by running regression tests with Valgrind.

Makefile alignment

inline keyword not useful

Indentation fixes

pgindent run on new core files

Fix jsonb_exists_all

Consistently use new 'object' nomenclature for associative structure

Fix name of syslog_ident GUC in docs.

Michael Paquier

Remove ill-considered @ operator

Regression test whitespace

Fix broken GiST compression

Forgot to detoast ghstore value during compression.

Whitespace

Minor style tweaks

Fix hash gin opclass in tests

Merge branch 'jsonb-test-fixes' into jsonb_and_hstore

Adds some regression tests previously in hstore2 to core's jsonb
datatype.

Document various operator classes

Move remaining jsonb.data tests

Remove bulk of observations on jsonb from notes section

Remove hstore tests ported to jsonb

Add jsonb_each and sort/hash tests

Fix existing scan tests; add gin

Better wording of what the operators are

Fix expected output

Avoid getting more than AccessShareLock when deparsing a query.

In make_ruledef and get_query_def, we have long used AcquireRewriteLocks
to ensure that the querytree we are about to deparse is up-to-date and
the schemas of the underlying relations aren't changing.  Howwever, that
function thinks the query is about to be executed, so it acquires locks
that are stronger than necessary for the purpose of deparsing.  Thus for
example, if pg_dump asks to deparse a rule that includes "INSERT INTO t",
we'd acquire RowExclusiveLock on t.  That results in interference with
concurrent transactions that might for example ask for ShareLock on t.
Since pg_dump is documented as being purely read-only, this is unexpected.
(Worse, it used to actually be read-only; this behavior dates back only
to 8.1, cf commit ba4200246.)

Fix this by adding a parameter to AcquireRewriteLocks to tell it whether
we want the "real" execution locks or only AccessShareLock.

Report, diagnosis, and patch by Dean Rasheed.  Back-patch to all supported
branches.

More polish for documentation

Add basic scan tests

Add jsonb equality/inequality tests