Fix jsonb_exists_all

Consistently use new 'object' nomenclature for associative structure

Remove ill-considered @ operator

Regression test whitespace

Fix broken GiST compression

Forgot to detoast ghstore value during compression.

Whitespace

Minor style tweaks

Fix hash gin opclass in tests

Merge branch 'jsonb-test-fixes' into jsonb_and_hstore

Adds some regression tests previously in hstore2 to core's jsonb
datatype.

Document various operator classes

Move remaining jsonb.data tests

Remove bulk of observations on jsonb from notes section

Remove hstore tests ported to jsonb

Add jsonb_each and sort/hash tests

Fix existing scan tests; add gin

Better wording of what the operators are

Fix expected output

More polish for documentation

Add basic scan tests

Add jsonb equality/inequality tests

Add error tests for jsonb_extract_path on scalars

Add failing test cases where applicable

Typo fix

Additional reformatting

Reformat jsonb tests for terseness

They're text arrays

First cut at documenting new operators

Revert hstore_op.c bug fix change, already integrated to core

Merge remote-tracking branch 'feodor/jsonb_and_hstore' into jsonb_and_hstore

More removal of hstore vistiges, remove dead struct

fix jsonb_hash() - now it uses correct hashing for numeric value

fix hstore_hash() - now it uses correct hashing for numeric value

Remove hstore_to_json tests, which are not really necessary in light of clean break

Move more support functions in private modules

Tweak jsonb.h header once more

Re-ordering within jsonb.h some more

Macros can live in jsonb_support.c

Refactor

Remove dead code. Shape up jsonb.h.

Whitespace

Remove unused idx functions

Add headers, clean-up a bit for core

Revert changes to hstore; formalize notion that jsonb and hstore are fully separate

gin hash opclass added, all opclass sanity checks pass

GIN regression opclass passing

Remove hstore tests that just reflect change in output format

Use PG_GETARG_JSONB consistently

Fix bug, GiST works

Not compatible

GiST in core passes regression tests

Add contains and contained alt operators

?& operator

Add ?| operator proper

? operator

Add contains operator

Reorder GIN stuff, organize jsonb header, expunge remaining hstore references

Order GiST procs by strategy number

Fix up GIN + GiST headers, declarations

hash indexes work. Fix a few regression tests for opclasses too.

Merge branch 'master' into jsonb_and_hstore

Conflicts:
src/backend/catalog/system_views.sql

Encourage jsonb opclass usage

Gut most new jsonb stuff

In-core btree opclass works

First cut

Merge remote-tracking branch 'feodor/jsonb_and_hstore' into jsonb_and_hstore

Provide a FORCE NULL option to COPY in CSV mode.

This forces an input field containing the quoted null string to be
returned as a NULL. Without this option, only unquoted null strings
behave this way. This helps where some CSV producers insist on quoting
every field, whether or not it is needed. The option takes a list of
fields, and only applies to those columns. There is an equivalent
column-level option added to file_fdw.

Ian Barwick, with some tweaking by Andrew Dunstan, reviewed by Payal
Singh.

auto_explain: Add logging of trigger execution

Author: Kyotaro HORIGUCHI
Reviewed-by: Jaime Casanova

Constructors for interval, timestamp, timestamptz

Author: Pavel Stěhule, editorialized somewhat by Álvaro Herrera
Reviewed-by: Tomáš Vondra, Marko Tiikkaja
With input from Fabrízio de Royes Mello, Jim Nasby

forgot to commit tests

Allow VACUUM FULL/CLUSTER to bump freeze horizons even for pg_class.

pg_class is a special case for CLUSTER and VACUUM FULL, so although
commit 3cff1879f8d03cb729368722ca823a4bf74c0cac caused these
operations to advance relfrozenxid and relminmxid for all other
tables, it did not provide the same benefit for pg_class.  This
plugs that gap.

Andres Freund

Minor corrections to logical decoding patch.

Error out on send failure in walsender loop.

I changed the loop in 9.3 to use "goto send_failure" instead of "break" on
errors, but I missed this one case. It was a relatively harmless bug: if
the flush fails once it will most likely fail again as soon as we try to
flush the output again. But it's a bug nevertheless.

Report and fix by Andres Freund.

make numeric in hstore/jsonb compare indepent from precision/locale

Revert "move jsonb to contrib"

This reverts commit aa6166de2cdcd7ecd5d93bb1c41fa2fd38b821dd.

Introduce logical decoding.

This feature, building on previous commits, allows the write-ahead log
stream to be decoded into a series of logical changes; that is,
inserts, updates, and deletes and the transactions which contain them.
It is capable of handling decoding even across changes to the schema
of the effected tables.  The output format is controlled by a
so-called "output plugin"; an example is included.  To make use of
this in a real replication system, the output plugin will need to be
modified to produce output in the format appropriate to that system,
and to perform filtering.

Currently, information can be extracted from the logical decoding
system only via SQL; future commits will add the ability to stream
changes via walsender.

Andres Freund, with review and other contributions from many other
people, including Álvaro Herrera, Abhijit Menon-Sen, Peter Gheogegan,
Kevin Grittner, Robert Haas, Heikki Linnakangas, Fujii Masao, Abhijit
Menon-Sen, Michael Paquier, Simon Riggs, Craig Ringer, and Steve
Singer.

Fix whitespace

Rename huge_tlb_pages to huge_pages, and improve docs.

Christian Kruse

pg_dump et al: Add --if-exists option

This option makes pg_dump, pg_dumpall and pg_restore inject an IF EXISTS
clause to each DROP command they emit.  (In pg_dumpall, the clause is
not added to individual objects drops, but rather to the CREATE DATABASE
commands, as well as CREATE ROLE and CREATE TABLESPACE.)

This allows for a better user dump experience when using --clean in case
some objects do not already exist.  Per bug #7873 by Dave Rolsky.

Author: Pavel Stěhule
Reviewed-by: Jeevan Chalke, Álvaro Herrera, Josh Kupershmidt

Use a longer buffer in libpqrcv_startstreaming.

Because of the new SLOT clause in the START_REPLICATION command, it's
possible for the command to end up too long for the old maximum buffer
length.

Andres Freund

Bump catversion.

The previous patch should have entailed a catversion bump, but I
forgot.

Corrections to replication slots code and documentation.

Andres Freund, per a report from Vik Faering

pageinspect: Use new pg_lsn datatype.

Michael Paquier, with slight comment changes by me

Define LSNOID in pg_type.h.

Most other built-in types have a similarly-named constant, so this
type should probably have one, too.

Michael Paquier

Another round of Coverity fixes

Additional non-security issues/improvements spotted by Coverity.

In backend/libpq, no sense trying to protect against port->hba being
NULL after we've already dereferenced it in the switch() statement.

Prevent against possible overflow due to 32bit arithmitic in
basebackup throttling (not yet released, so no security concern).

Remove nonsensical check of array pointer against NULL in procarray.c,
looks to be a holdover from 9.1 and earlier when there were pointers
being used but now it's just an array.

Remove pointer check-against-NULL in tsearch/spell.c as we had already
dereferenced it above (in the strcmp()).

Remove dead code from adt/orderedsetaggs.c, isnull is checked
immediately after each tuplesort_getdatum() call and if true we return,
so no point checking it again down at the bottom.

Remove recently added minor error-condition memory leak in pg_regress.

Various Coverity-spotted fixes

A number of issues were identified by the Coverity scanner and are
addressed in this patch.  None of these appear to be security issues
and many are mostly cosmetic changes.

Short comments for each of the changes follows.

Correct the semi-colon placement in be-secure.c regarding SSL retries.
Remove a useless comparison-to-NULL in proc.c (value is dereferenced
  prior to this check and therefore can't be NULL).
Add checking of chmod() return values to initdb.
Fix a couple minor memory leaks in initdb.
Fix memory leak in pg_ctl- involves free'ing the config file contents.
Use an int to capture fgetc() return instead of an enum in pg_dump.
Fix minor memory leaks in pg_dump.
  (note minor change to convertOperatorReference()'s API)
Check fclose()/remove() return codes in psql.
Check fstat(), find_my_exec() return codes in psql.
Various ECPG memory leak fixes.
Check find_my_exec() return in ECPG.
Explicitly ignore pqFlush return in libpq error-path.
Change PQfnumber() to avoid doing an strdup() when no changes required.
Remove a few useless check-against-NULL's (value deref'd beforehand).
Check rmtree(), malloc() results in pg_regress.
Also check get_alternative_expectfile() return in pg_regress.

Allow regex operations to be terminated early by query cancel requests.

The regex code didn't have any provision for query cancel; which is
unsurprising given its non-Postgres origin, but still problematic since
some operations can take a long time.  Introduce a callback function to
check for a pending query cancel or session termination request, and
call it in a couple of strategic spots where we can make the regex code
exit with an error indicator.

If we ever actually split out the regex code as a standalone library,
some additional work will be needed to let the cancel callback function
be specified externally to the library.  But that's straightforward
(certainly so by comparison to putting the locale-dependent character
classification logic on a similar arms-length basis), and there seems
no need to do it right now.

A bigger issue is that there may be more places than these two where
we need to check for cancels.  We can always add more checks later,
now that the infrastructure is in place.

Since there are known examples of not-terribly-long regexes that can
lock up a backend for a long time, back-patch to all supported branches.
I have hopes of fixing the known performance problems later, but adding
query cancel ability seems like a good idea even if they were all fixed.

check_stack_depth in JsonbIteratorGet()

Merge branch 'jsonb_and_hstore' of github.com:feodor/postgres into jsonb_and_hstore

Conflicts:
src/backend/utils/adt/jsonfuncs.c

Merge branch 'master' into jsonb_and_hstore

Conflicts:
src/backend/utils/adt/jsonfuncs.c

Remove bogus while-loop.

Commit abf5c5c9a4f142b3343614746bb9e99a794f8e7b added a bogus while-
statement after the for(;;)-loop. It went unnoticed in testing, because
it was dead code.

Report by KONDO Mitsumasa. Backpatch to 9.3. The commit that introduced
this was also applied to 9.2, but not the bogus while-loop part, because
the code in 9.2 looks quite different.

move jsonb to contrib

pgbench: Fix help message

Add NUM placeholder to -t option in help message.  It got lost in
79cddb18419778be3202c971b3f21cdd90f7b719.

Author: Fabien COELHO <[email protected]>

add comment suggested by Andres.

Allow BASE_BACKUP to be throttled

A new MAX_RATE option allows imposing a limit to the network transfer
rate from the server side.  This is useful to limit the stress that
taking a base backup has on the server.

pg_basebackup is now able to specify a value to the server, too.

Author: Antonin Houska

Patch reviewed by Stefan Radomski, Andres Freund, Zoltán Böszörményi,
Fujii Masao, and Álvaro Herrera.

Remove dependency on database encoding in citext regression test.

Testing convert_to(..., 'ISO-8859-1') fails if there isn't a conversion
function available from the database encoding to ISO-8859-1.  This has
been broken since day one, but the breakage was hidden by
pg_do_encoding_conversion's failure to complain, up till commit
49c817eab78c6f0ce8c3bf46766b73d6cf3190b7.

Since the data being converted in this test is plain ASCII, no actual
conversion need happen (and if it did, it would prove little about citext
anyway).  So that we still have some code coverage of the convert() family
of functions, let's switch to using convert_from, with SQL_ASCII as the
specified source encoding.  Per buildfarm.

doc: bgw_main takes a Datum argument, not void *.

Per report from James Harper.

Fix WAL replay of locking an updated tuple

We were resetting the tuple's HEAP_HOT_UPDATED flag as well as t_ctid on
WAL replay of a tuple-lock operation, which is incorrect when the tuple
is already updated.

Back-patch to 9.3.  The clearing of both header elements was there
previously, but since no update could be present on a tuple that was
being locked, it was harmless.

Bug reported by Peter Geoghegan and Greg Stark in
CAM3SWZTMQiCi5PV5OWHb+bYkUcnCk=O67w0cSswPvV7XfUcU5g@mail.gmail.com and
CAM-w4HPTOeMT4KP0OJK+mGgzgcTOtLRTvFZyvD0O4aH-7dxo3Q@mail.gmail.com
respectively; diagnosis by Andres Freund.

Merge branch 'master' into jsonb

Conflicts:
src/backend/utils/adt/jsonfuncs.c

undo change compiler complains about

changes based on code review

Don't construct a text object just so you can json-parse a Cstring.