Add support for process-level control for overriding log levels.

This patch changes the behaviour of pg_msgmodule_set/change() functions. These
functions now only change the log levels for various messages, but the actual
logging won't start until one of the following enable() function is called.

This patch adds a few more functions:

- pg_msgmodule_enable(pid) - the given pid will start logging as per the
  current settings for various msgs.

- pg_msgmodule_disable(pid) - the given pid will stop logging and use the
  compile time settings

- pg_msgmodule_enable_all(persistent) - all current processes will start
  logging as per the current setting. If "persistent" is set to true then all
  new processes will also log as per the setting

- pg_msgmodule_disable_all() - all current and future processes will stop
  logging and only use compile time settings.

Honour client's request for binary data transfer.

When coordinator gets data from the datanode, it always gets it in TEXT mode.
But if the client has requested binary transfer of the data, then it must not
forward the data received from the datanode as it is. Rather it must send each
column in the desired format.

While this should fix the JDBC or libpq issue with binary data transfer, we
should really see if the coordinator to datanode communication can also use
binary mode for performance reason. But thats a separate patch.

Avoid repeated palloc for query strings while handling multi-statement SQLs

We now only pass pointers until we have the complete query string. At that
point, we only required bytes and copy the query string

Collect and return query substrings corresponding to each SQL statement
while parsing a multi-statement query separated by ';'

raw_parser() returns a list of parsetrees after parsing a multi-statement SQL
query, where each parsetree corresponds to one SQL statement. It does not have
any mechanism to return the source text of the SQL statement. In Postgres-XL,
we send out the query text as it is to remote datanodes and coordinators while
dealing with utility statements. Not having access to individual SQL statement
is a problem because we end up sending the same text again and again, leading
to various issues.

This patch adds some rudimentary mechanism to return a list of query strings
along with the list of parsetress.

Enable 'random' test case to match with the parallel_schedule

Save global_xmin in the GTM control file and use that when its restarted

The control file now also have a version identifier so that we can read and
interpret older versions while keeping flexibility to change the format

Include the string terminator in GID size calculation

Report state to the GTM no more frequently than defined by
CLUSTER_MONITOR_NAPTIME

Otherwise we have danger of flooding the GTM with messages in an infinite loop,
if the GTM is reporting back errors

Use -P preprocessor option to avoid to inhibit generation of linemarkers in the
output from the preprocessor

This ensures that grepping for the elog messages works correctly on various
compilers (tested for gcc and clang)

Fix bugs around handling of params passed to the datanodes.

This fixes problems reported in plpgsql function calls since
fast-query-shipping was added. But fixing the problem also highlighted other
bugs in the protocol handling. For example, we would set a datanode connection
state to be IDLE upon receiving a CommandComplete. But for simple query
protocol, we should really be waiting for ReadyForQuery before changing the
state. This patch has related fixes.

plpgsql test case's expected output is also fixed now that the underlying bug
has been take care of

Fix docs and Makefile so that "make dist" works correctly

Handle case correctly when collection function is not defined.

Also, make sure some other missed out responses are handled correctly during
receiving responses

Correct stale links in the README file

Update release notes

Stamp Postgres-XL 9.5r1beta1

Make some adjustments to the way documentation headers are printed

Install docs under "doc" directory instead of "doc-xc"

Remove some leftover merge-conflicts markers

Increase the timeout for waiting to end query to 1s from existing 20ms.

We see that this timeout expires sometime on a loaded machine, leading to other
errors. We need to handle that situation better, but for now increase the
timeout to 1s to reduce the chances of this happening.

There was a missing commit from when the repo was forked,
applying to the new repo.

Original commit from the sourceforge repo:

    commit e61639b864e83b6b45d11b737ec3c3d67aeb4b56
    Author: Mason Sharp <[email protected]>
    Date:   Sun Jul 26 17:54:08 2015 -0700

        Changed license from the Mozilla Public License
        to the PostgreSQL License

Fix a few compiler warnings.

Remove known bugs' tests from schedule.

Handle a race condition between portal close 'C' message and new request for
running the portal, as part of the next step of query execution

A producer will unbind and remove the SharedQ once all consumers are done
with reading pending data. It does not wait for consumers to actually send
close 'C' message. If the next step of the execution now recreates the SharedQ
with the same name (because its the same RemoteSubplan being re-executed), and
if the close messages arrives after that, but before the new producer gets
chance to bind to the SharedQ, we will end up marking future consumers of the
new SharedQ as 'DONE'. The SharedQueueAcquire then incorrectly assumes that
this is a stale Q belonging to earlier execution and gets in an infinite wait.

Also do not try indefinitely for the old producer to unbind and remove a stale
queue. Any further bugs in this area will cause infinite loops. Instead try for
a fixed number of times and then let the query fail.

Group all uncategorised log messages to a default module-id (with number set to
255 right now)

Correct a typo

Add a missing value for "%s" placeholder in an elog message

Use "expr" instead of "bc" for arithmetic since "bc" may not be available on
all platforms

Fix build failure when configured with --with-openssl

Handle errors while PREPARing a transaction gracefully.

If an error occurs after PREPARE TRANSACTION command is sent, we don't know if
the command is successful or not. So the coordinator will go ahead and abort
the transaction. But the node which failed to run PREPARE TRANSACTION may not
be even reachable on the coordinator. So we don't try to rollback transaction
on such nodes.

Make sure to write to the GTM control file only after paths are set up
correctly

Extend commit, subtrans and commit_ts logs appropriately when new xids are
received from the GTM.

After our recent work on cluster monitor, GTM will now send back
latestCompletedXid and RecentGlobalXmin which we record in a shared memory
area. But if the node has not asked for XIDs for some time, the SLRU
maintaining these logs may fall much behind. So we must keep these log files
upto date with the XIDs generated by the GTM

This should also fix the spotting of the following log message as reported
by Mason Sharp

LOG: could not truncate directory "pg_subtrans": apparent wraparound

Correctly check for implicit 2PC.

Now we have far more information embedded in the GID string. So there is no
point looking for [0-9]+ pattern beyond the prefix. Just assume external tools
would never use that pattern (PREPARE TRANSACTION should anyway throw an error
if they try to use the pattern)

Grep for all elog messages correctly post preprocessing

Test sql and output changes for some contrib modules

Accept expected XL behavior. Add ORDER BY where needed.

Test sql and output changes for LATERAL issue

Separate out Issue #73 in Issue Tracker.
Accept XL query plans.

Fix a typo in the script, we should be looking for GNUmakefile and not
GNUMakefile

Improve the debugging infrastructure by adding mechanism to dynamically
increase/decrease log levels

This new pg_msgmodule_change() function can be used to increment or decrement
compile time defined log levels by the given step. Of course, this is only
applicable to DEBUG1-5 and LOG messages and the resulting new level is also
within the same range. This only affects whats gets logged on the server log
and not what gets sent to the client

Improve node exclusion and node rejoining logic for calculation for global
xmin.

When a node rejoins the cluster, after disconnection or restart, the logic now
accounts for the fact that the node might be running with an older xmin. GTM
sends back appropriate error codes and recent state information so that the
node can make a decision to join the cluster or fail.

Also increase the threshold for delay in reporting to 10mins to avoid false
positives.

Improve node registration and xmin reporting such that false log messages are
avoided at the GTM.

Also add some more debug messages to the GTM

Do not log unnecessary node registration failures by differentiating between a
node and session registration

Some misc fixes and documentation updates for pgxc_ctl

Sprinkle SQueue and portal management code with DEBUG messages

Test sql and output changes for hstore

Add order by clause for consistent test results from
json_agg() function

Adjust log_line_prefix to log much more information about connections.

'R' - now reports information about remote end (type/name/pid) where type can
be 'C' for coordinator, 'D' for datanode, 'A' for application and 'U' for rest

'G' - now reports information about the originating coordinator (name/pid)

'S' - reports the global session identifier.

Let many GUC parameters be user-settable, compatible with PG.

They were made SUSET to support multi-tenant environment, but no longer
applicable to the current use case of XL.

Some improvements to debug/error logging.

We now log name of the remote node and remote PID if an error is received on a
connection. Some more debugging messages added to the pooler code.

Track PID of the remote backend processes serving a particular connection.

This information is usally readily available in PGConn, but since we only pass
around socket descriptors between pooler and the coordinator (or datanode
backends), we pass this information back to the backends. This is at least very
useful for debugging purposes.

(This API definitely deserves some refactoring. In particular, I would like to
keep a copy of some other members of the PGConn structure in the
PGXCNodeHandle, but for now backend PID is what we care for).

Add support for overrding default log levels for specfic messages or all
messages in a file or a module.

We now support a new --enable-genmsgids configure option. When compiled with
this, superusers can run pg_msgmodule_set(moduleid, fileid, msgid, newlevel)
command to override the log level specified in the source code.

There are many TODOs and limitations of this approach. We could only, for
example, increase logging level of messages i.e. turn DEBUG2 to DEBUG1 or DEBUG
to LOG. But we can't change ERROR to PANIC or supress a log message. Also, we
are using a very sparse representation of the message log levels. This
increases memory requirements significantly, though should speed up lookups and
keep the code simple.

When configured with --enable-genmsgids, a file named MSGMODULES is created at
the top of the build tree and the module-ids are later picked from that file
while compiling individual files. We would also preprocess each file before
compilation and save all elog() calls, along with the file_name, line_number,
messgae, module_id, file_id, msg_id in MSGIDS file. This file can then be used
to lookup the messages so that correct information is passed. This clearly
needs a lot more polishing and work.

When configued without --enable-genmsgids, we don't expect this facility to add
overhead because all codes gets #ifdef-ed out

Standardize "subdir = <name>" in the Makefile(s)

Add a mechanism to start with an empty pgxc_ctl configuration file and build
the cluster one at a time.

A new option "prepare config empty" is now supported which sets up an almost
empty conf file and all components, including GTM, can be added one at a time

Handle MergeAppend node correctly while determing param types.

Report by Krzysztof Nienartowicz, patch by me.

If we don't find GTM control file on startup, look for the temporary control
file and use that.

While updating the control file, GTM first writes updated content to a temp
file, then deletes the old file and renames the temp to the control file. But
in a rare situation, its possible that GTM may exit before renaming the temp
file. In such cases, we should use the temp file after renaming it to the
orignal file.

More improvements in this area are necessary.

P.S. This commit gets distinction to be the first commit, pushed from 41000
feet in the air ;-)

Test output and sql changes

Run rangefuncs separately in parallel_schedule,
as it has table names common with group.

Add expected output previously removed.

Add back as it is needed on some systems.

Test output and sql changes

Change comments on FQS of query as per behavior #59
Separate out an issue #67 from xc_copy

Fix collate regression case by removing an ORDER BY (added in XL) which seems
to produce different results on different platforms.

Expected output adjusted accordingly

Change expected output for 'transactions' test case which seems to be working
fine after recent bug fixes.

Exponetially increase the sleep before retrying commit on the GTM.

When a transaction waits for another transaction to complete, we enforce the
same ordering on the same GTM by making the former transaction wait on the
latter. We do this by a simple retry logic. While the latter transaction should
ideally finish soon because it has already finished on the datanode, the retry
loop now waits exponentially, starting at 1000usec but limited by 1s.

Patch by Mason Sharp

Do not throw a FATAL error when SharedQ producer times out while waiting for
one or more consumers to finish.

We have seen bunch of cases where a consumer may never bind to the SharedQ and
rightfully so. For example, in a join between 3 tables which requires
redistribution of tuples, a consumer may not at all bind to the SharedQ because
it the top level outer side did not produce any tuples to join against the
redistributed inner node.

This patch avoids the unnecessary FATAL errors, but what we still do not do
nicely is to avoid the 10s timeout (as currently set for producer). So while
queries, as included in the test case, will finally return success, it will
unnecessarily add a 10s delay in the response time. This is a TODO.

Remove a WARNING about coordinator provided snapshot not available.

There are a few expected cases, such as catalog scans, where coordinator
supplied snapshot may not be available. So remove this mis-leading warning.

Fix a bug where queries would incorrectly get executed on the coordinator.

Report by Krzysztof Nienartowicz, patch by me.

Do not hold the XidGenLock while obtaining an XID from the GTM

This was an oversight when on-demand GXID work was committed. Mason reported
that this patch significantly improves performance on his tests and I can
also confirm that with my own tests.

Report and patch by Mason Sharp, with some changes from me.

Test output and sql changes

Fix 2 tests. Partial fix for xc_copy diffs.

Avoid redefinition of a signal handler signature

Do not override the sequence_range setting in COPY

The default value of this parameter has now been hiked to 1000. So there is no
good reason to override this in COPY, if the user has explicitly set it back to
1. Honor user defined value in all cases.

We can possibly flag a warning if sequences are being incremened too fast and
the current value of sequence_range is set too low. But no compelling need to
do that just now.

Test output and sql changes

Accept outputs, with some known bugs added.

Test sql and output changes

Comment out known issues and add them to kown bugs.

Test output changes

Fix 2 tests.

Change expected output - can't do FQS for a GROUP BY query on a roundrobin
table

Fix a bug where a query was getting incorrectly FQSed when the GROUP BY clause
contains only non-distribution keys.

Also rerun all the xc_groupby tests with enable_fast_query_shipping ON so that
similar issues can be caught more easily

Fix a protocol message to register the GTM proxy

Fix compiler warnings in stormstats, some of which may also cause failures on
other platforms.

Add missing DISTRIBUTE RANDOMLY to the specs in the documentation

Change expected output for select_views test case.

Change some part of expected output file for test case rowsecurity, related to
XL plan changes.

Change expected output for prepared_xacts test case to accept newer changes
from PG

Test output changes

Accept some XL outputs for tests.

Avoid using EXPLAIN VERBOSE when temp tables are involved in a test case.

In XL, the temporary schema may change in different regression runs. Hence we
must not print the schema in expected output. Change the sql as well as
expected output file for the 'join' test case.

Change expected output for test case xc_alter_table which matches current
behaviour

Change expected output for test case xc_FQS_join now that queries are properly
FQSed to the remote (via 1083af3fa)

Change expected output for test case xc_having now that we support
enable_fast_query_shipping GUC

Change expected output for xc_groupby test case now that
enable_fast_query_shipping GUC is supported and the entire test case runs with
the GUC turned off

Fix a bug where we will pick up random nodes for individual replicated tables,
thus reducing the chances of query getting fully shipped to the remote node.

We now remember all nodes that can satify a READ request for a replicated table
and then finally choose a node randomly if no preferred datanode is specified.
This will avoid non-deterministic selection of FQS query plans as well as allow
us to send some more queries to the remote node.

Add enable_fast_query_shipping GUC to control whether to attempt Fast Query
Shipping to the remote node or not

Its primary use is for debugging purposes

Test output and sql changes

Fix rowtypes with nodes off in query plan
Simplify diffs seen in ome xc_* tests.

Test output and sql changes

Fixes 6 tests.

Mainly accepts known limitations and uses 'nodes off'
for query plan.

Further improvements to release notes

The XLOG dirs in the pgxc_ctl conf file are optional

Add a changes missed in the previous commit.

Add support to specify separate XLOG dirs for datanode masters and datanode
slaves in pgxc_ctl.conf file as well as corresponding "add" commands.

Recent releases of Postgres now allow users to specify a separate XLOG dir and
initdb time and we extend the same facility to pgxc_ctl.

Change expected output for updatable_views test case by not printing node
information

This makes test output more deterministic. The test case still does not pass
because of an additional diff that requires further analysis.

Set sequence_range to 1 while initialising nodes for "make check" so that
deterministic output is obtained.

This avoids explicit setting of the GUC in every test case that uses serials or
sequences. For those running "make installcheck" they must set it up correctly
in their postgresql.conf files.

We could revert some of the changes done to the test cases (by adding
sequence_range = 1), but this patch does not do that

Change expected output for create_view test case.

We expect to see a Remote Subquery Scan node in the explain plan.

Change expected output for timestamp/timestamptz tests

Looks like they were mistakenly changed while a bug existed. Now that the bug
is fixed, they are giving the correct output, matching PG's results.

Recheck health of a node before changing its status.

send/recv() errors just give us a hint about something going wrong with a node.
But a mere send/recv failure does not mean that the node is down or
unreachable. So before changing the health status, ping the node once and
confirm its health status.

Assign coordinator local timestamp when transaction timestamp is requested
before or without assigning XID to the transaction.

GTM supplied timestamp is available only when a transaction has started on the
GTM. But for read-only transactions or transactions which are yet to do any
database write activity, we avoid going to GTM for performance reason. For such
cases, use coordinator local timestamp and continue to use the same for rest of
the transaction.

First draft of release notes.

Speedup 2PC by skipping two phase state files in normal path

2PC state info is written only to WAL at PREPARE, then read back from WAL at
COMMIT PREPARED/ABORT PREPARED. Prepared transactions that live past one bufmgr
checkpoint cycle will be written to disk in the same form as previously. Crash
recovery path is not altered. Measured performance gains of 50-100% for short
2PC transactions by completely avoiding writing files and fsyncing. Other
optimizations still available, further patches in related areas expected.

Stas Kelvich and heavily edited by Simon Riggs

Based upon earlier ideas and patches by Michael Paquier and Heikki Linnakangas,
a concrete example of how Postgres-XC has fed back ideas into PostgreSQL.

Reviewed by Michael Paquier, Jeff Janes and Andres Freund
Performance testing by Jesper Pedersen

Refactor to create generic WAL page read callback

Previously we didn’t have a generic WAL page read callback function,
surprisingly. Logical decoding has logical_read_local_xlog_page(), which was
actually generic, so move that to xlogfunc.c and rename to
read_local_xlog_page().
Maintain logical_read_local_xlog_page() so existing callers still work.

As requested by Michael Paquier, Alvaro Herrera and Andres Freund

Merge upto commit 'cdd4ed5449bf317cc71b45a8deee0173822e7592' which corresponds
to 9.5.0 release of PostgreSQL