Remove an obselete file

Rename RelationLocInfo->nodeList to RelationLocInfo->rl_nodeList to avoid using
such a common name for a very important structure member

Re-add incorrectly removed call to consume txn_count during compiler warning
cleanups

Add support for json_agg() pushdown

This patch adds a collection function for json_agg() aggregate. Also use a
specific json_agg_state type for the internal agg state so that corresponding
in/out functions can be specified for transition values to be passed around
from one node to another

Fix a compiler warning about mixing of code and declarations

Aggregates with ORDER BY clause cannot be shipped to the datanode.

A query such as "SELECT sum(x ORDER BY x) FROM tab" must not be shipped to the
remote side since the transition function must receive tuples in the specified
order. While it does not make much sense in this example, there could be other
aggregares, such as json_agg, where ordering could matter

Fix several compiler warnings

Do not compare unsigned integer for "< 0"

Explicitly cast pthread_t to int for logging purposes

fix missing prototypes (and 'implicit declaration' warning)

remove functions that are not used (or defined)

add missing declarations of timeval/rusage structs

fix declarations that discard 'const' modifier from pointers

get rid of GTMGetFirstClientIdentifier (unused)

function not used or even defined in a header file

fix a few violations of ISO C90 (mixed code/declarations)

Interestingly ';;' confuses the compiler enough to emit this warning.

eliminate variables that are not used at all

eliminate variables that are only set (but not used)

fix missing ExceptionalCondition prototype / return type

During compilation, there's like a zillion warnings about missing
prototype of ExceptionalCondition. Of course, in regular postgres
this is defined in postgres.h like this:

    void ExceptionalCondition(...)

but in XL apparently some places use Assert it without willing to
include the whole postgres.h (not sure why). So there's a copy of
the function in src/gtm/common/assert.c, but there's no prototype
in src/include/gtm/assert.h, thus the complaints.

Adding the prototype to the header file however reveals another
problem, as the function in src/gtm/common/assert.c is defined
like this

    int ExceptionalCondition(...)

with a rather wonky explanation about TrapMacro(). So this would
fail to compile when a file ends up g both header files, like for
example src/gtm/client/gtm_client.c. (Fun fact: gtm_client.c does
not really need the include at all.)

Therefore the best solution at this point seems to be to simply
change the return type in assert.c to void (and get rid of the
rather suspicious explanation above the function), and add the
prototype into src/include/gtm/assert.c. This way the prototype
matches the one from postgres.h, there's no conflict and the
warnings disappear.

In the long term however, the right solution seems to be simply
removing the redundancy by dropping the gtm copy of the function.

Add support for pushdown of Append and MergeAppend nodes.

While dealing with Append and MergeAppend pathnodes, we shouldn't be looking at
the Varno in the "distribution" information because each append subpath comes
from a different relation. So we devise a mechanism to compare distribution
strategies without comparing the Varnos.

Expected outputs of many test cases is also updated because Append and
MergeAppend plans are now pushed down to the datanodes when possible.

"misc" test case exhibited certain failures because of incorrect evaluation of
a "volatile" function on the datanode. This turned out to be an old bug which
should be fixed separately. There were existing failures, masked by incorrect
acceptance of the test output. All such sqls are now disabled from "misc" and
copied to xl_known_bugs. Once the bug related to the volatile functions is
fixed, we would enable those sqls again

Send down SYNC message to a failed remote session that was running extended
query protocol.

While running extended query protocol, a backend that has thrown an error will
keep ignoring all messages until it sees a SYNC message. We now carefully track
the messages that we are sending to the remote node and remember if we must
send a SYNC message even before sending a ROLLBACK command.

While the regression was running fine even without this patch, this issue was
noticed as part of some other work and hence fixed

Set log_line_prefix for regression run to collect more information by default

Add test cases to enable/disable certain modules using the new logging
infrastructure

They are not added to either serial or parallel schedules and just serve as
examples right now

Add support for process-level control for overriding log levels.

This patch changes the behaviour of pg_msgmodule_set/change() functions. These
functions now only change the log levels for various messages, but the actual
logging won't start until one of the following enable() function is called.

This patch adds a few more functions:

- pg_msgmodule_enable(pid) - the given pid will start logging as per the
  current settings for various msgs.

- pg_msgmodule_disable(pid) - the given pid will stop logging and use the
  compile time settings

- pg_msgmodule_enable_all(persistent) - all current processes will start
  logging as per the current setting. If "persistent" is set to true then all
  new processes will also log as per the setting

- pg_msgmodule_disable_all() - all current and future processes will stop
  logging and only use compile time settings.

Honour client's request for binary data transfer.

When coordinator gets data from the datanode, it always gets it in TEXT mode.
But if the client has requested binary transfer of the data, then it must not
forward the data received from the datanode as it is. Rather it must send each
column in the desired format.

While this should fix the JDBC or libpq issue with binary data transfer, we
should really see if the coordinator to datanode communication can also use
binary mode for performance reason. But thats a separate patch.

Avoid repeated palloc for query strings while handling multi-statement SQLs

We now only pass pointers until we have the complete query string. At that
point, we only required bytes and copy the query string

Collect and return query substrings corresponding to each SQL statement
while parsing a multi-statement query separated by ';'

raw_parser() returns a list of parsetrees after parsing a multi-statement SQL
query, where each parsetree corresponds to one SQL statement. It does not have
any mechanism to return the source text of the SQL statement. In Postgres-XL,
we send out the query text as it is to remote datanodes and coordinators while
dealing with utility statements. Not having access to individual SQL statement
is a problem because we end up sending the same text again and again, leading
to various issues.

This patch adds some rudimentary mechanism to return a list of query strings
along with the list of parsetress.

Enable 'random' test case to match with the parallel_schedule

Save global_xmin in the GTM control file and use that when its restarted

The control file now also have a version identifier so that we can read and
interpret older versions while keeping flexibility to change the format

Include the string terminator in GID size calculation

Report state to the GTM no more frequently than defined by
CLUSTER_MONITOR_NAPTIME

Otherwise we have danger of flooding the GTM with messages in an infinite loop,
if the GTM is reporting back errors

Use -P preprocessor option to avoid to inhibit generation of linemarkers in the
output from the preprocessor

This ensures that grepping for the elog messages works correctly on various
compilers (tested for gcc and clang)

Fix bugs around handling of params passed to the datanodes.

This fixes problems reported in plpgsql function calls since
fast-query-shipping was added. But fixing the problem also highlighted other
bugs in the protocol handling. For example, we would set a datanode connection
state to be IDLE upon receiving a CommandComplete. But for simple query
protocol, we should really be waiting for ReadyForQuery before changing the
state. This patch has related fixes.

plpgsql test case's expected output is also fixed now that the underlying bug
has been take care of

Fix docs and Makefile so that "make dist" works correctly

Handle case correctly when collection function is not defined.

Also, make sure some other missed out responses are handled correctly during
receiving responses

Correct stale links in the README file

Update release notes

Stamp Postgres-XL 9.5r1beta1

Make some adjustments to the way documentation headers are printed

Install docs under "doc" directory instead of "doc-xc"

Remove some leftover merge-conflicts markers

Increase the timeout for waiting to end query to 1s from existing 20ms.

We see that this timeout expires sometime on a loaded machine, leading to other
errors. We need to handle that situation better, but for now increase the
timeout to 1s to reduce the chances of this happening.

There was a missing commit from when the repo was forked,
applying to the new repo.

Original commit from the sourceforge repo:

    commit e61639b864e83b6b45d11b737ec3c3d67aeb4b56
    Author: Mason Sharp <[email protected]>
    Date:   Sun Jul 26 17:54:08 2015 -0700

        Changed license from the Mozilla Public License
        to the PostgreSQL License

Fix a few compiler warnings.

Remove known bugs' tests from schedule.

Handle a race condition between portal close 'C' message and new request for
running the portal, as part of the next step of query execution

A producer will unbind and remove the SharedQ once all consumers are done
with reading pending data. It does not wait for consumers to actually send
close 'C' message. If the next step of the execution now recreates the SharedQ
with the same name (because its the same RemoteSubplan being re-executed), and
if the close messages arrives after that, but before the new producer gets
chance to bind to the SharedQ, we will end up marking future consumers of the
new SharedQ as 'DONE'. The SharedQueueAcquire then incorrectly assumes that
this is a stale Q belonging to earlier execution and gets in an infinite wait.

Also do not try indefinitely for the old producer to unbind and remove a stale
queue. Any further bugs in this area will cause infinite loops. Instead try for
a fixed number of times and then let the query fail.

Group all uncategorised log messages to a default module-id (with number set to
255 right now)

Correct a typo

Add a missing value for "%s" placeholder in an elog message

Use "expr" instead of "bc" for arithmetic since "bc" may not be available on
all platforms

Fix build failure when configured with --with-openssl

Handle errors while PREPARing a transaction gracefully.

If an error occurs after PREPARE TRANSACTION command is sent, we don't know if
the command is successful or not. So the coordinator will go ahead and abort
the transaction. But the node which failed to run PREPARE TRANSACTION may not
be even reachable on the coordinator. So we don't try to rollback transaction
on such nodes.

Make sure to write to the GTM control file only after paths are set up
correctly

Extend commit, subtrans and commit_ts logs appropriately when new xids are
received from the GTM.

After our recent work on cluster monitor, GTM will now send back
latestCompletedXid and RecentGlobalXmin which we record in a shared memory
area. But if the node has not asked for XIDs for some time, the SLRU
maintaining these logs may fall much behind. So we must keep these log files
upto date with the XIDs generated by the GTM

This should also fix the spotting of the following log message as reported
by Mason Sharp

LOG: could not truncate directory "pg_subtrans": apparent wraparound

Correctly check for implicit 2PC.

Now we have far more information embedded in the GID string. So there is no
point looking for [0-9]+ pattern beyond the prefix. Just assume external tools
would never use that pattern (PREPARE TRANSACTION should anyway throw an error
if they try to use the pattern)

Grep for all elog messages correctly post preprocessing

Test sql and output changes for some contrib modules

Accept expected XL behavior. Add ORDER BY where needed.

Test sql and output changes for LATERAL issue

Separate out Issue #73 in Issue Tracker.
Accept XL query plans.

Fix a typo in the script, we should be looking for GNUmakefile and not
GNUMakefile

Improve the debugging infrastructure by adding mechanism to dynamically
increase/decrease log levels

This new pg_msgmodule_change() function can be used to increment or decrement
compile time defined log levels by the given step. Of course, this is only
applicable to DEBUG1-5 and LOG messages and the resulting new level is also
within the same range. This only affects whats gets logged on the server log
and not what gets sent to the client

Improve node exclusion and node rejoining logic for calculation for global
xmin.

When a node rejoins the cluster, after disconnection or restart, the logic now
accounts for the fact that the node might be running with an older xmin. GTM
sends back appropriate error codes and recent state information so that the
node can make a decision to join the cluster or fail.

Also increase the threshold for delay in reporting to 10mins to avoid false
positives.

Improve node registration and xmin reporting such that false log messages are
avoided at the GTM.

Also add some more debug messages to the GTM

Do not log unnecessary node registration failures by differentiating between a
node and session registration

Some misc fixes and documentation updates for pgxc_ctl

Sprinkle SQueue and portal management code with DEBUG messages

Test sql and output changes for hstore

Add order by clause for consistent test results from
json_agg() function

Adjust log_line_prefix to log much more information about connections.

'R' - now reports information about remote end (type/name/pid) where type can
be 'C' for coordinator, 'D' for datanode, 'A' for application and 'U' for rest

'G' - now reports information about the originating coordinator (name/pid)

'S' - reports the global session identifier.

Let many GUC parameters be user-settable, compatible with PG.

They were made SUSET to support multi-tenant environment, but no longer
applicable to the current use case of XL.

Some improvements to debug/error logging.

We now log name of the remote node and remote PID if an error is received on a
connection. Some more debugging messages added to the pooler code.

Track PID of the remote backend processes serving a particular connection.

This information is usally readily available in PGConn, but since we only pass
around socket descriptors between pooler and the coordinator (or datanode
backends), we pass this information back to the backends. This is at least very
useful for debugging purposes.

(This API definitely deserves some refactoring. In particular, I would like to
keep a copy of some other members of the PGConn structure in the
PGXCNodeHandle, but for now backend PID is what we care for).

Add support for overrding default log levels for specfic messages or all
messages in a file or a module.

We now support a new --enable-genmsgids configure option. When compiled with
this, superusers can run pg_msgmodule_set(moduleid, fileid, msgid, newlevel)
command to override the log level specified in the source code.

There are many TODOs and limitations of this approach. We could only, for
example, increase logging level of messages i.e. turn DEBUG2 to DEBUG1 or DEBUG
to LOG. But we can't change ERROR to PANIC or supress a log message. Also, we
are using a very sparse representation of the message log levels. This
increases memory requirements significantly, though should speed up lookups and
keep the code simple.

When configured with --enable-genmsgids, a file named MSGMODULES is created at
the top of the build tree and the module-ids are later picked from that file
while compiling individual files. We would also preprocess each file before
compilation and save all elog() calls, along with the file_name, line_number,
messgae, module_id, file_id, msg_id in MSGIDS file. This file can then be used
to lookup the messages so that correct information is passed. This clearly
needs a lot more polishing and work.

When configued without --enable-genmsgids, we don't expect this facility to add
overhead because all codes gets #ifdef-ed out

Standardize "subdir = <name>" in the Makefile(s)

Add a mechanism to start with an empty pgxc_ctl configuration file and build
the cluster one at a time.

A new option "prepare config empty" is now supported which sets up an almost
empty conf file and all components, including GTM, can be added one at a time

Handle MergeAppend node correctly while determing param types.

Report by Krzysztof Nienartowicz, patch by me.

If we don't find GTM control file on startup, look for the temporary control
file and use that.

While updating the control file, GTM first writes updated content to a temp
file, then deletes the old file and renames the temp to the control file. But
in a rare situation, its possible that GTM may exit before renaming the temp
file. In such cases, we should use the temp file after renaming it to the
orignal file.

More improvements in this area are necessary.

P.S. This commit gets distinction to be the first commit, pushed from 41000
feet in the air ;-)

Test output and sql changes

Run rangefuncs separately in parallel_schedule,
as it has table names common with group.

Add expected output previously removed.

Add back as it is needed on some systems.

Test output and sql changes

Change comments on FQS of query as per behavior #59
Separate out an issue #67 from xc_copy

Fix collate regression case by removing an ORDER BY (added in XL) which seems
to produce different results on different platforms.

Expected output adjusted accordingly

Change expected output for 'transactions' test case which seems to be working
fine after recent bug fixes.

Exponetially increase the sleep before retrying commit on the GTM.

When a transaction waits for another transaction to complete, we enforce the
same ordering on the same GTM by making the former transaction wait on the
latter. We do this by a simple retry logic. While the latter transaction should
ideally finish soon because it has already finished on the datanode, the retry
loop now waits exponentially, starting at 1000usec but limited by 1s.

Patch by Mason Sharp

Do not throw a FATAL error when SharedQ producer times out while waiting for
one or more consumers to finish.

We have seen bunch of cases where a consumer may never bind to the SharedQ and
rightfully so. For example, in a join between 3 tables which requires
redistribution of tuples, a consumer may not at all bind to the SharedQ because
it the top level outer side did not produce any tuples to join against the
redistributed inner node.

This patch avoids the unnecessary FATAL errors, but what we still do not do
nicely is to avoid the 10s timeout (as currently set for producer). So while
queries, as included in the test case, will finally return success, it will
unnecessarily add a 10s delay in the response time. This is a TODO.

Remove a WARNING about coordinator provided snapshot not available.

There are a few expected cases, such as catalog scans, where coordinator
supplied snapshot may not be available. So remove this mis-leading warning.

Fix a bug where queries would incorrectly get executed on the coordinator.

Report by Krzysztof Nienartowicz, patch by me.

Do not hold the XidGenLock while obtaining an XID from the GTM

This was an oversight when on-demand GXID work was committed. Mason reported
that this patch significantly improves performance on his tests and I can
also confirm that with my own tests.

Report and patch by Mason Sharp, with some changes from me.

Test output and sql changes

Fix 2 tests. Partial fix for xc_copy diffs.

Avoid redefinition of a signal handler signature

Do not override the sequence_range setting in COPY

The default value of this parameter has now been hiked to 1000. So there is no
good reason to override this in COPY, if the user has explicitly set it back to
1. Honor user defined value in all cases.

We can possibly flag a warning if sequences are being incremened too fast and
the current value of sequence_range is set too low. But no compelling need to
do that just now.

Test output and sql changes

Accept outputs, with some known bugs added.

Test sql and output changes

Comment out known issues and add them to kown bugs.

Test output changes

Fix 2 tests.

Change expected output - can't do FQS for a GROUP BY query on a roundrobin
table

Fix a bug where a query was getting incorrectly FQSed when the GROUP BY clause
contains only non-distribution keys.

Also rerun all the xc_groupby tests with enable_fast_query_shipping ON so that
similar issues can be caught more easily

Fix a protocol message to register the GTM proxy

Fix compiler warnings in stormstats, some of which may also cause failures on
other platforms.

Add missing DISTRIBUTE RANDOMLY to the specs in the documentation

Change expected output for select_views test case.

Change some part of expected output file for test case rowsecurity, related to
XL plan changes.

Change expected output for prepared_xacts test case to accept newer changes
from PG

Test output changes

Accept some XL outputs for tests.

Avoid using EXPLAIN VERBOSE when temp tables are involved in a test case.

In XL, the temporary schema may change in different regression runs. Hence we
must not print the schema in expected output. Change the sql as well as
expected output file for the 'join' test case.