Database:ify the list of security patches

This finally moves the patches into the db, which makes it a lot easier
to filter patches in the views.

It also adds the new way of categorising patches, which is assigning
them a CVSSv3 score.

For now, there are no public views to this, and the old static pages
remain. This is so we can backfill all existing security patches before
we make it public.

Remove majordomo2 subscription form

Replace it with a redirect to lists.postgresql.org, where pglister lives.

Change mailpref redirect to go to pglister

Add view that lists all available tags as json

For external consumption. Only tag and description is viewed, but URLs
to the feeds and pages can easily be constructed using it.

Fix admin base for non-notification models

Add a createuser callback for cauth django plugin

This callback can prevent new users from being created based on specific
criteria. The plugin is defined in settings.py, so it can be any python
code. For example, it can look up in a specific table if this user is
supposed to be allowed to log in at all.

Add ability to import user to django cauth example

This has been in used around a number of community sites already,
backpatch it into the upstream master.

Add possibility to turn off django cauth using settings in sample

This sample is used across most of our other sites, so add functionality
to install without having a local master repo.

Back-patch of pgeu commit 3e4d8c9101c2d309b134c2f5638aa40db8ef2cf5

Fix doc comments for devel version

Don't say version 0.0 in the emails that are sent out. That's what we
call it internally, but the URL should have /devel/ in it. Fix this both
in the template, and then if it comes through in the form again in case
the user picked up a link elsewhere that is incorrect.

Modify sentence on production PostgreSQL instances on about page.

Add URL to @postgresql on global footer and Contact page

Don't crash when adding models with optional m2m fields

If the m2m field is optional, there will be no "pre" data available, not
even an empty one. Don't crash in this case, just assume it's empty
(which it is).

This could happen when adding a new Organisation, which currently is the
only model we have with optional m2m fields

Mark text as safe in bug report email

Since we're sending the email as text/plain, we shouldn't be doing HTML
escaping on it.

Update migration with previous changes

This was missed in ab36183fdac33c699ae7ed076a7ee85a9cbd895e. It's not a
change that actually changes the database in any way, so no need to
create an actual migration.

Consistently refer to Community events in submission form

Original patch had "badged", and it was renamed to Community event to
make it more clear, but all texts clearly didn't get the memo.

Remove support for "remove after notify" on moderation

This broke when we had ManyToMany relations on a record. We didn't use
to have that, but with tags for news we now do. With this change, the
"reject with a notice" becomes a two step operation, the first one
adding the notification and the second one doing the removal. That'll
have to do for now, and at some point in the future we may create a
completely separate (non /admin/) workflow for moderation and fix it
that way.

Fix reply-to address for docs comments emails

Set sender name on bug report and docs comments email

Add support for setting recipient name and sender name

Send -bugs and -docs emails from noreply address

Sending from the submitters address runs afoul to DMARC and other
restrictions. Instead, send the email from a defined noreply address.
Instead, add the original submitter to both the Cc and the Reply-To
header, to make sure they receive followups.

Patch by Stephen, minor changes by Magnus

Remove dead file

Update for new edition of book

Avoid spans overlapping each other when there are many tags

Predictable ordering for newstags

Include more fields in newstag admin listing

Use proper attribute for script language

The 'language' attribute is deprecated and replaced with 'type' in
xhtml.

Use &amp entity instead of bare ampersand in text

Using a bare '&' in text elements is sometimes Ok, but always
generate warnings in validation checks. Move to using the amp
entity which is the recommended way to render '&' in xhtml.

Add tag support for news items

This lets us separate things like project news from other OSS and from
commercial postings, for example, allowing for people to subscribe to
different feeds with just the parts they are interested in.

Add support for notification emails on m2m changes

Unfortunately, we'll send one email for each m2m field, instead of
collecting them to a single one. That's because there is no signal
delivered at the end of them all, there will be one sent for each field.

Luckily we don't have a lot of m2m fields at this point, and no model
has more than one, so at this point that part is not a problem.

It also means that if a regular field *and* an m2m field is changed,
then we will get two notifications.

Finally, enable these notifications for the Organisation fields, meaning
we will get a notification when an Organisation changes managers, which
was not working before.

Add support for descriptive texts over m2m checkboxes

This allows the assignment of "hover mouse to show"-descriptions for m2m
fields with multiple checkboxes.

Fix submission forms for many2many fields with checkboxes

This includes proper styling (no more centering of the checkbox itself)
and actually saving the m2m fields on submit.

Add ability for cauth sites to download ssh public keys

This removes the last need to directly access the upstream database
(from the git server), so remove that view as well.

Remove community authentication 1.0

Community authentication 1.0 relied on PostgreSQL connections between
all servers, and hasn't been used for years.

This includes removing the code that migrates users from the old
community authentication system to the new one. This means that any user
who has not logged in since 2011 will no longer be able to user their
oan account, and have to create a new one.

Remove legacy workaround to support old community auth

This workaround enabled a weaker password hasher to work with old
versions of the community authentication plugin. This was already
overridden in prod, but remove the old workaround completely from the
code so we don't accidentally re-enable it.

Remove IRIX and Tru64 from /about

Support for SGI IRIX was removed from the postgresql.git repo
in commit ea91a6be8957 with release 9.3 as the last supported
version, and Tru64 in a6d488cb53 with 9.4 as the last version.
Remove from /about to manage expectations.

Remove extra space in tweets

Implement automatic tweeting of news

Once a twitter account has been registered (using the twitter_register
management command), the twitter_post command wills start posting all
new news to twitter, once they are approved. It will only post news from
the past 7 days to avoid accidentally flooding with old news.

Change personal email to group email for donations

Not only is Josh no longer -core, it's better to consistently refer
people to contact the group addresses to make sure they get timely
responses.

Add "Associazione ITPUG" to International sites.

Prevent changes of column width on events form

Do this by setting the max width of the lefthand column in the table, so
it doesn't change when the checkbox for community events is clicked.

A better solution would of course be to make the forms properly
responsive, but that's part of a "next generation website", rather than
a quick fix...

Enable events to be badged.

Adds the "badged" flag to the Event model in order to distinguish
community badged events from other PostgreSQL oriented events.
Seven total events will be displayed on the homepage, with up to
four community events displayed. If there are no upcoming
community events then, then the header "Events" is shown.

The event submission interface allows a user to opt-in to
listing an event as a "community" event and provide an
explanation for moderators as to why the event should be
considered a community event.

Expands the list of News and Planet PostgreSQL blog entries to 10.

Replace frontpage header images with text

It's too much of a pain to regenerate the images when a header needs to
change in some way, and having text is better for searching too. This
slightly changes the strength of the headers, but mostly things look the
same as before.

Updated "International Sites" page to update URLs for active sites.

Clean up whitespace in primary Python / HTML files

Clean up the whitespace in the primary Python / HTML files in
order to make it easier to apply changes going forward.

Replace personal addresses with group aliases

We were inconsistent between pages, and some of this was many years
old...

Added another publication format to previous commit.

Added "PostgreSQL: Up and Running, 3rd Edition" to "Books"

Add Mastering Postgresql for App devs book

Updated "Chinese (Traditional)" international URL.

Update web pages for the 2017-11-09 release

Updated the /support/security/ page to contain information about
reported and resolved security issues in the 2017-11-09 release.

Moved security issues that only affect version 9.2 and earlier
to the security archive page (/support/security_archive/)

Updated developer roadmap and call out box for the cumulative
release.

Explicitly exclude urls with .. in search crawling

There were per-site configured rules defined but the regexp was slightly
incorrectly defined. However, we should just simply never crawl urls
like this unless they are normalized, so for now just add them to the
hardcoded exclusion rules.

Update roadmap reflect releases, et al

The next upcoming major release would now be 11, not 10, and it's coming
in the third quarter of 2018.

Also, add in the August planned releases to fill out a complete year.
Hopefully by having the minor release dates cover a year it'll be
clear that whenever we do a release set we remove one and add one at the
bottom, instead of randomly adding/removing them at various times.

Don't try to log data that's not always available

More logging on password resets

Add clarifying language about how the EOL versioning policy works.

Language proposed by Noah Misch.

Attempt to fix version sorting in ftp browser

There was already an ugly hack to handle this, so make it a bit uglier
with even more hardcoded assumptions. Seems to be working for the site
as it is now, but may definitely need further ugly hacks in the future.

Enforce lowercase email addresses in more places

We don't want two different accounts to exist with the same email
address only differing in case. This had already happened for a few
which have been manually fixed, since it turns out we only enforced the
rule on new account creation, not when accounts changed email address or
when they were created using oauth. Also add database level constraints to
make sure this cannot happen again if some codepath is missed.

Spider fedora versions up to 30

No need for us to update this script on every new Fedora release. If we
don't have packages for them, they just won't be found.

Fix suggested initialization command on RPMs

As of 10, the name of the script has changed from postgresql<nn>-setup
to postgresql-<nn>-setup.

Don't crash when .git/refs/heads/master doesn't exist

This happens after a git gc which moves this into packed-refs. So when
this happens, look in packed-refs. If packed-refs also cannot be found,
just return a made up value instead of crashing.

Import jquery-ui theme images

We already had the basic theme imported, just forgot the images.

Consistently load jquery from our own copy

Also consistently load the same version of jquery, so browsers only have
to cache one.

Automate supported versions in yum download scripts

We do this by always spidering every repo rpm available (since the ftp
server doesn't know about supported versions), and then filtering which
versions are shown in the dropdown instead. Given the small number of
versions of either kind, this doesn't make a material difference in the
size of the files anyway.

Update supported versions.

Sort versions as numbers, not strings

Javascript by default sorts numbers as strings, go figure. So instead,
properly sort them as number, which makes v10 show up at the top as it
should be.

Need to spider v10 yum files

Ensure all references to PostgreSQL icon in press kit are to PNG

At some point, the PostgreSQL icon used in the press kit changed
from being a JPG to a PNG, so this change ensures that the PNG
is used.  This was also applied to previous press kits as the
JPG icon is missing.

Edits to the Portuguese translation for PG10 release

Add presskit link to the callout.

Update download platform support.

Release 10.0

Update PostgreSQL 10 RC 1 download URL.

Update the PostgreSQL 10 RC 1 download URL to point to the snapshot
area for downloads, as it contains more directions for how to
download the release candidate.

Added regional press contact for Vietnam

Split out noreply sender address to separate config parameter

We want to use the noreply@ email address when sending out notifications
to addresses that have yet to be verified, since we can just ignore
bounces to those.

Add v10 to feature matrix

Added regional contacts for Myanmar, Phiilippines, and Thailand

v10 RC1 released

Create "Europe, the Middle East, and Africa" group on Press Contact page.

The press contact group for "Europe and Africa" was relabeled and made
into "Europe, the Middle East, and Africa" to follow common conventions.
Additionally, the contact info for Israel was moved into this group.

Don't require first and last name fields in OAuth signup

I had fixed the OAuth process to deal with this case, but failed to
cover the actual new account creation part which still required it. With
this fix, we allow a signup without a name. If the user wishes to set a
full name on the account it can be done on the profile page for the
user, but it's possible to proceed to access restricted resources
without doing it.

Reported by @Smylers2 on twitter, relayed by @TokenScandi

Don't crash on completely empty github names

Sometimes you get a name but it's NULL, sometimes you don't get one. Yay
for consistency, but handle both cases.

Maintain redirection URL across oauth signup

Previously when signing up for a new account in the middle of an
authentication process, the final redirection URL was lost and the user
was sent back to the /account/ page. Instead, we now redirect to the
proper URL (for sending back to the community auth client site) if it's
available in the session, both for successful signup and for
canceled logins.

Properly pass next value across failed password attempts

In the event of a failed password attempt, we'd loose the "next url"
part in community auth, so once the correct password was entered an
error message about unknown redirect would show up.

Added press contact for Israel

Apply table style also to informaltable elements

Discussion:
https://www.postgresql.org/message-id/flat/20170728120244.1449.87477%40wrigleys.postgresql.org

Don't fail on creating new oauth accounts with no first/last name

If no first or last name is given, fall back to the method of using the
email address to suggest only.

In passing, split out the references to the session in own variables to
make the code a lot easier to read.

Update roadmap

August is done, next releases are November, add in May 2018 release
target date.

Fix release announcement link for beta4 on beta page

10 beta 4 and new releases

Add nicer exception handling for OAuth logins

Instead of throwing Internal Server Error at the user, throw a custom
exception that can actually give a slightly less useless error message.

Make full name optional in all authentication providers

We haven't seen crashes for other providers, but that's no reason not to
fix..

Don't crash when oauth provider does not include state

This should normally never happen, and should cause an error. But it
should cause an error saying "invalid state received", not an error
saying kaboom.

Further fixes for Github names with just one name

Not only can they be without names, they can be a one word name which
would cause a different crash. Again, allow that through and let the
user make manual adjustments if they wish.

Support login with github profiles that have no full name

We only really need the email, the rest the user can just fill out
manually. So instead of crashing, just leave them empty.

Update beta information bage with beta3

This was missed in the latest beta push.

Report by Laurence Parry

Give better error message when restricting information in oauth login

We need access to email, firstname and lastname, which is also what we
ask for. If the user forcibly restricts access to that, give a
reasonable error message instead of crashing.

Generate suggested oauth usernames in unicode

They won't work in the end, so a better fix is probably a good idea, but
this at least turns it into a useful error.

Don't crash when unauthenticated users try to change password

Make sessioninfo script work when user is not logged in

Copy over sessioninfo utility from postgresqleu site

Implement support for Oauth2 based login integrations

This creates Google, Github, Microsoft and Facebook login integrations.
Other providers can also be added if needed. Accounts still need to be
created in the community auth system, and will be automatically created
on first login, when the user also gets to pick a username. Once an
account exists, it will be matched on email address from the external
systems.

No methods are enabled by default, as they all require encryption keys
and identities configured in local_settings.py.

Review by Stephen Frost, Jonathan Katz and Daniel Gustafsson.