Use CLD3 (#2949)

Compact Language Detector v3 (CLD3) is the successor of CLD2, which was
used in the previous implementation. CLD3 includes improvements since CLD2,
and supports newer compilers. On the other hand, it has additional
requirements and cld3-ruby, the FFI of CLD3 for Ruby, is still new and may
be still inmature.

Though CLD3 is named after CLD2, it is implemented with a neural network
model, different from the old implementation, which is based on a Naïve
Bayesian classifier.

CLD3 supports newer compilers, such as GCC 6. CLD2 is not compatible with
GCC 6 because it assigns negative values to varibales typed unsigned.
(see internal/cld_generated_cjk_uni_prop_80.cc) The support for GCC 6 and
newer compilers are essential today, when some server operating system
such as Ubuntu Server 16.10 has GCC 6 by default.

On the one hand, CLD3 requires C++11 support. Environments with old
compilers such as Ubuntu Server 14.04 needs to update the system or install
a newer compiler.

CLD3 needs protocol buffers as a new dependency. However,it is not
considered problematic because major server operating systems, CentOS and
Ubuntu Server provide them.

The FFI cld3-ruby was written by me (Akihiko Odaki) for use in Mastodon.
It is still new and may be inmature, but confirmed to pass existing tests.

Use RegExp for require.context to filter custom stylesheets (#2950)

ExtractTextWebpackPlugin extracts the content of loaded files, which means
it loads files loaded by require.context but not required after that.
However the former implementation is not aware of that.

require.context can have a RegExp to filter files to load. This change
gives a RegExp which matches with SCSSes with 'custom' prefix to
require.context to take advantage of the feature.

Fixed bug that timeline can not be displayed by InvalidURIError (#2947)

add content-type in pubsubhubhub request header (#2943)

* add content-type in pubsubhubhub request header

* fix type

Fix missing or not gender neutral strings. (#2944)

Remove jquery-ujs (#2939)

* Remove jquery-ujs

* fix for eslint

Fix duplicated values in nl.json (#2931)

Update Norwegian translations (#2937)

* Update Norwegian translations

* Updated no.json
* Updated activerecord.no.yml
* Updated no.yml
* Updated simple_form.no.yml

* i18n: fix Unicode character error in no.yml

* Javascript escaping code "\uD83D\uDC18" should be "\U0001f418" in
Ruby / yml

* i18n: remove unused keys in Norwegian translation

* Remove unused keys in no.yml and activerecord.no.yml
  by running: `bundle exec i18n-tasks remove-unused no`

* Add missing keys in activerecord.no.yml and no.yml by
  running: `bundle exec i18n-tasks add-missing no`

* i18n: escape the key 'no' in activerecord.no.yml

Fix snackbar notification stacking order (#2935)

Remove rails_12factor (#2901)

Add cursor property to toot user avatar. (#2933)

Services specs for subscribe and unsubscribe (#2928)

* Add specs for unsubscribe service

* Fix non existent methods in unsubscribe service

* Clean up status handling in subscribe service

Specs for API push controller, with refactor (#2926)

* Coverage for api push controller

* Refactor the api/push controller

i18n mailer files for Occitan language (#2924)

* Create reset_password_instructions.oc.html.erb

* Create reset_password_instructions.oc.text.erb

* Create password_change.oc.html.erb

* Create password_change.oc.text.erb

* Create confirmation_instructions.oc.html.erb

* Create confirmation_instructions.oc.text.erb

Updating and extending Dutch strings (#2930)

* Update nl

* Update nl

* Update nl

* Create confirmation_instructions.nl.html.erb

* Create confirmation_instructions.nl.text.erb

* Create password_change.nl.html.erb

* Create password_change.nl.text.erb

* Create reset_password_instructions.nl.html.erb

* Create reset_password_instructions.nl.text.erb

Delegate Account#user_locale method and allow nil (#2927)

Improve error message for non-existent user being made an admin (#2929)

Misc gem bumps (#2919)

* Update bundler-audit to version 0.5.0

* Update oj to version 3.0.6

* Update http-form_data to version 1.0.2

* Update parallel to version 1.11.2

* Update rails-i18n to version 5.0.4

* Update rack-protection to version 2.0.0

* Update haml to version 5.0.1

* Update scss_lint to version 0.53.0

* Relax requirement on i18n-tasks

* Remove haml and haml_lint gem requirement

Update fr.json (#2915)

* Update fr.json

Updating some missing french translations.

* Update fr.json

Fix repetition in line 41.

* Update fr.json

Fix : adding space between {name} and ? question mark.

Prevent selection of unacceptable Content-Type files (#2910)

* Prevent selection of unacceptable Content-Type files

* replace hard code

* media_attachments accept content-types in initial state

Update simple_form.ar.yml (#2908)

* Update simple_form.ar.yml

Added missing strings that were introduced to simple_form.ar.yml and completing translation.

* Create confirmation_instructions.ar.html.erb

* Create confirmation_instructions.ar.text.erb

* Create password_change.ar.html.erb

* Create password_change.ar.text.erb

* Create reset_password_instructions.ar.text.erb

* Create reset_password_instructions.ar.html.erb

Improve scss color variables (#2912)

- Updates scss variables file to use better-named variables for black/white/etc
- Arranges the "mastodon classic" colors into variables
- Remove all references to `$color-*` naming, replacing with new

This does not in itself introduce "theme" support, but:

- It would probably be easier to start working on theme support after this
  change and others
- Even without the goal of themes, these changes make it more clear how the
  colors are being used.

There is almost definitely some edge case in here where I've guessed the
intent/context of some color usage incorrectly, but it still seems like a net
improvement.

Add Thai langauge (#2903)

* Updated Thai language

* locale: remove unused translation in Thai

* locale: add Thai to settings menu and application

* locale: fix activerecord.th.yml format

Fix broken features list in RTL languages (#2909)

Fixes #2905

Fix small typo in ru.json (#2906)

Remove unnecessary keep file. (#2902)

Render sidekiq scheduler (#2898)

Added haml-lint and fix warnings (#2773)

* add haml_lint to Gemfile

* add .haml-lint.yml

* fix warnings of haml_lint

Improve example env file for local Postfix relay (#2892)

Improve allowed language handling (#2897)

* Dont allow empty value in user allowed languages

* Sanitize language input to reject blank values in array

Fix Ukrainian malformed locale submitted in #2893, i18n-tasks normalize (#2896)

small ui change so that the settings buttons at the top of each column are actually aligned properly (#2894)

Update Ukrainian, Russian translations (#2893)

* Update Ukrainian translation (rebased off Russian translation)

* Update Ukrainian, Russian translations

Enable CodeClimate SCSS Lint checks (#2886)

* add scss_lint to Gemfile

* add .scss-lint.yml

* fix warnings of scss-lint

* chmod -x styles/variables.scss

* Enable CodeClimate SCSS Lint checks

Update Russian translation (#2891)

* Add Russian translation (ru)

* Fix a missing comma

* Fix the wording for better consistency

* Update Russian translation

* Arrange Russian setting alphabetically

* Fix syntax error

* Update Russian translation

* Fix formatting error

* Update Russian translation

* Update Russian translation

* Update ru.jsx

* Fix syntax error

* Remove two_factor_auth.warning (appears obsolete)

* Add missing strings in ru.yml

A lot of new strings translated, especially for the newly added admin section

* Fix translation consistency

* Update Russian translation

* Update Russian translation (pluralizations)

* Update Russian translation

Add final newline to locale files (#2890)

namespace redis usage (#2869)

* add redis-namespace gem

* namespace redis usage

* refactor redis namespace code to be less intrusive

previously : would be prepended to keys when the
REDIS_NAMESPACE env var was not set

now if it is not set the namespacing functions are
not used at all, which should prevent disruptions
when instances update.

* fix redis namespace variable style in streaming js

* remove trailing space

* final redis namespace style fix

Update ar.json (#2888)

* Update ar.json

Adding more translations (updating the missing non translated strings) and some little minimal corrections.

* Update ar.json

Deleting final new line as suggested in the review.

* Update ar.json

* Update ar.json

raise-when-oembed-not-found (#2882)

Add effective index to subscriptions (#2885)

Refactor account.rb (#2881)

* Call simple query

* Refactor Account#keypair

* Replace escaped single quote

* Extract similar behavior to method

* Gather the same condition to one block

* Remove not needed receiver

locale: add Occitan locale-data for js (#2845)

Translation works by @Quent-in.

Add Turkish yml file (#2878)

* Add Turkish yml file

* Add translation files for Turkish

* Deleted click_to_edit key and val

Deleted click_to_edit: Düzenlemek için ilgili ayara tıklayınız line

Fix local fonts and change font-face values (#2877)

* Fix local fonts and change font-face values

* Remove eot font files

Remove local_time gem, and add similar (#2875)

upgrade emojione-picker (#2874)

add source maps for dev/production (#2873)

Fix a aspect ratio for the embedded video (#2872)

Fix redirect path for admin (#2871)

i18n: Update Hebrew interface translation. (#2880)

* follow the instructions for registering the language as stated on the Tootsuite's docs.

* Added translation strings from latest master

Adding ‏ characters to many strings that are misdirected in the interface.

A tiny grammar fix

Updates of Hebrew strings to v1.3.1

Hebrew translation of the mailer templates.

Fix strings and a missing comma.

Just discovered two string keys were updated. this should lay Travis' mind to rest at last.

Remove mentions before counting characters to decide RTL ratio

Fixes for PR #2573

updated strings for latest master

Undo RTL counting, moved out to another branch for future consideration...

Unblock domain service specs/refactor (#2867)

* Add spec for unblock domain service

* Refactor UnblockDomainService

Fix unused key issue in zh-HK (#2870)

* locale: remove unused keys in zh-HK

* locale: update json translations

* handled the untranslated strings.
* removed unused keys.

Fix locale key for account card (#2866)

Enable CodeClimate Brakeman checks (#2861)

* add brakeman to Gemfile

* Enable CodeClimate brakeman checks

* add config/brakeman.ignore

add asynchronous emojione-picker (code-splitting) (#2863)

Enable CodeClimate Bundler-Audit checks (#2862)

* add bundler-audit to Gemfile

* Enable CodeClimate bundler-audit checks

Hotfix convert string from symbol (#2856)

* Convert key to string from symbol

* Prefer :public_send instead of

Fixes slow query in notifications api (#2851)

* Add inclusion validation for activity_type

* When excluding all types with `WHERE NOT IN`, the query search all rows.

Eslintrc fix (#2850)

* eslintrc: adapt changes in eslint-plugin-jsx-a11y

* Replace 'jsx-a11y/img-has-alt' with 'jsx-a11y/alt-text'.
  Reference: evcohen/eslint-plugin-jsx-a11y@24b6193

* Replace 'jsx-a11y/onclick-has-focus' with 'jsx-a11y/interactive-supports-focus'
  Reference: evcohen/eslint-plugin-jsx-a11y@cbdfeb8

* Replace 'jsx-a11y/onclick-has-role' with 'jsx-a11y/no-noninteractive-element-interactions'
  Reference: evcohen/eslint-plugin-jsx-a11y@18c9b71

* Update eslint-plugin-jsx-a11y to 5.0.0

Follow the change in Code Climate. Make sure the same eslintrc
can be executed locally and in Code Climate.

* Convert .eslintrc.json to equivlant .eslintrc.yml

* Less quotes and commas, more readability, allow comment.

remove preset-es2015 from babel config (#2849)

switch uglify to compress:true,mangle:true (#2852)

Fix Croatian localedata issues in mastodon.js (#2844)

* locale: added hr and oc react-intl locale data

* adds Croatian locale data in mastodon.js
* adds Occitan locale data in mastodon.js

Resolves #2667

* locale: sort locale data imports in mastodon.js

* locale: remove oc reference

* [react-intl](https://github.com/yahoo/react-intl) does not provide
  default locale data for Occitan. Hence removed from reference.

Replace ws with uws (#2807)

* Replace ws with uws

* fix indent

* Adjust indentation

* remove trailing space

Remove final newline in generated locale files (#2840)

translateionRunner: improve minimalist options (#2835)

* translateionRunner: improve minimalist options

* Properly added flags.
* Added alias: -h, -f

* translationRunner: improve logic and flow

* Show all error messages instead of validate availability / name
  format separately.

* translationRunner: check messageDirectory existance

* translationRunner: changed throw string to Error

* translationRunner: use short cut for boolean

Add Japanese tranlsation for getting started, and run manage:tranlation (#2839)

* Add Japanese tranlsation for getting started, and run manage:tranlation

* remove unnecessary {apps}

Refactor domain_blocks_controller (#2843)

* Set domain_block by before_action

* Cast value with ActiveRecord::Type

* Batch update

i18n: corrected Polish translation (#2841)

Use null as default oEmbed height (#2842)

Height 640 is too big for most toots.
Twitter use null value to support flexible height.

Optimize MuteService and AfterBlockService (#2836)

Added support options to the bottom right (#2769)

* Added support options to the bottom right

I don't know if this is actually wanted, but I made these changes on my instance, so why not share it. Not wanted? No problem! BTW: Maybe the Mastodon image should leave here, cause there is no space left cause of the increased height of the getting started column.

* 2 paragraphs looks cleaner

* Update

* Good morning

Version bumps for gems (#2838)

* Update aws-sdk to version 2.9.15

* Update ox to version 2.5.0

* Update sidekiq-unique-jobs to version 5.0.8

* Update rspec-rails to version 3.6.0

Fix Scheduler::SubscriptionsScheduler (#2834)

* Fix Scheduler::SubscriptionsScheduler, add worker test for it

* Change production log level of Sidekiq to "warn" instead of "info"

Handling failed http response (#2823)

i18n: Updated Polish translation (#2832)

* i18n: updated Polish translation

Signed-off-by: Marcin Mikołajczak <m4sk1n@vivaldi.net>
* i18n: completed Polish translation

Signed-off-by: Marcin Mikołajczak <m4sk1n@vivaldi.net>

remove legacy decorators, use lodash.debounce (#2830)

Move babel-plugin-lodash to dependencies from devDependencies (#2831)

remove unnecessary buffer polyfill (#2833)

separate .babelrc for prod/dev, add babel-plugin-lodash (#2829)

Streamline javascript translation by improving translationRunner (#2808)

* package.json: Add "build:*" targets

* Improve react-intl-translations-manager workflow.
  * Added "build:production" to build production bundle.
  * Added "build:development" to build development bundle.

* Fix json translation files

* Run `yarn manage:translations` to fix translation files.
* Fix `pl.json` for syntax error.

* translationRunner: auto detect existing languages

* Auto detect existing rfc5646 language tag in *.json filenames
  in `app/javascript/mastodon/locale` folder. No need to manually
  define every new language in the languages array here.

* translationRunner: add more functionality

* Allow script user to specify language code to check.
* Added available language check.
* Added --force flag to force creation of unexists language.
* Added --help flag and help messages.

* gitignore: ignore npm-debug.log

* Fix webpack error if NODE_ENV is not defined

Default to use 'development' in config/webpack/configuration.js

Optimize follower_accounts and following_accounts (#2820)

Stream entry specs and refactor to use delegate (#2827)

* Add coverage for stream entry delegated methods

* Use delegate with allow_nil to clean up stream entry

Added japanese version of terms of service and privacy policy (#2703)

* Added japanese version of terms of service and privacy policy

* Fix typo

* Add trasnlation for title.

* Improve translation and update the date.

add docker-compose.override to gitignore (#2809)

Move account header and avatar methods to a concern (#2825)

Fixes unknown mime type (#2822)

Fixes propTypes warning introduced by #2774 (#2824)

Misc spec coverage improvements (#2821)

* Dont use raise_error by itself (avoids warning)

* Add coverage for AccountFilter

* Improve coverage and refactor for Subscription#lease_seconds

* Improve coverage and refactor for NotificationMailer

* Simplify assignment of min/max threshold on subscription

use Twitter::Extractor for creating links (#2502)

Minor fix in Travis config with bundler call (#2806)

* Travis: Fix bundler_args

`bundler_args` is not functional if using custom install script
in `.travis.yml`. Directly attach the argument to the install script.

* Travis: Run i18n-tasks through bundle exec

Parallel to similar scripts in the same travis config.
More resiliant to changes in configuration.

* Travis: bundler vendor directory

Travis + rvm seems to ignore `.bundle/config` and hence use rvm
global vendor directory by default. Adding `--path` will fix this
and hence make `cache.bundler = true` really functional.

* Travis: disable bundler cache

No significant change in build time. Huge cache. Best disabled.

Update Locale zh-HK (#2818)

* locale: Add missing translation in zh-HK.yml

* locale: fix consistancy in zh-HK.yml translation

* locale: Improve zh-HK yml translations

* Use "PuSH" in all "PubSubHubBub" occurances.
* Simplify text on front page.
* Improve doorkeeper authorization table translations.
* Simplify setting form text for better layout.
* Improve "Business Email" translation.

* locale: Update zh-HK.json

* Fix untranslated text.
* Improve translations.

Run manage:translations (#2816)

Add specs (and refactor) of FetchRemoteResourceService and SearchService (#2812)

* Coverage for fetch remote resource service

* Refactor fetch remote resource service

* Coverage for search service

* Refactor search service

Add Japanese translate to home column when inactive (#2813)

Update ar.json (#2815)

Adding more arabic translated strings.

Correct typo in german locale (#2805)

Add additional documentation and warnings to the WEB_DOMAIN setting. (#2386)

* Add additional documentation and warnings to the WEB_DOMAIN setting.

This feature is largely undocumented, and quite a number of users have
shot them in the feet already despite the warning. Added a bit of documentation
and expanded the warning until we have a mechanism for dealing with conflicting
user URIs.

* Change WEB_DOMAIN comments to point to the extensive online documentation

More robust PuSH subscription refreshes (#2799)

* Fix #2473 - Use sidekiq scheduler to refresh PuSH subscriptions instead of cron

Fix an issue where / in domain would raise exception in TagManager#normalize_domain

PuSH subscriptions refresh done in a round-robin way to avoid hammering a single
server's hub in sequence. Correct handling of failures/retries through Sidekiq (see
also #2613). Optimize Account#with_followers scope. Also, since subscriptions
are now delegated to Sidekiq jobs, an uncaught exception will not stop the entire
refreshing operation halfway through

Fix #2702 - Correct user agent header on outgoing http requests

* Add test for SubscribeService

* Extract #expiring_accounts into method

* Make mastodon:push:refresh no-op

* Queues are now defined in sidekiq.yml

* Queues are now in sidekiq.yml

ui: check spoiler_text against regex filter (#1635) (#2665)

* ui: check spoiler_text against regex filter (#1635)

When filtering by regex, also check the spoiler_text if
present.

* ui: concatenate spoiler and content in reducer

Simplifies aa5b03c, clarifies intent of the field

Remove the react-rails gem (#2801)

* Remove react-rails gem

* Fix broken view spec