Merge pull request #1031 from dalf/fix-bing-_fetch_supported_languages

Fix bing  fetch supported languages

searx/data/engines_languages.json

@@ -1,431 +1,431 @@
 {
   "bing": [
-    "af-AF",
-    "am-AM",
-    "ar-AR",
-    "as-AS",
+    "af",
+    "am",
+    "ar",
+    "as",
     "az-latn",
-    "be-BE",
-    "bg-BG",
-    "bn-BN",
+    "be",
+    "bg",
+    "bn",
     "bs-latn",
-    "ca-CA",
+    "ca",
     "ca-es-valencia",
     "chr-cher",
-    "cs-CS",
-    "cy-CY",
-    "da-DA",
-    "de-DE",
-    "el-EL",
-    "en-EN",
-    "es-ES",
-    "et-ET",
-    "eu-EU",
-    "fa-FA",
-    "fi-FI",
-    "fil-FIL",
-    "fr-FR",
-    "ga-GA",
-    "gd-GD",
-    "gl-GL",
-    "gu-GU",
+    "cs",
+    "cy",
+    "da",
+    "de",
+    "el",
+    "en",
+    "es",
+    "et",
+    "eu",
+    "fa",
+    "fi",
+    "fil",
+    "fr",
+    "ga",
+    "gd",
+    "gl",
+    "gu",
     "ha-latn",
-    "he-HE",
-    "hi-HI",
-    "hr-HR",
-    "hu-HU",
-    "hy-HY",
-    "id-ID",
-    "ig-IG",
-    "is-IS",
-    "it-IT",
-    "ja-JA",
-    "ka-KA",
-    "kk-KK",
-    "km-KM",
-    "kn-KN",
-    "ko-KO",
-    "kok-KOK",
+    "he",
+    "hi",
+    "hr",
+    "hu",
+    "hy",
+    "id",
+    "ig",
+    "is",
+    "it",
+    "ja",
+    "ka",
+    "kk",
+    "km",
+    "kn",
+    "ko",
+    "kok",
     "ku-arab",
-    "ky-KY",
-    "lb-LB",
-    "lo-LO",
-    "lt-LT",
-    "lv-LV",
-    "mi-MI",
-    "mk-MK",
-    "ml-ML",
+    "ky",
+    "lb",
+    "lo",
+    "lt",
+    "lv",
+    "mi",
+    "mk",
+    "ml",
     "mn-Cyrl-MN",
-    "mr-MR",
-    "ms-MS",
-    "mt-MT",
-    "nb-NB",
-    "ne-NE",
-    "nl-NL",
-    "nn-NN",
-    "nso-NSO",
-    "or-OR",
+    "mr",
+    "ms",
+    "mt",
+    "nb",
+    "ne",
+    "nl",
+    "nn",
+    "nso",
+    "or",
     "pa-arab",
     "pa-guru",
-    "pl-PL",
-    "prs-PRS",
+    "pl",
+    "prs",
     "pt-BR",
     "pt-PT",
-    "quc-QUC",
-    "quz-QUZ",
-    "ro-RO",
-    "ru-RU",
-    "rw-RW",
+    "quc",
+    "quz",
+    "ro",
+    "ru",
+    "rw",
     "sd-arab",
-    "si-SI",
-    "sk-SK",
-    "sl-SL",
-    "sq-SQ",
+    "si",
+    "sk",
+    "sl",
+    "sq",
     "sr-cyrl",
     "sr-latn",
-    "sv-SV",
-    "sw-SW",
-    "ta-TA",
-    "te-TE",
+    "sv",
+    "sw",
+    "ta",
+    "te",
     "tg-cyrl",
-    "th-TH",
-    "ti-TI",
-    "tk-TK",
-    "tn-TN",
-    "tr-TR",
-    "tt-TT",
-    "ug-UG",
-    "uk-UK",
-    "ur-UR",
+    "th",
+    "ti",
+    "tk",
+    "tn",
+    "tr",
+    "tt",
+    "ug",
+    "uk",
+    "ur",
     "uz-latn",
-    "vi-VI",
-    "wo-WO",
-    "xh-XH",
-    "yo-YO",
+    "vi",
+    "wo",
+    "xh",
+    "yo",
     "zh-Hans",
     "zh-Hant",
-    "zu-ZU"
+    "zu"
   ],
   "bing images": [
-    "af-AF",
-    "am-AM",
-    "ar-AR",
-    "as-AS",
+    "af",
+    "am",
+    "ar",
+    "as",
     "az-latn",
-    "be-BE",
-    "bg-BG",
-    "bn-BN",
+    "be",
+    "bg",
+    "bn",
     "bs-latn",
-    "ca-CA",
+    "ca",
     "ca-es-valencia",
     "chr-cher",
-    "cs-CS",
-    "cy-CY",
-    "da-DA",
-    "de-DE",
-    "el-EL",
-    "en-EN",
-    "es-ES",
-    "et-ET",
-    "eu-EU",
-    "fa-FA",
-    "fi-FI",
-    "fil-FIL",
-    "fr-FR",
-    "ga-GA",
-    "gd-GD",
-    "gl-GL",
-    "gu-GU",
+    "cs",
+    "cy",
+    "da",
+    "de",
+    "el",
+    "en",
+    "es",
+    "et",
+    "eu",
+    "fa",
+    "fi",
+    "fil",
+    "fr",
+    "ga",
+    "gd",
+    "gl",
+    "gu",
     "ha-latn",
-    "he-HE",
-    "hi-HI",
-    "hr-HR",
-    "hu-HU",
-    "hy-HY",
-    "id-ID",
-    "ig-IG",
-    "is-IS",
-    "it-IT",
-    "ja-JA",
-    "ka-KA",
-    "kk-KK",
-    "km-KM",
-    "kn-KN",
-    "ko-KO",
-    "kok-KOK",
+    "he",
+    "hi",
+    "hr",
+    "hu",
+    "hy",
+    "id",
+    "ig",
+    "is",
+    "it",
+    "ja",
+    "ka",
+    "kk",
+    "km",
+    "kn",
+    "ko",
+    "kok",
     "ku-arab",
-    "ky-KY",
-    "lb-LB",
-    "lo-LO",
-    "lt-LT",
-    "lv-LV",
-    "mi-MI",
-    "mk-MK",
-    "ml-ML",
+    "ky",
+    "lb",
+    "lo",
+    "lt",
+    "lv",
+    "mi",
+    "mk",
+    "ml",
     "mn-Cyrl-MN",
-    "mr-MR",
-    "ms-MS",
-    "mt-MT",
-    "nb-NB",
-    "ne-NE",
-    "nl-NL",
-    "nn-NN",
-    "nso-NSO",
-    "or-OR",
+    "mr",
+    "ms",
+    "mt",
+    "nb",
+    "ne",
+    "nl",
+    "nn",
+    "nso",
+    "or",
     "pa-arab",
     "pa-guru",
-    "pl-PL",
-    "prs-PRS",
+    "pl",
+    "prs",
     "pt-BR",
     "pt-PT",
-    "quc-QUC",
-    "quz-QUZ",
-    "ro-RO",
-    "ru-RU",
-    "rw-RW",
+    "quc",
+    "quz",
+    "ro",
+    "ru",
+    "rw",
     "sd-arab",
-    "si-SI",
-    "sk-SK",
-    "sl-SL",
-    "sq-SQ",
+    "si",
+    "sk",
+    "sl",
+    "sq",
     "sr-cyrl",
     "sr-latn",
-    "sv-SV",
-    "sw-SW",
-    "ta-TA",
-    "te-TE",
+    "sv",
+    "sw",
+    "ta",
+    "te",
     "tg-cyrl",
-    "th-TH",
-    "ti-TI",
-    "tk-TK",
-    "tn-TN",
-    "tr-TR",
-    "tt-TT",
-    "ug-UG",
-    "uk-UK",
-    "ur-UR",
+    "th",
+    "ti",
+    "tk",
+    "tn",
+    "tr",
+    "tt",
+    "ug",
+    "uk",
+    "ur",
     "uz-latn",
-    "vi-VI",
-    "wo-WO",
-    "xh-XH",
-    "yo-YO",
+    "vi",
+    "wo",
+    "xh",
+    "yo",
     "zh-Hans",
     "zh-Hant",
-    "zu-ZU"
+    "zu"
   ],
   "bing news": [
-    "af-AF",
-    "am-AM",
-    "ar-AR",
-    "as-AS",
+    "af",
+    "am",
+    "ar",
+    "as",
     "az-latn",
-    "be-BE",
-    "bg-BG",
-    "bn-BN",
+    "be",
+    "bg",
+    "bn",
     "bs-latn",
-    "ca-CA",
+    "ca",
     "ca-es-valencia",
     "chr-cher",
-    "cs-CS",
-    "cy-CY",
-    "da-DA",
-    "de-DE",
-    "el-EL",
-    "en-EN",
-    "es-ES",
-    "et-ET",
-    "eu-EU",
-    "fa-FA",
-    "fi-FI",
-    "fil-FIL",
-    "fr-FR",
-    "ga-GA",
-    "gd-GD",
-    "gl-GL",
-    "gu-GU",
+    "cs",
+    "cy",
+    "da",
+    "de",
+    "el",
+    "en",
+    "es",
+    "et",
+    "eu",
+    "fa",
+    "fi",
+    "fil",
+    "fr",
+    "ga",
+    "gd",
+    "gl",
+    "gu",
     "ha-latn",
-    "he-HE",
-    "hi-HI",
-    "hr-HR",
-    "hu-HU",
-    "hy-HY",
-    "id-ID",
-    "ig-IG",
-    "is-IS",
-    "it-IT",
-    "ja-JA",
-    "ka-KA",
-    "kk-KK",
-    "km-KM",
-    "kn-KN",
-    "ko-KO",
-    "kok-KOK",
+    "he",
+    "hi",
+    "hr",
+    "hu",
+    "hy",
+    "id",
+    "ig",
+    "is",
+    "it",
+    "ja",
+    "ka",
+    "kk",
+    "km",
+    "kn",
+    "ko",
+    "kok",
     "ku-arab",
-    "ky-KY",
-    "lb-LB",
-    "lo-LO",
-    "lt-LT",
-    "lv-LV",
-    "mi-MI",
-    "mk-MK",
-    "ml-ML",
+    "ky",
+    "lb",
+    "lo",
+    "lt",
+    "lv",
+    "mi",
+    "mk",
+    "ml",
     "mn-Cyrl-MN",
-    "mr-MR",
-    "ms-MS",
-    "mt-MT",
-    "nb-NB",
-    "ne-NE",
-    "nl-NL",
-    "nn-NN",
-    "nso-NSO",
-    "or-OR",
+    "mr",
+    "ms",
+    "mt",
+    "nb",
+    "ne",
+    "nl",
+    "nn",
+    "nso",
+    "or",
     "pa-arab",
     "pa-guru",
-    "pl-PL",
-    "prs-PRS",
+    "pl",
+    "prs",
     "pt-BR",
     "pt-PT",
-    "quc-QUC",
-    "quz-QUZ",
-    "ro-RO",
-    "ru-RU",
-    "rw-RW",
+    "quc",
+    "quz",
+    "ro",
+    "ru",
+    "rw",
     "sd-arab",
-    "si-SI",
-    "sk-SK",
-    "sl-SL",
-    "sq-SQ",
+    "si",
+    "sk",
+    "sl",
+    "sq",
     "sr-cyrl",
     "sr-latn",
-    "sv-SV",
-    "sw-SW",
-    "ta-TA",
-    "te-TE",
+    "sv",
+    "sw",
+    "ta",
+    "te",
     "tg-cyrl",
-    "th-TH",
-    "ti-TI",
-    "tk-TK",
-    "tn-TN",
-    "tr-TR",
-    "tt-TT",
-    "ug-UG",
-    "uk-UK",
-    "ur-UR",
+    "th",
+    "ti",
+    "tk",
+    "tn",
+    "tr",
+    "tt",
+    "ug",
+    "uk",
+    "ur",
     "uz-latn",
-    "vi-VI",
-    "wo-WO",
-    "xh-XH",
-    "yo-YO",
+    "vi",
+    "wo",
+    "xh",
+    "yo",
     "zh-Hans",
     "zh-Hant",
-    "zu-ZU"
+    "zu"
   ],
   "bing videos": [
-    "af-AF",
-    "am-AM",
-    "ar-AR",
-    "as-AS",
+    "af",
+    "am",
+    "ar",
+    "as",
     "az-latn",
-    "be-BE",
-    "bg-BG",
-    "bn-BN",
+    "be",
+    "bg",
+    "bn",
     "bs-latn",
-    "ca-CA",
+    "ca",
     "ca-es-valencia",
     "chr-cher",
-    "cs-CS",
-    "cy-CY",
-    "da-DA",
-    "de-DE",
-    "el-EL",
-    "en-EN",
-    "es-ES",
-    "et-ET",
-    "eu-EU",
-    "fa-FA",
-    "fi-FI",
-    "fil-FIL",
-    "fr-FR",
-    "ga-GA",
-    "gd-GD",
-    "gl-GL",
-    "gu-GU",
+    "cs",
+    "cy",
+    "da",
+    "de",
+    "el",
+    "en",
+    "es",
+    "et",
+    "eu",
+    "fa",
+    "fi",
+    "fil",
+    "fr",
+    "ga",
+    "gd",
+    "gl",
+    "gu",
     "ha-latn",
-    "he-HE",
-    "hi-HI",
-    "hr-HR",
-    "hu-HU",
-    "hy-HY",
-    "id-ID",
-    "ig-IG",
-    "is-IS",
-    "it-IT",
-    "ja-JA",
-    "ka-KA",
-    "kk-KK",
-    "km-KM",
-    "kn-KN",
-    "ko-KO",
-    "kok-KOK",
+    "he",
+    "hi",
+    "hr",
+    "hu",
+    "hy",
+    "id",
+    "ig",
+    "is",
+    "it",
+    "ja",
+    "ka",
+    "kk",
+    "km",
+    "kn",
+    "ko",
+    "kok",
     "ku-arab",
-    "ky-KY",
-    "lb-LB",
-    "lo-LO",
-    "lt-LT",
-    "lv-LV",
-    "mi-MI",
-    "mk-MK",
-    "ml-ML",
+    "ky",
+    "lb",
+    "lo",
+    "lt",
+    "lv",
+    "mi",
+    "mk",
+    "ml",
     "mn-Cyrl-MN",
-    "mr-MR",
-    "ms-MS",
-    "mt-MT",
-    "nb-NB",
-    "ne-NE",
-    "nl-NL",
-    "nn-NN",
-    "nso-NSO",
-    "or-OR",
+    "mr",
+    "ms",
+    "mt",
+    "nb",
+    "ne",
+    "nl",
+    "nn",
+    "nso",
+    "or",
     "pa-arab",
     "pa-guru",
-    "pl-PL",
-    "prs-PRS",
+    "pl",
+    "prs",
     "pt-BR",
     "pt-PT",
-    "quc-QUC",
-    "quz-QUZ",
-    "ro-RO",
-    "ru-RU",
-    "rw-RW",
+    "quc",
+    "quz",
+    "ro",
+    "ru",
+    "rw",
     "sd-arab",
-    "si-SI",
-    "sk-SK",
-    "sl-SL",
-    "sq-SQ",
+    "si",
+    "sk",
+    "sl",
+    "sq",
     "sr-cyrl",
     "sr-latn",
-    "sv-SV",
-    "sw-SW",
-    "ta-TA",
-    "te-TE",
+    "sv",
+    "sw",
+    "ta",
+    "te",
     "tg-cyrl",
-    "th-TH",
-    "ti-TI",
-    "tk-TK",
-    "tn-TN",
-    "tr-TR",
-    "tt-TT",
-    "ug-UG",
-    "uk-UK",
-    "ur-UR",
+    "th",
+    "ti",
+    "tk",
+    "tn",
+    "tr",
+    "tt",
+    "ug",
+    "uk",
+    "ur",
     "uz-latn",
-    "vi-VI",
-    "wo-WO",
-    "xh-XH",
-    "yo-YO",
+    "vi",
+    "wo",
+    "xh",
+    "yo",
     "zh-Hans",
     "zh-Hant",
-    "zu-ZU"
+    "zu"
   ],
   "dailymotion": {
     "aa": {

searx/engines/bing.py

@@ -145,9 +145,7 @@ def _fetch_supported_languages(resp):
         lang, nation = (setlang.split('-', maxsplit=1) + [None,])[:2]  # fmt: skip
         # fmt: on
 
-        if not nation:
-            nation = lang.upper()
-        tag = lang + '-' + nation
+        tag = lang + '-' + nation if nation else lang
         lang_tags.add(tag)
 
     return list(lang_tags)

searx/languages.py

@@ -30,6 +30,7 @@ language_codes = (
     ('et-EE', 'Eesti', 'Eesti', 'Estonian', '\U0001f1ea\U0001f1ea'),
     ('fa-IR', 'فارسی', '', 'Persian', '\U0001f1ee\U0001f1f7'),
     ('fi-FI', 'Suomi', 'Suomi', 'Finnish', '\U0001f1eb\U0001f1ee'),
+    ('fil-PH', 'Filipino', '', 'Filipino', '\U0001f1f5\U0001f1ed'),
     ('fr', 'Français', '', 'French', '\U0001f310'),
     ('fr-BE', 'Français', 'Belgique', 'French', '\U0001f1e7\U0001f1ea'),
     ('fr-CA', 'Français', 'Canada', 'French', '\U0001f1e8\U0001f1e6'),
@@ -37,15 +38,16 @@ language_codes = (
     ('fr-FR', 'Français', 'France', 'French', '\U0001f1eb\U0001f1f7'),
     ('he-IL', 'עברית', '', 'Hebrew', '\U0001f1ee\U0001f1f1'),
     ('hi-IN', 'हिन्दी', '', 'Hindi', '\U0001f1ee\U0001f1f3'),
-    ('hr-HR', 'Hrvatski', 'Hrvatska', 'Croatian', '\U0001f1ed\U0001f1f7'),
+    ('hr-HR', 'Hrvatski', '', 'Croatian', '\U0001f1ed\U0001f1f7'),
     ('hu-HU', 'Magyar', 'Magyarország', 'Hungarian', '\U0001f1ed\U0001f1fa'),
     ('id-ID', 'Indonesia', '', 'Indonesian', '\U0001f1ee\U0001f1e9'),
     ('is-IS', 'Íslenska', '', 'Icelandic', '\U0001f1ee\U0001f1f8'),
     ('it-IT', 'Italiano', 'Italia', 'Italian', '\U0001f1ee\U0001f1f9'),
     ('ja-JP', '日本語', '', 'Japanese', '\U0001f1ef\U0001f1f5'),
     ('ko-KR', '한국어', '', 'Korean', '\U0001f1f0\U0001f1f7'),
-    ('lt-LT', 'Lietuvių', 'Lietuva', 'Lithuanian', '\U0001f1f1\U0001f1f9'),
-    ('lv-LV', 'Latviešu', 'Latvija', 'Latvian', '\U0001f1f1\U0001f1fb'),
+    ('lt-LT', 'Lietuvių', '', 'Lithuanian', '\U0001f1f1\U0001f1f9'),
+    ('lv-LV', 'Latviešu', '', 'Latvian', '\U0001f1f1\U0001f1fb'),
+    ('nb-NO', 'Norsk Bokmål', '', 'Norwegian Bokmål', '\U0001f1f3\U0001f1f4'),
     ('nl', 'Nederlands', '', 'Dutch', '\U0001f310'),
     ('nl-BE', 'Nederlands', 'België', 'Dutch', '\U0001f1e7\U0001f1ea'),
     ('nl-NL', 'Nederlands', 'Nederland', 'Dutch', '\U0001f1f3\U0001f1f1'),
@@ -54,14 +56,14 @@ language_codes = (
     ('pt-BR', 'Português', 'Brasil', 'Portuguese', '\U0001f1e7\U0001f1f7'),
     ('pt-PT', 'Português', 'Portugal', 'Portuguese', '\U0001f1f5\U0001f1f9'),
     ('ro-RO', 'Română', 'România', 'Romanian', '\U0001f1f7\U0001f1f4'),
-    ('ru-RU', 'Русский', 'Россия', 'Russian', '\U0001f1f7\U0001f1fa'),
-    ('sk-SK', 'Slovenčina', 'Slovensko', 'Slovak', '\U0001f1f8\U0001f1f0'),
+    ('ru-RU', 'Русский', '', 'Russian', '\U0001f1f7\U0001f1fa'),
+    ('sk-SK', 'Slovenčina', '', 'Slovak', '\U0001f1f8\U0001f1f0'),
     ('sl-SI', 'Slovenščina', '', 'Slovenian', '\U0001f1f8\U0001f1ee'),
     ('sr-RS', 'Српски', '', 'Serbian', '\U0001f1f7\U0001f1f8'),
     ('sv-SE', 'Svenska', 'Sverige', 'Swedish', '\U0001f1f8\U0001f1ea'),
     ('sw-TZ', 'Kiswahili', '', 'Swahili', '\U0001f1f9\U0001f1ff'),
-    ('th-TH', 'ไทย', 'ไทย', 'Thai', '\U0001f1f9\U0001f1ed'),
-    ('tr-TR', 'Türkçe', 'Türkiye', 'Turkish', '\U0001f1f9\U0001f1f7'),
+    ('th-TH', 'ไทย', '', 'Thai', '\U0001f1f9\U0001f1ed'),
+    ('tr-TR', 'Türkçe', '', 'Turkish', '\U0001f1f9\U0001f1f7'),
     ('uk-UA', 'Українська', '', 'Ukrainian', '\U0001f1fa\U0001f1e6'),
     ('vi-VN', 'Tiếng Việt', '', 'Vietnamese', '\U0001f1fb\U0001f1f3'),
     ('zh', '中文', '', 'Chinese', '\U0001f310'),