mirror of
https://github.com/searxng/searxng.git
synced 2025-02-20 12:20:04 +00:00
Compare commits
10 Commits
c6a748e0d4
...
3c3edc4d8f
| Author | SHA1 | Date | |
|---|---|---|---|
|
3c3edc4d8f | ||
|
738906358b | ||
|
|
fc8938c968 | ||
|
|
3b9e06fbd2 | ||
|
|
4934922156 | ||
|
|
bee39e4ec0 | ||
|
|
3f4e0b0859 | ||
|
|
a235c54f8c | ||
|
|
df3344e5d5 | ||
|
|
51c6370729 |
@ -53,6 +53,9 @@ Probe HTTP headers
|
||||
.. automodule:: searx.botdetection.http_user_agent
|
||||
:members:
|
||||
|
||||
.. automodule:: searx.botdetection.sec_fetch
|
||||
:members:
|
||||
|
||||
.. _botdetection config:
|
||||
|
||||
Config
|
||||
|
||||
@ -33,7 +33,7 @@ class SXNGAnswerer(Answerer):
|
||||
|
||||
return AnswererInfo(
|
||||
name=gettext(self.__doc__),
|
||||
description=gettext(f"Compute {'/'.join(self.keywords)} of the arguments"),
|
||||
description=gettext("Compute {func} of the arguments".format(func='/'.join(self.keywords))),
|
||||
keywords=self.keywords,
|
||||
examples=["avg 123 548 2.04 24.2"],
|
||||
)
|
||||
|
||||
@ -33,6 +33,9 @@ def dump_request(request: SXNG_Request):
|
||||
+ " || Content-Length: %s" % request.headers.get('Content-Length')
|
||||
+ " || Connection: %s" % request.headers.get('Connection')
|
||||
+ " || User-Agent: %s" % request.headers.get('User-Agent')
|
||||
+ " || Sec-Fetch-Site: %s" % request.headers.get('Sec-Fetch-Site')
|
||||
+ " || Sec-Fetch-Mode: %s" % request.headers.get('Sec-Fetch-Mode')
|
||||
+ " || Sec-Fetch-Dest: %s" % request.headers.get('Sec-Fetch-Dest')
|
||||
)
|
||||
|
||||
|
||||
|
||||
61
searx/botdetection/http_sec_fetch.py
Normal file
61
searx/botdetection/http_sec_fetch.py
Normal file
@ -0,0 +1,61 @@
|
||||
# SPDX-License-Identifier: AGPL-3.0-or-later
|
||||
"""
|
||||
Method ``http_sec_fetch``
|
||||
-------------------------
|
||||
|
||||
The ``http_sec_fetch`` method protect resources from web attacks with `Fetch
|
||||
Metadata`_. A request is filtered out in case of:
|
||||
|
||||
- http header Sec-Fetch-Mode_ is invalid
|
||||
- http header Sec-Fetch-Dest_ is invalid
|
||||
|
||||
.. _Fetch Metadata:
|
||||
https://developer.mozilla.org/en-US/docs/Glossary/Fetch_metadata_request_header
|
||||
|
||||
.. Sec-Fetch-Dest:
|
||||
https://developer.mozilla.org/en-US/docs/Web/API/Request/destination
|
||||
|
||||
.. Sec-Fetch-Mode:
|
||||
https://developer.mozilla.org/en-US/docs/Web/API/Request/mode
|
||||
|
||||
|
||||
"""
|
||||
# pylint: disable=unused-argument
|
||||
|
||||
from __future__ import annotations
|
||||
from ipaddress import (
|
||||
IPv4Network,
|
||||
IPv6Network,
|
||||
)
|
||||
|
||||
import flask
|
||||
import werkzeug
|
||||
|
||||
from searx.extended_types import SXNG_Request
|
||||
|
||||
from . import config
|
||||
from ._helpers import logger
|
||||
|
||||
|
||||
def filter_request(
|
||||
network: IPv4Network | IPv6Network,
|
||||
request: SXNG_Request,
|
||||
cfg: config.Config,
|
||||
) -> werkzeug.Response | None:
|
||||
|
||||
val = request.headers.get("Sec-Fetch-Mode", "")
|
||||
if val != "navigate":
|
||||
logger.debug("invalid Sec-Fetch-Mode '%s'", val)
|
||||
return flask.redirect(flask.url_for('index'), code=302)
|
||||
|
||||
val = request.headers.get("Sec-Fetch-Site", "")
|
||||
if val not in ('same-origin', 'same-site', 'none'):
|
||||
logger.debug("invalid Sec-Fetch-Site '%s'", val)
|
||||
flask.redirect(flask.url_for('index'), code=302)
|
||||
|
||||
val = request.headers.get("Sec-Fetch-Dest", "")
|
||||
if val != "document":
|
||||
logger.debug("invalid Sec-Fetch-Dest '%s'", val)
|
||||
flask.redirect(flask.url_for('index'), code=302)
|
||||
|
||||
return None
|
||||
File diff suppressed because it is too large
Load Diff
@ -5359,6 +5359,7 @@
|
||||
"pt": "pa'anga",
|
||||
"ru": "тонганская паанга",
|
||||
"sk": "Tonžská paʻanga",
|
||||
"sl": "tongovska paanga",
|
||||
"sr": "тонганска панга",
|
||||
"sv": "Tongansk pa'anga",
|
||||
"th": "ปาอางา",
|
||||
@ -5990,6 +5991,23 @@
|
||||
"uk": "Східно-карибський долар",
|
||||
"vi": "Đô la Đông Caribe"
|
||||
},
|
||||
"XCG": {
|
||||
"ar": "الجلدر الكاريبي",
|
||||
"ca": "florí caribeny",
|
||||
"de": "Karibischer Gulden",
|
||||
"en": "Caribbean guilder",
|
||||
"eo": "Karibia guldeno",
|
||||
"es": "florín caribeño",
|
||||
"fr": "Florin caribéen",
|
||||
"hr": "Karipski gulden",
|
||||
"hu": "karibi forint",
|
||||
"it": "fiorino caraibico",
|
||||
"nl": "Caribische gulden",
|
||||
"pap": "Florin karibense",
|
||||
"pt": "Florim do Caribe",
|
||||
"ru": "Карибский гульден",
|
||||
"sl": "karibski goldinar"
|
||||
},
|
||||
"XDR": {
|
||||
"ar": "حقوق السحب الخاصة",
|
||||
"bg": "Специални права на тираж",
|
||||
@ -6109,6 +6127,7 @@
|
||||
"vi": "Franc CFP"
|
||||
},
|
||||
"XPT": {
|
||||
"ar": "استثمار البلاتين",
|
||||
"de": "Platinpreis",
|
||||
"en": "platinum as an investment"
|
||||
},
|
||||
@ -6375,6 +6394,7 @@
|
||||
"CLP$": "CLP",
|
||||
"COL$": "COP",
|
||||
"COU$": "COU",
|
||||
"Cg": "XCG",
|
||||
"D": "GMD",
|
||||
"DA": "DZD",
|
||||
"DEN": "MKD",
|
||||
@ -6439,6 +6459,7 @@
|
||||
"NT$": "TWD",
|
||||
"NZ$": "NZD",
|
||||
"Nfk": "ERN",
|
||||
"Noha heinen krasss": "EUR",
|
||||
"Nu": "BTN",
|
||||
"N₨": "NPR",
|
||||
"P": "BWP",
|
||||
@ -6469,6 +6490,7 @@
|
||||
"Ush": "UGX",
|
||||
"VT": "VUV",
|
||||
"WS$": "WST",
|
||||
"XCG": "XCG",
|
||||
"XDR": "XDR",
|
||||
"Z$": "ZWL",
|
||||
"ZK": "ZMW",
|
||||
@ -7041,6 +7063,8 @@
|
||||
"canadiske dollar": "CAD",
|
||||
"cape verde escudo": "CVE",
|
||||
"cape verdean escudo": "CVE",
|
||||
"caribbean guilder": "XCG",
|
||||
"caribische gulden": "XCG",
|
||||
"cayman adaları doları": "KYD",
|
||||
"cayman islands dollar": "KYD",
|
||||
"caymaneilandse dollar": "KYD",
|
||||
@ -8382,6 +8406,7 @@
|
||||
"filler": "HUF",
|
||||
"fillér": "HUF",
|
||||
"fiorino arubano": "AWG",
|
||||
"fiorino caraibico": "XCG",
|
||||
"fiorino delle antille olandesi": "ANG",
|
||||
"fiorino di aruba": "AWG",
|
||||
"fiorino ungherese": "HUF",
|
||||
@ -8393,6 +8418,7 @@
|
||||
"florim das antilhas holandesas": "ANG",
|
||||
"florim das antilhas neerlandesas": "ANG",
|
||||
"florim de aruba": "AWG",
|
||||
"florim do caribe": "XCG",
|
||||
"florim húngaro": "HUF",
|
||||
"florin": "AWG",
|
||||
"florin antiano": "ANG",
|
||||
@ -8406,14 +8432,17 @@
|
||||
"florin arubeño": "AWG",
|
||||
"florin arubez": "AWG",
|
||||
"florin arubiano": "AWG",
|
||||
"florin caribéen": "XCG",
|
||||
"florin d'aruba": "AWG",
|
||||
"florin de las antilhas neerlandesas": "ANG",
|
||||
"florin des antilles néerlandaises": "ANG",
|
||||
"florin d’aruba": "AWG",
|
||||
"florin hungaro": "HUF",
|
||||
"florin húngaro": "HUF",
|
||||
"florin karibense": "XCG",
|
||||
"florint": "HUF",
|
||||
"florint húngaro": "HUF",
|
||||
"florí caribeny": "XCG",
|
||||
"florí d'aruba": "AWG",
|
||||
"florí de les antilles neerlandeses": "ANG",
|
||||
"florí d’aruba": "AWG",
|
||||
@ -8421,6 +8450,7 @@
|
||||
"florín antillano neerlandés": "ANG",
|
||||
"florín arubeno": "AWG",
|
||||
"florín arubeño": "AWG",
|
||||
"florín caribeño": "XCG",
|
||||
"florín das antillas neerlandesas": "ANG",
|
||||
"florín de aruba": "AWG",
|
||||
"florín hungaro": "HUF",
|
||||
@ -9162,6 +9192,11 @@
|
||||
"kapverdské escudo": "CVE",
|
||||
"kapverdski eskudo": "CVE",
|
||||
"karbovanet": "UAH",
|
||||
"karibi forint": "XCG",
|
||||
"karibia guldeno": "XCG",
|
||||
"karibischer gulden": "XCG",
|
||||
"karibski goldinar": "XCG",
|
||||
"karipski gulden": "XCG",
|
||||
"karod": "NPR",
|
||||
"kartvela lario": "GEL",
|
||||
"katar riyal": "QAR",
|
||||
@ -11966,6 +12001,7 @@
|
||||
"tongaška pa’anga": "TOP",
|
||||
"tongos pa'anga": "TOP",
|
||||
"tongos paanga": "TOP",
|
||||
"tongovska paanga": "TOP",
|
||||
"tonška pa’anga": "TOP",
|
||||
"tonžská pa'anga": "TOP",
|
||||
"tonžská paanga": "TOP",
|
||||
@ -13202,6 +13238,7 @@
|
||||
"канадски долар": "CAD",
|
||||
"канадский доллар": "CAD",
|
||||
"канадський долар": "CAD",
|
||||
"карибский гульден": "XCG",
|
||||
"катар риалы": "QAR",
|
||||
"катарски риал": "QAR",
|
||||
"катарски ријал": "QAR",
|
||||
@ -14234,6 +14271,7 @@
|
||||
"שקל ישראלי חדש": "ILS",
|
||||
"؋": "AFN",
|
||||
"ارياري": "MGA",
|
||||
"استثمار البلاتين": "XPT",
|
||||
"استثمار الذهب": "XAU",
|
||||
"استثمار الفضة": "XAG",
|
||||
"الاستثمار في الذهب": "XAU",
|
||||
@ -14243,6 +14281,7 @@
|
||||
"البوليفيانو": "BOB",
|
||||
"البيزو الكوبي": "CUP",
|
||||
"البيزو المكسيكي": "MXN",
|
||||
"الجلدر الكاريبي": "XCG",
|
||||
"الجنية البريطاني": "GBP",
|
||||
"الجنية المصري": "EGP",
|
||||
"الجنيه الاسترليني": "GBP",
|
||||
|
||||
File diff suppressed because one or more lines are too long
@ -19,11 +19,11 @@
|
||||
"cbz",
|
||||
"djvu",
|
||||
"doc",
|
||||
"docx",
|
||||
"epub",
|
||||
"fb2",
|
||||
"htm",
|
||||
"html",
|
||||
"jpg",
|
||||
"lit",
|
||||
"lrf",
|
||||
"mht",
|
||||
@ -42,6 +42,7 @@
|
||||
"newest_added",
|
||||
"oldest",
|
||||
"oldest_added",
|
||||
"random",
|
||||
"smallest"
|
||||
]
|
||||
},
|
||||
@ -195,7 +196,7 @@
|
||||
"es": "es-es",
|
||||
"et": "et-et",
|
||||
"eu": "eu-eu",
|
||||
"fa": "fa-fa",
|
||||
"fa": "prs-prs",
|
||||
"fi": "fi-fi",
|
||||
"fil": "fil-fil",
|
||||
"fr": "fr-fr",
|
||||
@ -203,12 +204,14 @@
|
||||
"gd": "gd-gd",
|
||||
"gl": "gl-gl",
|
||||
"gu": "gu-gu",
|
||||
"ha": "ha-latn",
|
||||
"he": "he-he",
|
||||
"hi": "hi-hi",
|
||||
"hr": "hr-hr",
|
||||
"hu": "hu-hu",
|
||||
"hy": "hy-hy",
|
||||
"id": "id-id",
|
||||
"ig": "ig-ig",
|
||||
"is": "is-is",
|
||||
"it": "it-it",
|
||||
"ja": "ja-ja",
|
||||
@ -218,6 +221,8 @@
|
||||
"kn": "kn-kn",
|
||||
"ko": "ko-ko",
|
||||
"kok": "kok-kok",
|
||||
"ku": "ku-arab",
|
||||
"ky": "ky-ky",
|
||||
"lb": "lb-lb",
|
||||
"lo": "lo-lo",
|
||||
"lt": "lt-lt",
|
||||
@ -225,6 +230,7 @@
|
||||
"mi": "mi-mi",
|
||||
"mk": "mk-mk",
|
||||
"ml": "ml-ml",
|
||||
"mn": "mn-cyrl-mn",
|
||||
"mr": "mr-mr",
|
||||
"ms": "ms-ms",
|
||||
"mt": "mt-mt",
|
||||
@ -232,22 +238,33 @@
|
||||
"ne": "ne-ne",
|
||||
"nl": "nl-nl",
|
||||
"nn": "nn-nn",
|
||||
"nso": "nso-nso",
|
||||
"or": "or-or",
|
||||
"pa_Arab": "pa-arab",
|
||||
"pa_Guru": "pa-guru",
|
||||
"pl": "pl-pl",
|
||||
"pt": "pt-br",
|
||||
"qu": "quz-quz",
|
||||
"quc": "quc-quc",
|
||||
"ro": "ro-ro",
|
||||
"ru": "ru-ru",
|
||||
"rw": "rw-rw",
|
||||
"sd_Arab": "sd-arab",
|
||||
"si": "si-si",
|
||||
"sk": "sk-sk",
|
||||
"sl": "sl-sl",
|
||||
"sq": "sq-sq",
|
||||
"sr_Cyrl": "sr-cyrl",
|
||||
"sr_Latn": "sr-latn",
|
||||
"sv": "sv-sv",
|
||||
"sw": "sw-sw",
|
||||
"ta": "ta-ta",
|
||||
"te": "te-te",
|
||||
"tg": "tg-cyrl",
|
||||
"th": "th-th",
|
||||
"ti": "ti-ti",
|
||||
"tk": "tk-tk",
|
||||
"tn": "tn-tn",
|
||||
"tr": "tr-tr",
|
||||
"tt": "tt-tt",
|
||||
"ug": "ug-ug",
|
||||
@ -255,9 +272,13 @@
|
||||
"ur": "ur-ur",
|
||||
"uz_Latn": "uz-latn",
|
||||
"vi": "vi-vi",
|
||||
"wo": "wo-wo",
|
||||
"xh": "xh-xh",
|
||||
"yo": "yo-yo",
|
||||
"zh": "zh-hans",
|
||||
"zh_Hans": "zh-hans",
|
||||
"zh_Hant": "zh-hant"
|
||||
"zh_Hant": "zh-hant",
|
||||
"zu": "zu-zu"
|
||||
},
|
||||
"regions": {
|
||||
"am-ET": "am-et",
|
||||
@ -473,12 +494,14 @@
|
||||
"kk-KZ": "kk-kz",
|
||||
"km-KH": "km-kh",
|
||||
"ko-KR": "ko-kr",
|
||||
"ky-KG": "ky-kg",
|
||||
"lb-LU": "lb-lu",
|
||||
"lo-LA": "lo-la",
|
||||
"lt-LT": "lt-lt",
|
||||
"lv-LV": "lv-lv",
|
||||
"mi-NZ": "mi-nz",
|
||||
"mk-MK": "mk-mk",
|
||||
"mn-MN": "mn-mn",
|
||||
"ms-BN": "ms-bn",
|
||||
"ms-MY": "ms-my",
|
||||
"ms-SG": "ms-sg",
|
||||
@ -512,6 +535,8 @@
|
||||
"ru-KZ": "ru-kz",
|
||||
"ru-RU": "ru-ru",
|
||||
"ru-UA": "ru-ua",
|
||||
"rw-RW": "rw-rw",
|
||||
"si-LK": "si-lk",
|
||||
"sk-SK": "sk-sk",
|
||||
"sl-SI": "sl-si",
|
||||
"sq-AL": "sq-al",
|
||||
@ -520,14 +545,23 @@
|
||||
"sr-RS": "sr-rs",
|
||||
"sv-FI": "sv-fi",
|
||||
"sv-SE": "sv-se",
|
||||
"sw-KE": "sw-ke",
|
||||
"sw-TZ": "sw-tz",
|
||||
"sw-UG": "sw-ug",
|
||||
"ta-LK": "ta-lk",
|
||||
"ta-SG": "ta-sg",
|
||||
"tg-TJ": "tg-tj",
|
||||
"th-TH": "th-th",
|
||||
"ti-ER": "ti-er",
|
||||
"tk-TM": "tk-tm",
|
||||
"tn-BW": "tn-bw",
|
||||
"tr-CY": "tr-cy",
|
||||
"tr-TR": "tr-tr",
|
||||
"uk-UA": "uk-ua",
|
||||
"ur-PK": "ur-pk",
|
||||
"vi-VN": "vi-vn",
|
||||
"wo-SN": "wo-sn",
|
||||
"yo-NG": "yo-ng",
|
||||
"zh-CN": "zh-cn",
|
||||
"zh-HK": "en-hk",
|
||||
"zh-MO": "zh-mo",
|
||||
@ -560,7 +594,7 @@
|
||||
"es": "es-es",
|
||||
"et": "et-et",
|
||||
"eu": "eu-eu",
|
||||
"fa": "fa-fa",
|
||||
"fa": "prs-prs",
|
||||
"fi": "fi-fi",
|
||||
"fil": "fil-fil",
|
||||
"fr": "fr-fr",
|
||||
@ -568,12 +602,14 @@
|
||||
"gd": "gd-gd",
|
||||
"gl": "gl-gl",
|
||||
"gu": "gu-gu",
|
||||
"ha": "ha-latn",
|
||||
"he": "he-he",
|
||||
"hi": "hi-hi",
|
||||
"hr": "hr-hr",
|
||||
"hu": "hu-hu",
|
||||
"hy": "hy-hy",
|
||||
"id": "id-id",
|
||||
"ig": "ig-ig",
|
||||
"is": "is-is",
|
||||
"it": "it-it",
|
||||
"ja": "ja-ja",
|
||||
@ -583,6 +619,8 @@
|
||||
"kn": "kn-kn",
|
||||
"ko": "ko-ko",
|
||||
"kok": "kok-kok",
|
||||
"ku": "ku-arab",
|
||||
"ky": "ky-ky",
|
||||
"lb": "lb-lb",
|
||||
"lo": "lo-lo",
|
||||
"lt": "lt-lt",
|
||||
@ -590,6 +628,7 @@
|
||||
"mi": "mi-mi",
|
||||
"mk": "mk-mk",
|
||||
"ml": "ml-ml",
|
||||
"mn": "mn-cyrl-mn",
|
||||
"mr": "mr-mr",
|
||||
"ms": "ms-ms",
|
||||
"mt": "mt-mt",
|
||||
@ -597,22 +636,33 @@
|
||||
"ne": "ne-ne",
|
||||
"nl": "nl-nl",
|
||||
"nn": "nn-nn",
|
||||
"nso": "nso-nso",
|
||||
"or": "or-or",
|
||||
"pa_Arab": "pa-arab",
|
||||
"pa_Guru": "pa-guru",
|
||||
"pl": "pl-pl",
|
||||
"pt": "pt-br",
|
||||
"qu": "quz-quz",
|
||||
"quc": "quc-quc",
|
||||
"ro": "ro-ro",
|
||||
"ru": "ru-ru",
|
||||
"rw": "rw-rw",
|
||||
"sd_Arab": "sd-arab",
|
||||
"si": "si-si",
|
||||
"sk": "sk-sk",
|
||||
"sl": "sl-sl",
|
||||
"sq": "sq-sq",
|
||||
"sr_Cyrl": "sr-cyrl",
|
||||
"sr_Latn": "sr-latn",
|
||||
"sv": "sv-sv",
|
||||
"sw": "sw-sw",
|
||||
"ta": "ta-ta",
|
||||
"te": "te-te",
|
||||
"tg": "tg-cyrl",
|
||||
"th": "th-th",
|
||||
"ti": "ti-ti",
|
||||
"tk": "tk-tk",
|
||||
"tn": "tn-tn",
|
||||
"tr": "tr-tr",
|
||||
"tt": "tt-tt",
|
||||
"ug": "ug-ug",
|
||||
@ -620,9 +670,13 @@
|
||||
"ur": "ur-ur",
|
||||
"uz_Latn": "uz-latn",
|
||||
"vi": "vi-vi",
|
||||
"wo": "wo-wo",
|
||||
"xh": "xh-xh",
|
||||
"yo": "yo-yo",
|
||||
"zh": "zh-hans",
|
||||
"zh_Hans": "zh-hans",
|
||||
"zh_Hant": "zh-hant"
|
||||
"zh_Hant": "zh-hant",
|
||||
"zu": "zu-zu"
|
||||
},
|
||||
"regions": {
|
||||
"am-ET": "am-et",
|
||||
@ -838,12 +892,14 @@
|
||||
"kk-KZ": "kk-kz",
|
||||
"km-KH": "km-kh",
|
||||
"ko-KR": "ko-kr",
|
||||
"ky-KG": "ky-kg",
|
||||
"lb-LU": "lb-lu",
|
||||
"lo-LA": "lo-la",
|
||||
"lt-LT": "lt-lt",
|
||||
"lv-LV": "lv-lv",
|
||||
"mi-NZ": "mi-nz",
|
||||
"mk-MK": "mk-mk",
|
||||
"mn-MN": "mn-mn",
|
||||
"ms-BN": "ms-bn",
|
||||
"ms-MY": "ms-my",
|
||||
"ms-SG": "ms-sg",
|
||||
@ -877,6 +933,8 @@
|
||||
"ru-KZ": "ru-kz",
|
||||
"ru-RU": "ru-ru",
|
||||
"ru-UA": "ru-ua",
|
||||
"rw-RW": "rw-rw",
|
||||
"si-LK": "si-lk",
|
||||
"sk-SK": "sk-sk",
|
||||
"sl-SI": "sl-si",
|
||||
"sq-AL": "sq-al",
|
||||
@ -885,14 +943,23 @@
|
||||
"sr-RS": "sr-rs",
|
||||
"sv-FI": "sv-fi",
|
||||
"sv-SE": "sv-se",
|
||||
"sw-KE": "sw-ke",
|
||||
"sw-TZ": "sw-tz",
|
||||
"sw-UG": "sw-ug",
|
||||
"ta-LK": "ta-lk",
|
||||
"ta-SG": "ta-sg",
|
||||
"tg-TJ": "tg-tj",
|
||||
"th-TH": "th-th",
|
||||
"ti-ER": "ti-er",
|
||||
"tk-TM": "tk-tm",
|
||||
"tn-BW": "tn-bw",
|
||||
"tr-CY": "tr-cy",
|
||||
"tr-TR": "tr-tr",
|
||||
"uk-UA": "uk-ua",
|
||||
"ur-PK": "ur-pk",
|
||||
"vi-VN": "vi-vn",
|
||||
"wo-SN": "wo-sn",
|
||||
"yo-NG": "yo-ng",
|
||||
"zh-CN": "zh-cn",
|
||||
"zh-HK": "en-hk",
|
||||
"zh-MO": "zh-mo",
|
||||
@ -925,7 +992,7 @@
|
||||
"es": "es-es",
|
||||
"et": "et-et",
|
||||
"eu": "eu-eu",
|
||||
"fa": "fa-fa",
|
||||
"fa": "prs-prs",
|
||||
"fi": "fi-fi",
|
||||
"fil": "fil-fil",
|
||||
"fr": "fr-fr",
|
||||
@ -933,12 +1000,14 @@
|
||||
"gd": "gd-gd",
|
||||
"gl": "gl-gl",
|
||||
"gu": "gu-gu",
|
||||
"ha": "ha-latn",
|
||||
"he": "he-he",
|
||||
"hi": "hi-hi",
|
||||
"hr": "hr-hr",
|
||||
"hu": "hu-hu",
|
||||
"hy": "hy-hy",
|
||||
"id": "id-id",
|
||||
"ig": "ig-ig",
|
||||
"is": "is-is",
|
||||
"it": "it-it",
|
||||
"ja": "ja-ja",
|
||||
@ -948,6 +1017,8 @@
|
||||
"kn": "kn-kn",
|
||||
"ko": "ko-ko",
|
||||
"kok": "kok-kok",
|
||||
"ku": "ku-arab",
|
||||
"ky": "ky-ky",
|
||||
"lb": "lb-lb",
|
||||
"lo": "lo-lo",
|
||||
"lt": "lt-lt",
|
||||
@ -955,6 +1026,7 @@
|
||||
"mi": "mi-mi",
|
||||
"mk": "mk-mk",
|
||||
"ml": "ml-ml",
|
||||
"mn": "mn-cyrl-mn",
|
||||
"mr": "mr-mr",
|
||||
"ms": "ms-ms",
|
||||
"mt": "mt-mt",
|
||||
@ -962,22 +1034,33 @@
|
||||
"ne": "ne-ne",
|
||||
"nl": "nl-nl",
|
||||
"nn": "nn-nn",
|
||||
"nso": "nso-nso",
|
||||
"or": "or-or",
|
||||
"pa_Arab": "pa-arab",
|
||||
"pa_Guru": "pa-guru",
|
||||
"pl": "pl-pl",
|
||||
"pt": "pt-br",
|
||||
"qu": "quz-quz",
|
||||
"quc": "quc-quc",
|
||||
"ro": "ro-ro",
|
||||
"ru": "ru-ru",
|
||||
"rw": "rw-rw",
|
||||
"sd_Arab": "sd-arab",
|
||||
"si": "si-si",
|
||||
"sk": "sk-sk",
|
||||
"sl": "sl-sl",
|
||||
"sq": "sq-sq",
|
||||
"sr_Cyrl": "sr-cyrl",
|
||||
"sr_Latn": "sr-latn",
|
||||
"sv": "sv-sv",
|
||||
"sw": "sw-sw",
|
||||
"ta": "ta-ta",
|
||||
"te": "te-te",
|
||||
"tg": "tg-cyrl",
|
||||
"th": "th-th",
|
||||
"ti": "ti-ti",
|
||||
"tk": "tk-tk",
|
||||
"tn": "tn-tn",
|
||||
"tr": "tr-tr",
|
||||
"tt": "tt-tt",
|
||||
"ug": "ug-ug",
|
||||
@ -985,9 +1068,13 @@
|
||||
"ur": "ur-ur",
|
||||
"uz_Latn": "uz-latn",
|
||||
"vi": "vi-vi",
|
||||
"wo": "wo-wo",
|
||||
"xh": "xh-xh",
|
||||
"yo": "yo-yo",
|
||||
"zh": "zh-hans",
|
||||
"zh_Hans": "zh-hans",
|
||||
"zh_Hant": "zh-hant"
|
||||
"zh_Hant": "zh-hant",
|
||||
"zu": "zu-zu"
|
||||
},
|
||||
"regions": {
|
||||
"am-ET": "am-et",
|
||||
@ -1203,12 +1290,14 @@
|
||||
"kk-KZ": "kk-kz",
|
||||
"km-KH": "km-kh",
|
||||
"ko-KR": "ko-kr",
|
||||
"ky-KG": "ky-kg",
|
||||
"lb-LU": "lb-lu",
|
||||
"lo-LA": "lo-la",
|
||||
"lt-LT": "lt-lt",
|
||||
"lv-LV": "lv-lv",
|
||||
"mi-NZ": "mi-nz",
|
||||
"mk-MK": "mk-mk",
|
||||
"mn-MN": "mn-mn",
|
||||
"ms-BN": "ms-bn",
|
||||
"ms-MY": "ms-my",
|
||||
"ms-SG": "ms-sg",
|
||||
@ -1242,6 +1331,8 @@
|
||||
"ru-KZ": "ru-kz",
|
||||
"ru-RU": "ru-ru",
|
||||
"ru-UA": "ru-ua",
|
||||
"rw-RW": "rw-rw",
|
||||
"si-LK": "si-lk",
|
||||
"sk-SK": "sk-sk",
|
||||
"sl-SI": "sl-si",
|
||||
"sq-AL": "sq-al",
|
||||
@ -1250,14 +1341,23 @@
|
||||
"sr-RS": "sr-rs",
|
||||
"sv-FI": "sv-fi",
|
||||
"sv-SE": "sv-se",
|
||||
"sw-KE": "sw-ke",
|
||||
"sw-TZ": "sw-tz",
|
||||
"sw-UG": "sw-ug",
|
||||
"ta-LK": "ta-lk",
|
||||
"ta-SG": "ta-sg",
|
||||
"tg-TJ": "tg-tj",
|
||||
"th-TH": "th-th",
|
||||
"ti-ER": "ti-er",
|
||||
"tk-TM": "tk-tm",
|
||||
"tn-BW": "tn-bw",
|
||||
"tr-CY": "tr-cy",
|
||||
"tr-TR": "tr-tr",
|
||||
"uk-UA": "uk-ua",
|
||||
"ur-PK": "ur-pk",
|
||||
"vi-VN": "vi-vn",
|
||||
"wo-SN": "wo-sn",
|
||||
"yo-NG": "yo-ng",
|
||||
"zh-CN": "en-hk",
|
||||
"zh-HK": "en-hk",
|
||||
"zh-MO": "zh-mo",
|
||||
@ -1290,7 +1390,7 @@
|
||||
"es": "es-es",
|
||||
"et": "et-et",
|
||||
"eu": "eu-eu",
|
||||
"fa": "fa-fa",
|
||||
"fa": "prs-prs",
|
||||
"fi": "fi-fi",
|
||||
"fil": "fil-fil",
|
||||
"fr": "fr-fr",
|
||||
@ -1298,12 +1398,14 @@
|
||||
"gd": "gd-gd",
|
||||
"gl": "gl-gl",
|
||||
"gu": "gu-gu",
|
||||
"ha": "ha-latn",
|
||||
"he": "he-he",
|
||||
"hi": "hi-hi",
|
||||
"hr": "hr-hr",
|
||||
"hu": "hu-hu",
|
||||
"hy": "hy-hy",
|
||||
"id": "id-id",
|
||||
"ig": "ig-ig",
|
||||
"is": "is-is",
|
||||
"it": "it-it",
|
||||
"ja": "ja-ja",
|
||||
@ -1313,6 +1415,8 @@
|
||||
"kn": "kn-kn",
|
||||
"ko": "ko-ko",
|
||||
"kok": "kok-kok",
|
||||
"ku": "ku-arab",
|
||||
"ky": "ky-ky",
|
||||
"lb": "lb-lb",
|
||||
"lo": "lo-lo",
|
||||
"lt": "lt-lt",
|
||||
@ -1320,6 +1424,7 @@
|
||||
"mi": "mi-mi",
|
||||
"mk": "mk-mk",
|
||||
"ml": "ml-ml",
|
||||
"mn": "mn-cyrl-mn",
|
||||
"mr": "mr-mr",
|
||||
"ms": "ms-ms",
|
||||
"mt": "mt-mt",
|
||||
@ -1327,22 +1432,33 @@
|
||||
"ne": "ne-ne",
|
||||
"nl": "nl-nl",
|
||||
"nn": "nn-nn",
|
||||
"nso": "nso-nso",
|
||||
"or": "or-or",
|
||||
"pa_Arab": "pa-arab",
|
||||
"pa_Guru": "pa-guru",
|
||||
"pl": "pl-pl",
|
||||
"pt": "pt-br",
|
||||
"qu": "quz-quz",
|
||||
"quc": "quc-quc",
|
||||
"ro": "ro-ro",
|
||||
"ru": "ru-ru",
|
||||
"rw": "rw-rw",
|
||||
"sd_Arab": "sd-arab",
|
||||
"si": "si-si",
|
||||
"sk": "sk-sk",
|
||||
"sl": "sl-sl",
|
||||
"sq": "sq-sq",
|
||||
"sr_Cyrl": "sr-cyrl",
|
||||
"sr_Latn": "sr-latn",
|
||||
"sv": "sv-sv",
|
||||
"sw": "sw-sw",
|
||||
"ta": "ta-ta",
|
||||
"te": "te-te",
|
||||
"tg": "tg-cyrl",
|
||||
"th": "th-th",
|
||||
"ti": "ti-ti",
|
||||
"tk": "tk-tk",
|
||||
"tn": "tn-tn",
|
||||
"tr": "tr-tr",
|
||||
"tt": "tt-tt",
|
||||
"ug": "ug-ug",
|
||||
@ -1350,9 +1466,13 @@
|
||||
"ur": "ur-ur",
|
||||
"uz_Latn": "uz-latn",
|
||||
"vi": "vi-vi",
|
||||
"wo": "wo-wo",
|
||||
"xh": "xh-xh",
|
||||
"yo": "yo-yo",
|
||||
"zh": "zh-hans",
|
||||
"zh_Hans": "zh-hans",
|
||||
"zh_Hant": "zh-hant"
|
||||
"zh_Hant": "zh-hant",
|
||||
"zu": "zu-zu"
|
||||
},
|
||||
"regions": {
|
||||
"am-ET": "am-et",
|
||||
@ -1568,12 +1688,14 @@
|
||||
"kk-KZ": "kk-kz",
|
||||
"km-KH": "km-kh",
|
||||
"ko-KR": "ko-kr",
|
||||
"ky-KG": "ky-kg",
|
||||
"lb-LU": "lb-lu",
|
||||
"lo-LA": "lo-la",
|
||||
"lt-LT": "lt-lt",
|
||||
"lv-LV": "lv-lv",
|
||||
"mi-NZ": "mi-nz",
|
||||
"mk-MK": "mk-mk",
|
||||
"mn-MN": "mn-mn",
|
||||
"ms-BN": "ms-bn",
|
||||
"ms-MY": "ms-my",
|
||||
"ms-SG": "ms-sg",
|
||||
@ -1607,6 +1729,8 @@
|
||||
"ru-KZ": "ru-kz",
|
||||
"ru-RU": "ru-ru",
|
||||
"ru-UA": "ru-ua",
|
||||
"rw-RW": "rw-rw",
|
||||
"si-LK": "si-lk",
|
||||
"sk-SK": "sk-sk",
|
||||
"sl-SI": "sl-si",
|
||||
"sq-AL": "sq-al",
|
||||
@ -1615,14 +1739,23 @@
|
||||
"sr-RS": "sr-rs",
|
||||
"sv-FI": "sv-fi",
|
||||
"sv-SE": "sv-se",
|
||||
"sw-KE": "sw-ke",
|
||||
"sw-TZ": "sw-tz",
|
||||
"sw-UG": "sw-ug",
|
||||
"ta-LK": "ta-lk",
|
||||
"ta-SG": "ta-sg",
|
||||
"tg-TJ": "tg-tj",
|
||||
"th-TH": "th-th",
|
||||
"ti-ER": "ti-er",
|
||||
"tk-TM": "tk-tm",
|
||||
"tn-BW": "tn-bw",
|
||||
"tr-CY": "tr-cy",
|
||||
"tr-TR": "tr-tr",
|
||||
"uk-UA": "uk-ua",
|
||||
"ur-PK": "ur-pk",
|
||||
"vi-VN": "vi-vn",
|
||||
"wo-SN": "wo-sn",
|
||||
"yo-NG": "yo-ng",
|
||||
"zh-CN": "zh-cn",
|
||||
"zh-HK": "en-hk",
|
||||
"zh-MO": "zh-mo",
|
||||
|
||||
@ -2574,11 +2574,6 @@
|
||||
"symbol": "ʰ",
|
||||
"to_si_factor": 0.2617993878
|
||||
},
|
||||
"Q11644875": {
|
||||
"si_name": "Q12438",
|
||||
"symbol": "Tf",
|
||||
"to_si_factor": 9806.65
|
||||
},
|
||||
"Q1165639": {
|
||||
"si_name": "Q89992008",
|
||||
"symbol": "daraf",
|
||||
@ -3179,6 +3174,21 @@
|
||||
"symbol": "₿",
|
||||
"to_si_factor": null
|
||||
},
|
||||
"Q131824443": {
|
||||
"si_name": "Q12438",
|
||||
"symbol": "tf",
|
||||
"to_si_factor": 9806.65
|
||||
},
|
||||
"Q131824444": {
|
||||
"si_name": "Q12438",
|
||||
"symbol": "LTf",
|
||||
"to_si_factor": 9964.01641818352
|
||||
},
|
||||
"Q131824445": {
|
||||
"si_name": "Q12438",
|
||||
"symbol": "STf",
|
||||
"to_si_factor": 8896.443230521
|
||||
},
|
||||
"Q1322380": {
|
||||
"si_name": "Q11574",
|
||||
"symbol": "Ts",
|
||||
@ -3420,7 +3430,7 @@
|
||||
"to_si_factor": null
|
||||
},
|
||||
"Q1628990": {
|
||||
"si_name": "Q12874593",
|
||||
"si_name": "Q12831618",
|
||||
"symbol": "hph",
|
||||
"to_si_factor": 745.7
|
||||
},
|
||||
|
||||
@ -112,6 +112,7 @@ from searx.botdetection import (
|
||||
http_accept_encoding,
|
||||
http_accept_language,
|
||||
http_user_agent,
|
||||
http_sec_fetch,
|
||||
ip_limit,
|
||||
ip_lists,
|
||||
get_network,
|
||||
@ -179,16 +180,17 @@ def filter_request(request: SXNG_Request) -> werkzeug.Response | None:
|
||||
logger.error("BLOCK %s: matched BLOCKLIST - %s", network.compressed, msg)
|
||||
return flask.make_response(('IP is on BLOCKLIST - %s' % msg, 429))
|
||||
|
||||
# methods applied on /
|
||||
# methods applied on all requests
|
||||
|
||||
for func in [
|
||||
http_user_agent,
|
||||
]:
|
||||
val = func.filter_request(network, request, cfg)
|
||||
if val is not None:
|
||||
logger.debug(f"NOT OK ({func.__name__}): {network}: %s", dump_request(sxng_request))
|
||||
return val
|
||||
|
||||
# methods applied on /search
|
||||
# methods applied on /search requests
|
||||
|
||||
if request.path == '/search':
|
||||
|
||||
@ -197,11 +199,14 @@ def filter_request(request: SXNG_Request) -> werkzeug.Response | None:
|
||||
http_accept_encoding,
|
||||
http_accept_language,
|
||||
http_user_agent,
|
||||
http_sec_fetch,
|
||||
ip_limit,
|
||||
]:
|
||||
val = func.filter_request(network, request, cfg)
|
||||
if val is not None:
|
||||
logger.debug(f"NOT OK ({func.__name__}): {network}: %s", dump_request(sxng_request))
|
||||
return val
|
||||
|
||||
logger.debug(f"OK {network}: %s", dump_request(sxng_request))
|
||||
return None
|
||||
|
||||
|
||||
@ -110,6 +110,28 @@ class Result(msgspec.Struct, kw_only=True):
|
||||
|
||||
return iter(self.__struct_fields__)
|
||||
|
||||
def as_dict(self):
|
||||
return {f: getattr(self, f) for f in self.__struct_fields__}
|
||||
|
||||
|
||||
class MainResult(Result): # pylint: disable=missing-class-docstring
|
||||
|
||||
# open_group and close_group should not manged in the Result class (we should rop it from here!)
|
||||
open_group: bool = False
|
||||
close_group: bool = False
|
||||
|
||||
title: str = ""
|
||||
"""Link title of the result item."""
|
||||
|
||||
content: str = ""
|
||||
"""Extract or description of the result item"""
|
||||
|
||||
img_src: str = ""
|
||||
"""URL of a image that is displayed in the result item."""
|
||||
|
||||
thumbnail: str = ""
|
||||
"""URL of a thumbnail that is displayed in the result item."""
|
||||
|
||||
|
||||
class LegacyResult(dict):
|
||||
"""A wrapper around a legacy result item. The SearXNG core uses this class
|
||||
@ -130,10 +152,12 @@ class LegacyResult(dict):
|
||||
UNSET = object()
|
||||
WHITESPACE_REGEX = re.compile('( |\t|\n)+', re.M | re.U)
|
||||
|
||||
def as_dict(self):
|
||||
return self
|
||||
|
||||
def __init__(self, *args, **kwargs):
|
||||
|
||||
super().__init__(*args, **kwargs)
|
||||
self.__dict__ = self
|
||||
|
||||
# Init fields with defaults / compare with defaults of the fields in class Result
|
||||
self.engine = self.get("engine", "")
|
||||
|
||||
@ -1,6 +1,6 @@
|
||||
<table>
|
||||
{% for key, value in result.items() %}
|
||||
{% if key in ['engine', 'engines', 'template', 'score', 'category', 'positions', 'pretty_url', 'parsed_url'] %}
|
||||
{% if key in ['engine', 'engines', 'template', 'score', 'category', 'positions', 'parsed_url'] %}
|
||||
{% continue %}
|
||||
{% endif %}
|
||||
<tr>
|
||||
|
||||
@ -694,9 +694,7 @@ def search():
|
||||
if 'title' in result and result['title']:
|
||||
result['title'] = highlight_content(escape(result['title'] or ''), search_query.query)
|
||||
|
||||
if 'url' in result:
|
||||
result['pretty_url'] = webutils.prettify_url(result['url'])
|
||||
if result.get('publishedDate'): # do not try to get a date from an empty string or a None type
|
||||
if getattr(result, 'publishedDate', None): # do not try to get a date from an empty string or a None type
|
||||
try: # test if publishedDate >= 1900 (datetime module bug)
|
||||
result['pubdate'] = result['publishedDate'].strftime('%Y-%m-%d %H:%M:%S%z')
|
||||
except ValueError:
|
||||
@ -706,15 +704,15 @@ def search():
|
||||
|
||||
# set result['open_group'] = True when the template changes from the previous result
|
||||
# set result['close_group'] = True when the template changes on the next result
|
||||
if current_template != result.get('template'):
|
||||
result['open_group'] = True
|
||||
if current_template != result.template:
|
||||
result.open_group = True
|
||||
if previous_result:
|
||||
previous_result['close_group'] = True # pylint: disable=unsupported-assignment-operation
|
||||
current_template = result.get('template')
|
||||
previous_result.close_group = True # pylint: disable=unsupported-assignment-operation
|
||||
current_template = result.template
|
||||
previous_result = result
|
||||
|
||||
if previous_result:
|
||||
previous_result['close_group'] = True
|
||||
previous_result.close_group = True
|
||||
|
||||
# 4.a RSS
|
||||
|
||||
|
||||
@ -123,17 +123,18 @@ def write_csv_response(csv: CSVWriter, rc: ResultContainer) -> None: # pylint:
|
||||
|
||||
"""
|
||||
|
||||
results = rc.get_ordered_results()
|
||||
keys = ('title', 'url', 'content', 'host', 'engine', 'score', 'type')
|
||||
csv.writerow(keys)
|
||||
|
||||
for row in results:
|
||||
for res in rc.get_ordered_results():
|
||||
row = res.as_dict()
|
||||
row['host'] = row['parsed_url'].netloc
|
||||
row['type'] = 'result'
|
||||
csv.writerow([row.get(key, '') for key in keys])
|
||||
|
||||
for a in rc.answers:
|
||||
row = {'title': a, 'type': 'answer'}
|
||||
row = a.as_dict()
|
||||
row['host'] = row['parsed_url'].netloc
|
||||
csv.writerow([row.get(key, '') for key in keys])
|
||||
|
||||
for a in rc.suggestions:
|
||||
@ -158,18 +159,17 @@ class JSONEncoder(json.JSONEncoder): # pylint: disable=missing-class-docstring
|
||||
|
||||
def get_json_response(sq: SearchQuery, rc: ResultContainer) -> str:
|
||||
"""Returns the JSON string of the results to a query (``application/json``)"""
|
||||
results = rc.number_of_results
|
||||
x = {
|
||||
data = {
|
||||
'query': sq.query,
|
||||
'number_of_results': results,
|
||||
'results': rc.get_ordered_results(),
|
||||
'answers': list(rc.answers),
|
||||
'number_of_results': rc.number_of_results,
|
||||
'results': [_.as_dict() for _ in rc.get_ordered_results()],
|
||||
'answers': [_.as_dict() for _ in rc.answers],
|
||||
'corrections': list(rc.corrections),
|
||||
'infoboxes': rc.infoboxes,
|
||||
'suggestions': list(rc.suggestions),
|
||||
'unresponsive_engines': get_translated_errors(rc.unresponsive_engines),
|
||||
}
|
||||
response = json.dumps(x, cls=JSONEncoder)
|
||||
response = json.dumps(data, cls=JSONEncoder)
|
||||
return response
|
||||
|
||||
|
||||
|
||||
@ -2,13 +2,13 @@
|
||||
# pylint: disable=missing-module-docstring,disable=missing-class-docstring,invalid-name
|
||||
|
||||
import json
|
||||
from urllib.parse import ParseResult
|
||||
import babel
|
||||
from mock import Mock
|
||||
|
||||
import searx.webapp
|
||||
import searx.search
|
||||
import searx.search.processors
|
||||
from searx.result_types._base import MainResult
|
||||
|
||||
from searx.results import Timing
|
||||
from searx.preferences import Preferences
|
||||
@ -31,30 +31,21 @@ class ViewsTestCase(SearxTestCase): # pylint: disable=too-many-public-methods
|
||||
|
||||
# set some defaults
|
||||
test_results = [
|
||||
{
|
||||
'content': 'first test content',
|
||||
'title': 'First Test',
|
||||
'url': 'http://first.test.xyz',
|
||||
'engines': ['youtube', 'startpage'],
|
||||
'engine': 'startpage',
|
||||
'parsed_url': ParseResult(
|
||||
scheme='http', netloc='first.test.xyz', path='/', params='', query='', fragment=''
|
||||
),
|
||||
'template': 'default.html',
|
||||
},
|
||||
{
|
||||
'content': 'second test content',
|
||||
'title': 'Second Test',
|
||||
'url': 'http://second.test.xyz',
|
||||
'engines': ['youtube', 'startpage'],
|
||||
'engine': 'youtube',
|
||||
'parsed_url': ParseResult(
|
||||
scheme='http', netloc='second.test.xyz', path='/', params='', query='', fragment=''
|
||||
),
|
||||
'template': 'default.html',
|
||||
},
|
||||
MainResult(
|
||||
title="First Test",
|
||||
url="http://first.test.xyz",
|
||||
content="first test content",
|
||||
engine="startpage",
|
||||
),
|
||||
MainResult(
|
||||
title="Second Test",
|
||||
url="http://second.test.xyz",
|
||||
content="second test content",
|
||||
engine="youtube",
|
||||
),
|
||||
]
|
||||
|
||||
for r in test_results:
|
||||
r.normalize_result_fields()
|
||||
timings = [
|
||||
Timing(engine='startpage', total=0.8, load=0.7),
|
||||
Timing(engine='youtube', total=0.9, load=0.6),
|
||||
|
||||
Loading…
Reference in New Issue
Block a user