add archive search script and new data

6 files changed, 124 insertions, 5 deletions

diff --git a/data.json b/data.json
index 6cecbae..09f69fb 100644
--- a/data.json
+++ b/data.json
@@ -19,7 +19,7 @@
     "text": "Фехтовальные Навыки Отмечено! ТРИУМФАЛЬНО! Отмечено! РОБОТИЧЕСКИ Отмечено! Беркут Отмечено! ТРИУМФАЛЬНО! 80% ТРИУМФАЛЬНО! Отмечено! Чечевичная похлебка ЗАКОННО! Номер Индексирован Безукоризненно Отмечено! Сухогруз Откладывается Линейно ТРИУМФАЛЬНО! Ь - Его Величество",
     "pic": "марш.jpg",
     "source": "2ch",
-    "date": "5/12/16"
+    "date": "18/11/16"
   },
   {
     "text": "ГАЗ-53 Отмечено! Линейно с Локации Отмечено! Военное Вмешательство УКДВРК Дежурные с Вышестоящими Контроль РОБОТИЧЕСКИ УКДВРК ГАЗ-53 Отмечено! Йодиноловый по Выписка ЖИЗНЬ! Екатерина РОБОТИЧЕСКИ ТРИУМФАЛЬНО! Военное Вмешательство Ытрэч Сухогруз Откладывается Линейно Беркут РОБОТИЧЕСКИ Отмечено! Сухогруз Откладывается Линейно Имения Вышестоящих По Право Линейно с Локации УКДВРК Беркут Имения Вышестоящих По Право Йодиноловый по Выписка Цепочка Связей Акробатическое По Правилам Войны закадычно[паррома] Дежурные с Вышестоящими Контроль Екатерина Сухогруз Откладывается Линейно Ь - Его Величество. МЕСТА(!) Екатерина Сухогруз Откладывается Линейно Ярославская Губерния Цепочка Связей Номер Индексирован Безукоризненно Акробатическое По Правилам Войны закадычно[паррома] Акробатическое По Правилам Войны Дежурные с Вышестоящими Контроль.",
@@ -279,27 +279,101 @@
     "source_link": "https://2ch.hk/b/arch/2016-11-16/res/140183243.html"
   },
   {
+    "text": "ТРИУМФАЛЬНО! РОБОТИЧЕСКИ Екатерина ТРИУМФАЛЬНО! Ь - Его Величество Екатерина Линейно с Локации Имения Вышестоящих По Право Цепочка Связей Отмечено: МЕСТА(!) Отмечено! Военное Вмешательство Сухогруз Откладывается Линейно Акробатическое По Правилам Войны Екатерина Военное Вмешательство",
+    "pic": "",
+    "date": "23/11/16",
+    "source": "2ch",
+    "source_link": "https://2ch.hk/b/arch/2016-11-23/res/140683923.html"
+  },
+  {
+    "text": "Фехтовальные Навыки Отмечено! ТРИУМФАЛЬНО! Отмечено! РОБОТИЧЕСКИ Отмечено! Беркут Отмечено! ТРИУМФАЛЬНО! Беркут УКДВРК Дежурные с Вышестоящими Контроль Екатерина ТРИУМФАЛЬНО! Дежурные с Вышестоящими Контроль Номер Индексирован Безукоризненно Ён МЕСТА(!)",
+    "pic": "",
+    "date": "23/11/16",
+    "source": "2ch",
+    "source_link": "https://2ch.hk/b/arch/2016-11-23/res/140683923.html"
+  },
+  {
+    "text": "Присутствие Военное по Право Отмечено! закадычно[паррома] ЖИЗНЬ! Екатерина Беркут УКДВРК Дежурные с Вышестоящими Контроль УКДВРК ТРИУМФАЛЬНО! Присутствие Военное по Право РОБОТИЧЕСКИ Имения Вышестоящих По Право МЕСТА(!) Екатерина РОБОТИЧЕСКИ Номер Индексирован Безукоризненно Ытрэч Екатерина Казнь по Вышестоящих Контроль Отмечено! Отмечено! РОБОТИЧЕСКИ Дежурные с Вышестоящими Контроль Имения Вышестоящих ПО Право Номер Индексирован Безукоризненно Акробатическое По Правилам Войны ТРИУМФАЛЬНО! Ытрэч МЕСТА(!) Екатерина Сухогруз Откладывается Линейно ТРИУМФАЛЬНО! Акробатическое По Правилам Войны, ГАЗ-53 Дежурные с Вышестоящими Контроль Екатерина Присутствие Военное по Право РОБОТИЧЕСКИ Отмечено! Имения Вышестоящих По Право закадычно[паррома] Военное Вмешательство Отмечено! Дежурные с Вышестоящими Контроль Имения вышестоящих По Право ТРИУМФАЛЬНО! Сухогруз Откладывается Линейно Ярославская Губерния УКДВРК ТРИУМФАЛЬНО! Имения Вышестоящих По Право Линейно с Локации Имения вышестоящих По Право закадычно[паррома] Акробатическое По Правилам Войны Цепочка Связей Имения Вышестоящих По Право Ярославская Губерния",
+    "pic": "",
+    "date": "23/11/16",
+    "source": "2ch",
+    "source_link": "https://2ch.hk/b/arch/2016-11-23/res/140701806.html"
+  },
+  {
+    "text": "Военное Вмешательство Отмечено! закадычно[паррома] МЕСТА(!)Отмечено! ЖИЗНЬ! Номер Индексирован Безукоризненно Акробатическое По Правилам Войны Беркут Екатерина РОБОТИЧЕСКИ Цепочка Связей Отмечено! Военное Вмешательство Акробатическое По Правилам Войны Ярославская Губерния Казнь по Вышестоящих Контроль Отмечено! Сухогруз Откладывается Линейно ТРИУМФАЛЬНО! Ь - Его Величество.",
+    "pic": "зах2.jpg",
+    "date": "25/11/16",
+    "source": "2ch",
+    "source_link": "https://2ch.hk/b/arch/2016-11-25/res/140833914.html"
+  },
+  {
+    "text": "Присутствие Военное по Право Отмечено! закадычно[паррома]Военное Вмешательство Отмечено! Номер Индексирован Безукоризненно Казнь по Вышестоящих Контроль Имения вышестоящих По Право",
+    "pic": "зах3.jpg",
+    "date": "25/11/16",
+    "source": "2ch",
+    "source_link": "https://2ch.hk/b/arch/2016-11-25/res/140833914.html"
+  },
+  {
+    "text": "Военное Вмешательство Отмечено! закадычно[паррома] МЕСТА(!)Отмечено! ЖИЗНЬ! Номер Индексирован Безукоризненно Ытрэч Номер Индексирован Безукоризненно Отмечено! Военное Вмешательство Ытрэч Екатерина УКДВРК Сухогруз Откладывается Линейно ТРИУМФАЛЬНО! РОБОТИЧЕСКИ Акробатическое По Правилам Войны Номер Индексирован Безукоризненно Екатерина Номер Индексирован Безукоризненно Имения Вышестоящих По Право Ярославская Губерния Имения вышестоящих По Право РОБОТИЧЕСКИ Акробатическое По Правилам Войны Сухогруз Откладывается Линейно Присутствие Военное по Право РОБОТИЧЕСКИ Акробатическое По Правилам Войны Военное Вмешательство Ытрэч. Военное Вмешательство РОБОТИЧЕСКИ Отмечено! Дежурные с Вышестоящими Контроль Екатерина Казнь по Вышестоящих Контроль Акробатическое По Правилам Войны Казнь по Вышестоящих Контроль УКДВРК ЖИЗНЬ! Екатерина Присутствие Военное по Право Отмечено! Сухогруз Откладывается Линейно ТРИУМФАЛЬНО! УКДВРК Присутствие Военное по Право Имения Вышестоящих По Право Линейно с Локации закадычно[паррома] Акробатическое По Правилам Войны Казнь по Вышестоящих Контроль Акробатическое По Правилам Войны закадычно[паррома] МЕСТА(!) Акробатическое По Правилам Войны РОБОТИЧЕСКИ ШПИОНАЖ ЖУЮЩЕГО ХРЯЩИ Имения Вышестоящих По Право РОБОТИЧЕСКИ УКДВРК Ющенко Щука В Мешке Екатерина МЕСТА(!) УКДВРК.",
+    "pic": ["дьявол.jpg", "марш.jpg"],
+    "date": "26/11/16",
+    "source": "2ch",
+    "source_link": "https://2ch.hk/b/arch/2016-11-26/res/140895323.html"
+  },
+  {
+    "text": "МЕСТА(!) Екатерина Сухогруз Откладывается Линейно ТРИУМФАЛЬНО!Акробатическое По Правилам Войны закадычно[паррома] Акробатическое По Правилам Войны Х О Р Т И Ц А Отмечено! РОБОТИЧЕСКИ Отмечено! Номер Индексирован Безукоризненно Екатерина Номер Индексирован Безукоризненно Имения Вышестоящих По Право Йодиноловый по Выписка Номер Индексирован Безукоризненно Екатерина Казнь по Вышестоящих Контроль Отмечено! ТРИУМФАЛЬНО! Отмечено! РОБОТИЧЕСКИ Ытрэч Х О Р Т И Ц А Отмечено! Сухогруз Откладывается Линейно ТРИУМФАЛЬНО! Акробатическое По Правилам Войны Номер Индексирован Безукоризненно Казнь по Вышестоящих Контроль Отмечено! Военное Вмешательство.",
+    "pic": ["зах.jpg", "зах2.jpg", "зах3.jpg"],
+    "date": "26/11/16",
+    "source": "2ch",
+    "source_link": "https://2ch.hk/b/arch/2016-11-26/res/140907494.html"
+  },
+  {
+    "text": "Присутствие Военное по Право Отмечено! Сухогруз Откладывается Линейно Линейно с Локации Екатерина Дежурные с Вышестоящими Контроль Номер Индексирован Безукоризненно Имения Вышестоящих По Право Йодиноловый по Выписка РОБОТИЧЕСКИ Акробатическое По Правилам Войны закадычно[паррома] МЕСТА(!) Акробатическое По Правилам Войны РОБОТИЧЕСКИ ШПИОНАЖ ЖУЮЩЕГО ХРЯЩИ Имения Вышестоящих По Право РОБОТИЧЕСКИ УКДВРК Ющенко Щука В Мешке Имения Вышестоящих По Право Йодиноловый по Выписка Беркут Ытрэч Линейно с Локации закадычно[паррома] Акробатическое По Правилам Войны МЕСТА(!) Екатерина Чечевичная похлебка ЗАКОННО!Екатерина Номер Индексирован Безукоризненно Военное Вмешательство Эрдоган ТРИУМФАЛЬНО! Отмечено! МЕСТА(!) РОБОТИЧЕСКИ Акробатическое По Правилам Войны Йодиноловый по Выписка Отмечено! Номер Индексирован Безукоризненно Екатерина.",
+    "pic": "бел.jpg",
+    "date": "27/11/16",
+    "source": "2ch",
+    "source_link": "https://2ch.hk/b/arch/2016-11-27/res/140962390.html"
+  },
+  {
+    "text": "Беркут Акробатическое По Правилам Войны Номер Индексирован Безукоризненно Казнь по Вышестоящих Контроль, Военное Вмешательство Казнь по Вышестоящих Контроль Отмечено! ТРИУМФАЛЬНО! Отмечено! РОБОТИЧЕСКИ Отмечено! МЕСТА(!) МЕСТА(!)Акробатическое По Правилам Войны РОБОТИЧЕСКИ ШПИОНАЖ ЖУЮЩЕГО ХРЯЩИ Имения Вышестоящих По Право РОБОТИЧЕСКИ УКДВРК Ющенко Щука В Мешке Имения Вышестоящих По Право Йодиноловый по Выписка Присутствие Военное по Право Отмечено! Линейно с Локации УКДВРК Чечевичная похлебка ЗАКОННО! Имения Вышестоящих По Право Линейно с Локации Дежурные с Вышестоящими Контроль Екатерина Номер Индексирован Безукоризненно Ь - Его Величество ГАЗ-53 Имения Вышестоящих По Право Отмечено! ТРИУМФАЛЬНО! Щука В Мешке Имения Вышестоящих По Право ГАЗ-53 Отмечено! Линейно с Локации Екатерина Военное Вмешательство Акробатическое По Правилам Войны.",
+    "pic": ["банк.jpg", "марш.jpg", "щиг.jpg"],
+    "date": "27/11/16",
+    "source": "2ch",
+    "source_link": "https://2ch.hk/b/arch/2016-11-27/res/140962390.html"
+  },
+  {
+    "text": "",
+    "pic": "",
+    "date": "0/0/16",
+    "source": "",
+    "source_link": ""
+  },
+  {
     "text": "",
     "pic": "",
     "date": "0/0/16",
-    "source": ""
+    "source": "",
+    "source_link": ""
   },
   {
     "text": "",
     "pic": "",
     "date": "0/0/16",
-    "source": ""
+    "source": "",
+    "source_link": ""
   },
   {
     "text": "",
     "pic": "",
     "date": "0/0/16",
-    "source": ""
+    "source": "",
+    "source_link": ""
   },
   {
     "text": "",
     "pic": "",
     "date": "0/0/16",
-    "source": ""
+    "source": "",
+    "source_link": ""
   }
 ]
diff --git a/find_2ch_archive.py b/find_2ch_archive.py
new file mode 100755
index 0000000..0358307
--- /dev/null
+++ b/find_2ch_archive.py
@@ -0,0 +1,45 @@
+#!/usr/bin/python3
+import requests, re
+import sys
+
+def test_link_text(text):
+    text = text.upper()
+    words = (
+        'ЭРДОГАН',
+        'ТРИУМФАЛЬНО',
+        'ВОЕННОЕ ВМЕШАТЕЛЬСТВО',
+        'ИНДЕКСИРОВАН БЕЗУКОРИЗНЕННО',
+        'ЗАКАДЫЧНО[ПАРРОМА]',
+        'РОБОТИЧЕСКИ',
+        'ЫТРЭЧ',
+        'АКРОБАТИЧЕСКОЕ',
+        'МЕСТА(!)',
+        'СУХОГРУЗ',
+        'ГАЗ-53',
+        'ОТКЛАДЫВАЕТСЯ ЛИНЕЙНО',
+        'ДЕЖУРНЫЕ С ВЫШЕСТОЯЩИМИ',
+        'Х О Р Т И Ц А',
+        'ЯРОСЛАВСКАЯ ГУБЕРНИЯ',
+        'ПРИСУТСТВИЕ ВОЕННОЕ',
+        'ИМЕНИЯ ВЫШЕСТОЯЩИХ'
+    )
+    for w in words:
+        if w in text:
+            return True
+    return False
+
+def full_url(url):
+    return 'https://2ch.hk' + url
+
+page = 500
+board = "b"
+while page <= 600:
+    print("fetching page %d" % page)
+    url = "https://2ch.hk/%s/arch/%d.html" % (board, page)
+    r = requests.get(url)
+    for a in re.finditer(r'<a href="(/'+board+'/arch/[\d-]+/res/\d+\.html)">(.*?)</a>', r.text, flags=re.I|re.M):
+        link_href = a.group(1)
+        link_text = a.group(2)
+        if test_link_text(link_text):
+            print("[%d] %s => %s" % (page, full_url(link_href), link_text))
+    page += 1
diff --git a/img/бел.jpg b/img/бел.jpg
new file mode 100644
index 0000000..683a96d
--- /dev/null
+++ b/img/бел.jpg
diff --git a/img/дьявол.jpg b/img/дьявол.jpg
new file mode 100644
index 0000000..daa5122
--- /dev/null
+++ b/img/дьявол.jpg
diff --git a/img/зах2.jpg b/img/зах2.jpg
new file mode 100644
index 0000000..1e779fe
--- /dev/null
+++ b/img/зах2.jpg
diff --git a/img/зах3.jpg b/img/зах3.jpg
new file mode 100644
index 0000000..55e3638
--- /dev/null
+++ b/img/зах3.jpg