Dydyshko Andrey by InvokerAndrey · Pull Request #35 · introduction-to-python-bsuir-2019/PythonHomework

InvokerAndrey · 2019-11-10T16:36:53Z

Progress

[Iteration 1] One-shot command-line RSS reader.
[Iteration 2] Distribution
[Iteration 3] News caching
[Iteration 4] Format converter
* [Iteration 5] Output colorization
* [Iteration 6] Web-server

Empty project

Description of news is readable now Also added docstrings

also refactored get_feed() method in RSSreader class

added info logs also refactored --version argument also added modules docstrings

into final_task

the project has been restructured

Added cache_mews_json(), get_cached_json_news(), print_chached_feed(), print_cached_feed_json() methods Added argument --date

added class Converter in converter.py added new fonts for PDF in fonts directory does not contain images yet

added class PDFConverter

AlexeiBuzuma · 2019-11-27T19:04:25Z

+ long_description = f.read()
+
+
+setup(


Забавная ситуация вышла)
Пакет установился успешно и вполне себе успешно распарсил новости с tut.by
но по какой-то причине не работачет обычный help :)
# rss-reader --help Traceback (most recent call last): File "/usr/local/bin/rss-reader", line 8, in<module>sys.exit(main()) File "/usr/local/lib/python3.8/site-packages/app/rss_reader.py", line 17, in main arguments = ArgParser() File "/usr/local/lib/python3.8/site-packages/app/argparser.py", line 15, in __init__ self.args = self.parse_args() File "/usr/local/lib/python3.8/site-packages/app/argparser.py", line 61, in parse_args args = argparser.parse_args() File "/usr/local/lib/python3.8/argparse.py", line 1768, in parse_args args, argv = self.parse_known_args(args, namespace) File "/usr/local/lib/python3.8/argparse.py", line 1800, in parse_known_args namespace, args = self._parse_known_args(args, namespace) File "/usr/local/lib/python3.8/argparse.py", line 2006, in _parse_known_args start_index = consume_optional(start_index) File "/usr/local/lib/python3.8/argparse.py", line 1946, in consume_optional take_action(action, args, option_string) File "/usr/local/lib/python3.8/argparse.py", line 1874, in take_action action(self, namespace, argument_values, option_string) File "/usr/local/lib/python3.8/argparse.py", line 1044, in __call__ parser.print_help() File "/usr/local/lib/python3.8/argparse.py", line 2493, in print_help self._print_message(self.format_help(), file) File "/usr/local/lib/python3.8/argparse.py", line 2477, in format_help returnformatter.format_help() File "/usr/local/lib/python3.8/argparse.py", line 282, in format_help help = self._root_section.format_help() File "/usr/local/lib/python3.8/argparse.py", line 213, in format_help item_help = join([func(*args) forfunc, argsin self.items]) File "/usr/local/lib/python3.8/argparse.py", line 213, in<listcomp> item_help = join([func(*args) forfunc, argsin self.items]) File "/usr/local/lib/python3.8/argparse.py", line 213, in format_help item_help = join([func(*args) forfunc, argsin self.items]) File "/usr/local/lib/python3.8/argparse.py", line 213, in<listcomp> item_help = join([func(*args) forfunc, argsin self.items]) File "/usr/local/lib/python3.8/argparse.py", line 529, in _format_action help_text = self._expand_help(action) File "/usr/local/lib/python3.8/argparse.py", line 621, in _expand_help return self._get_help_string(action) % params ValueError: unsupported format character 'Y' (0x59) at index 26

Проблема была в атрибуте help аргумента date (написал там пример формата даты с процентами %Y%m%d, чего не стоило делать) Сейчас все работает
ну или почти все

AlexeiBuzuma · 2019-11-27T19:14:46Z

+ self.logger.info('Creating directory images')
+ os.mkdir(directory_path)
+ split_list = img_url.split('/')
+ img_name = split_list[len(split_list) - 1]


строка split_list[len(split_list) - 1] эквивалентна split_list[-1]
что значит -1 и -2 ? Магические числа. возможно есть смысл это как-нибудь отрефакторить

Сделал получше
(а может только хуже :/)
Вынес все это дело в отдельный метод и обошелся без -2

AlexeiBuzuma · 2019-11-27T19:17:45Z

+ # already cached
+ return
+ except FileNotFoundError:
+ pass


в данном случае стоило хотя бы залогировать факт возникновения такого эксепшена
а то два pass подряд в except блоках смотрится странно)

Сделано

AlexeiBuzuma · 2019-11-27T19:20:12Z

+ print('========================================================')
+
+ def to_json(self, entry):
+ """ Returns feed in JSON (actually dict()) format """


Сам факт такого док стринга должен навести на мысль, что тут что-то не так.
Эта функция не производит конвертацию в json.
Она создает словарь
название метода to_dict в данном случае подойдет намного лучше (ну или что-то другое, но точно не to_json)

Исправлено

AlexeiBuzuma · 2019-11-27T19:22:41Z

+
+ for entry in entries:
+ print('========================================================')
+ print(f'Title: {entry.title}')


А почему не печатается информация об изображениях?

Оформил вывод url изображения во всех форматах для консоли и кэша
А в pdf так вообще саму картинку иногда показывает

AlexeiBuzuma · 2019-11-27T19:23:23Z

+
+ for entry in entries:
+ feed = self.to_json(entry)
+ print('========================================================')


эти строки тут не нужны
в аутпут должен пойти только JSON (чтобы аутпут можно было распарсить другой утилитой или записать результат в файл)

то есть аутпутом должен являться валидный json

Сделяль

now image imformation prints in stdout

Fixed packages_data in setup.py Now it should work correctly on clean machine

AlexeiBuzuma · 2019-12-01T10:10:17Z

+internet connection
+* Btw i use fonts for .pdf files to avoid encoding issues,
+hope they will be installed correctly by 'pip install .'
+* P.S. Ля, ребята, 4 курс птуира, уже распред идет во всю, работа нужна кааапец


Лучше удалить эту строку :)

AlexeiBuzuma · 2019-12-01T10:12:20Z

+class RSSReader:
+ """ Reads news from RSS url and prints them """
+
+ def __init__(self, args, logger):


Советую заменить аргумент args на те три аргумента, которые используется в этом классе
то есть путь вместо этого аргумента оно принимает url, limit, date
таким образом будет больше гибкости в использовании этого класса. И интерфейс будет более понятным и прозрачным.

AlexeiBuzuma · 2019-12-01T10:18:29Z

+from app.RSSReader import RSSReader
+
+
+warnings.filterwarnings("ignore")


А для чего необходимо игнорировать варнинги?

Я использую BeautifulSoup чтобы достать ссылку на картинку из тега img src=""
А скачиваю картинку уже при помощи urllib.request
Но BeautifulSoup все равно печатает в консоль такие warnings
C:\Users\F5\Documents\GitHub\PythonHomework\venv\lib\site-packages\bs4_init_.py:371: UserWarning: "https://img.tyt.by/thumbnails/n/01/3/novostroyka_dzerzhinskogo_obrushenie_1.jpg" looks like a URL. Beautiful Soup is not an HTTP client. You should probably use an HTTP client like requests to get the document behind the URL, and feed that document to Beautiful Soup.
warnings.warn(

Added class RSSException(Exception), implemented argument --colorize Added 2 tests for RSSReader class methods

was -> args now -> limit url date etc.

AlexeiBuzuma · 2019-12-07T21:09:25Z

Не могу понять в чем дело
Пытаюсь сгенерировать новости в pdf или html формате.
Утилита сначала долго думает, потом заканчивает свою работу, но не создает никакого файла
В чем может быть причина?

InvokerAndrey · 2019-12-07T21:37:37Z

Не могу понять в чем дело
Пытаюсь сгенерировать новости в pdf или html формате.
Утилита сначала долго думает, потом заканчивает свою работу, но не создает никакого файла
В чем может быть причина?

Может дело в передаваемом пути аргументу
--to-pdf и --to-html принимают полный путь к существующей папке (без имени файла), куда будет сохранен файл
Вот скриншотики, если от них есть толк:
https://ibb.co/D7YRLDB
https://ibb.co/dcRckQF
(если не откроются напрямую (github 404), то скопируйте и вставьте ссылку на картиночку)
У меня конечно все работает, только вот толку...

now feedparser receives response from requests.get(url) added exception to write(img)

AlexeiBuzuma · 2020-02-04T08:32:56Z

Моменты, которые можно улучшить:

Класс RSSReader отвечает за то, что отвечать не должен. По названию он должен заниматсья вычиткой RSS, но по факту он занимается печатью новости в консоль и кэшированием. Необходимо немного переработать разбиение на классы.
HTML собирается "руками". На сегодняшний день есть большое количество уже готовых библиотек, которые помогут сделать это удобнее, красивее и безопаснее.
Фуникця main достаточно большая. Возможно есть смысл ее декомпозировать.
Желательно, чтобы тестов было больше :)
Варининги отключать решение не самое хорошее :) Не зря разработчики библиотеки сделали так, чтобы в какой-то конкретной ситуации был поднят вариниг. Это звоночек к тому, что что-то делается не так.

InvokerAndrey added 13 commits November 10, 2019 19:33

Init commit
64066b4
Empty project

Added argumet parser
3d5dc1d

Added rss reader class and main function
b291b7f

Implemented --json argument processing
2872722

Refactored invoke mothods
247aae4

Implemented human-readable format
4abd526
Description of news is readable now Also added docstrings

Added --version argument
f14e675
also refactored get_feed() method in RSSreader class

Implemented --verbose argument
f1f134d
added info logs also refactored --version argument also added modules docstrings

Delete rss_reader.py
5cb2846

Create README.md
83343d7

Create requirements.txt
d7eec79

Merge branch 'final_task' ofhttps://github.com/BntuHater/PythonHomework
934e2da
into final_task

Implemented [Iteration 2] Distribution
5d1778d
the project has been restructured

AlexeiBuzuma added the [Deadline] Iteration 1-2 This is a marker for first and second iterations deadline. label Nov 17, 2019

InvokerAndrey added 5 commits November 21, 2019 12:19

Implemented [Iteration 3] News caching
71ab39b
Added cache_mews_json(), get_cached_json_news(), print_chached_feed(), print_cached_feed_json() methods Added argument --date

Refactored [Iteration 3] News caching
0ae55a5

Now cached news dasplay specifically from the transmitted URL
10ab7b2

Implented --to-pdf argument
c5b01e9
added class Converter in converter.py added new fonts for PDF in fonts directory does not contain images yet

Implemented --to-pdf argument
e4cdb8b
added class PDFConverter

AlexeiBuzuma reviewed Nov 27, 2019
View reviewed changes

InvokerAndrey added 5 commits November 28, 2019 00:00

Refactored code
f4f457d
now image imformation prints in stdout

fixed rss-reader --help
304ddb9

Implemented --to-html argument
177135c

added --to-html argument
656376a

Included fonts for pdf into setup.py
47245d4
Fixed packages_data in setup.py Now it should work correctly on clean machine

implemented couple exceptions
bfe71bc

AlexeiBuzuma reviewed Dec 1, 2019
View reviewed changes

InvokerAndrey added 3 commits December 1, 2019 23:05

RSSException, --colorize, test_RSSReader
589dc8d
Added class RSSException(Exception), implemented argument --colorize Added 2 tests for RSSReader class methods

refactored args
12f9051
was -> args now -> limit url date etc.

version 0.5.0
b2fce55

InvokerAndrey changed the title ~~[WIP] Dydyshko Andrey~~Dydyshko AndreyDec 1, 2019

AlexeiBuzuma added the Hard Deadline label Dec 1, 2019

AlexeiBuzuma added the [1-2 iteration] Minimal requirements checked label Dec 7, 2019

exception and requests
e7e4e7c
now feedparser receives response from requests.get(url) added exception to write(img)

AlexeiBuzuma added [3-4 iteration] Minimal requirements checked and removed Hard Deadline [Deadline] Iteration 1-2 This is a marker for first and second iterations deadline. labels Dec 11, 2019

AlexeiBuzuma added the Reviewed label Feb 4, 2020

		from app.RSSReader import RSSReader


		warnings.filterwarnings("ignore")

Conversation

InvokerAndrey commented Nov 10, 2019• edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Progress

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

InvokerAndreyDec 1, 2019• edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

AlexeiBuzuma commented Dec 7, 2019• edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Uh oh!

InvokerAndrey commented Dec 7, 2019• edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Uh oh!

AlexeiBuzuma commented Feb 4, 2020

Uh oh!

Reviewers

Assignees

Labels

Projects

Milestone

Development

Uh oh!

2 participants

InvokerAndrey commented Nov 10, 2019•
edited
Loading

InvokerAndreyDec 1, 2019•
edited
Loading

AlexeiBuzuma commented Dec 7, 2019•
edited
Loading

InvokerAndrey commented Dec 7, 2019•
edited
Loading