I. Вступление
Интернет всё больше и больше входит в нашу жизнь. Мы часто
сидим и нажимаем кнопку "обновить", ожидая новых данных на заветной страничке.
Но ведь надо и работать когда-то, поэтому задачу мониторинга странички с
новостями мы поручим Delphi, а сами будем работать (или заниматься другим
полезным делом – жизнь ведь прекрасна). Если что – всё будет скачано и
представлено в удобном для нас виде.
В качестве "подопытного кролика" я выбрал многим известный
цитатник рунета – bash.org.ru. Программа будет забирать с главной странички
цитаты, и складывать их в базу. А с цитатами в базе можно делать что угодно.
Эта статья отличается от моих других тем, что я даю сразу
готовое приложение и комментирую интересные моменты.
II. Общие замечания
Внешний интерфейс программы не претендует на награду. Я над
ним особенно не задумывался, так как основная задача в другом. Интерфейс
сделаете сами, если он вам нужен.
Это приложение построено по модульно-объектной технологии (мне
больше нравится название "Разделяй и властвуй"). То-есть, для каждой сущности
есть объект, и эти объекты взаимодействуют между собой. Так как связи и
зависимости между ними минимальные, то можно легко их заменять и модифицировать.
Чтобы легче было искать место в коде, на которое я ссылаюсь, я
использую специальные маркеры. В тексте статьи они выглядят так {текст}.
Чтобы найти код, который соответствует ему, нужно сделать следующее. Перейти в
Delphi, выбрать в меню View » ToDo List. Найти там
соответствующий текст и кликнуть дважды. А по тексту программы вы увидите их как
{ TODO -oVadim -cView : текст }.
III. Класс базы данных (БД)
Обзор класса
Начнём разбор с класса, который обслуживает базу данных.
Только объекты этого класса имеют доступ к базе данных, только они знают как с
ней работать. Остальные классы не должны ничего знать о базе данных.
В самом верху юнита BBasa объявлен абстрактный класс
TBBasaCustom {B1}. Этот класс имеет только один метод для
добавления цитат в базу, да и тот абстрактный. Рабочий класс будет наследоваться
от него. Это сделано специально, чтобы из того объекта, который будет добавлять
данные, нельзя было бы обратиться к другим методам, и ему было всё равно, какие
ещё методы есть у класса. Они ему не нужны. Это выглядит дивно, но позже станет
понятно.
В этом же юните объявлен класс TBBasa {B2}.
Этот класс наследуется от нашего класса и реализовывает всю нужную
функциональность, а именно:
Открывает БД при своем создании. Если файл базы отсутствует –
он его создаст. {B6}
Умеет добавлять цитату, так как реализовывает абстрактный
метод Add. {B3}
Умеет найти в базе цитату по номеру – метод GetQuotes.
{B4}
Посмотрите внимательно на public методы. Ни один из них не
расскажет о том, как и где хранятся данные. Поэтому, никто не мешает переписать
методы и хранить цитаты в текстовом файле или нескольких файлах. Остальной код
этого никак не почувствует. Ощущаете силу такого подхода к программированию?
В качестве базы данных я использую SQLite.
Рассмотрим некоторые методы детальнее.
Метод Add
Этот метод {B3} получает два параметра –
Number и Text – соответственно номер цитаты и её текст. Перед добавлением
вначале проверяет, а нет ли уже цитаты в базе. Для этого он делает запрос на
выборку цитат с заданным номером. Если цитата не найдена (количество найденных
строк равно нулю), то добавляем в базу. Конечно, теоретически может быть, что в
базе будет несколько записей с одним номером (программная ошибка, к примеру), но
я не усложняю. В конце метода есть вызов SendCommand. Это оповещение интерфейса
о том, что есть новые цитаты. Как это работает – будет рассказано ниже.
Метод GetQuotes
Этот метод {B4} по заданному номеру цитаты
находит её и возвращает, предварительно удалив спецсимволы. Если цитата не
найдена – возвращает пустую строку (оно логично). Интересно также то, что этот
метод обращается к другому, который запрашивает "сырой текст" из базы.
IV. Класс потока
Обзор
Данный класс занимается основной работой – он скачивает
главную страничку, парсит, и отдаёт поштучно цитаты объекту БД. Вся реализация
находится в юните BTread.
Как видно из кода, у этого класса только три публичных метода
– конструктор, деструктор и запрос на обновление. А больше ему и не надо.
Рассмотрим как всё это работает. Через конструктор
{T1} при создании класса мы передаём ему ссылку на объект БД, чтобы
потом иметь возможность добавлять цитаты.
После того, как поток будет запущен, начинает выполняться
метод Execute {T2}. Он предельно прост – пока нас не завершили,
повторять: скачать, распарсить и подождать. Все действия специально разделены,
чтобы быть независимыми.
Скачивание страницы
Метод скачать страничку GetText {T3} просто
возвращает в виде строки содержимое страницы. Если вам по каким-то
идеологическим причинам не нравятся компоненты Indy, просто замените здесь на
свой код, и всё. Сам метод хорош ещё тем, что показывает, как в RunTime
создавать компонент и назначать методы.
Парсинг
Вытягивать цитаты {T4} наиболее просто с
помощью регулярных выражений. Откуда я взял регулярное выражение – не
спрашивайте. Учитесь сами его составлять. Больше в этом методе ничего
интересного.
Сон
Между скачиванием цитат надо делать паузу. Так как мы
находимся в потоке, то свободно можем писать Sleep. Никакого "подвисания
интерфеса" не будет. Но эта функция плоха тем, что поток сложно пробудить из
такого сна. И если мы захотим в этот момент закрыть программу, то нам придётся
ждать, пока функция не отработает.
Именно по этой причине я использую немного другой метод
{T5}. Я использую функцию WaitForSingleObject, которая, в
отличие от Sleep, может также завершиться, если "сработал объект-событие",
который ей передали. Сработал – это перешёл с SetEvent.
Поэтому, если нужно обновить раньше времени или завершить
работу потока, мы "включаем событие" и метод Sleep завершается досрочно.
V. Основное приложение
Обзор
Теперь, когда мы рассмотрели все вспомогательные объекты, пора
их объединить и заставить работать.
Так как основная функциональность у нас уже реализована, то
код предельно прост. Первым делом мы создаём два объекта – один для БД, другой
для потока. Делаем это в OnCreate формы {M2}. В OnDestroy
соответственно уничтожаем. Обратите внимание на последовательность создания и
удаления. Она важна.
Кнопка "обновить" тоже не должна вызвать осложнений. Она
просто вызывает метод Update у объекта потока.
Обратная связь
Помните вызов SendCommand у объекта БД? Эта функция находится
в юните BMessage. Сама она очень проста – она просто вызывает WinAPI функцию
SendMessage для посылки сообщения главной форме, а хендл главной формы берётся
из Application.MainForm.Handle. Главная форма принимает эти сообщения, и уже
самостоятельно обращается к нужным объектам.
Рассмотрим для примера передачу сообщения о новой цитате.
После того, как цитата была сохранена, посылается сообщение MY_NEW_QUOTES и в
качестве параметра передаётся номер цитаты. Второй параметр нам не нужен, и мы
пишем туда 0.
В класса формы объявлен метод {M7} для
перехвата этого сообщения. Получив его, мы обращаемся к объекту БД, по
номеру получаем само сообщение и добавляем в Memo.
VI. Выводы
Конечно, это очень сырой пример, и на выставку он не годится.
Но он хорош тем, что является заготовкой для различных программ подобного типа –
собирать новости, выкачивать галереи картинок, собирать данные.
И помните, в некоторых случаях подобные программы могут не
дружить с законом! Будьте внимательны, и не нарушайте.
Файлы к статье
здесь
| 
