СодержаниеВВЕДЕНИЕ.........................
1. ОПИСАНИЕ ПРЕДМЕТНОЙ ОБЛАСТИ.............
1.1. Исследование объекта информатизации????........
1.2. Исследование существующей автоматизированной системы.............................
1.3. Обоснование выбора методов увеличения производительности существующей системы сбора статистической информации о пользователях Интернет-сайтов...........
1.4. Обоснование выбора методов параллельного программирования.......................
1.5. Выбор метода оценки производительности системы сбора информации о пользователях Интернет-сайтов..............
Выводы.........................
2. АРХИТЕКТУРА СИСТЕМЫ СБОРА СТАТИСТИЧЕСКОЙ ИНФОРМАЦИИ О ПОЛЬЗОВАТЕЛЯХ ИНТЕРНЕТ САЙТОВ......
2.1. Схема взаимодействия процессорных модулей......
2.2. Инфологическая модель системы сбора статистической информации о пользователях Интернет сайтов............
2.3. Архитектура сервера-интерфейсов и сервера-хранилищ...
Выводы.........................
3. РЕАЛИЗАЦИЯ СИСТЕМЫ СБОРА СТАТИСТИЧЕСКОЙ ИНФОРМАЦИИ О ПОЛЬЗОВАТЕЛЯХ ИНТЕРНЕТ-САЙТОВ.........
3.1. Реализация обмена между процессорными модулями...........................
3.2. Реализация подсистем на серверах-хранилищ и серверах-интерфейсов.........................
3.3. Организация взаимодействия подсистем внутри серверов..
3.4. Реализация хранилища данных............
Выводы.........................
4. АНАЛИЗ КАЧЕСТВА РАЗРАБОТАННОГО ПО ........
4.1. Результаты тестирования производительности одиночного процессорного модуля.......................
4.2. Расчет ожидаемых показателей производительности системы в целом........................
4.3. Предложения по эксплуатации и совершенствованию качества ПО.........................
Выводы.........................
5. ЭРГОНОМИКА СОЗДАННОГО ПРОГРАММНОГО ПРОДУКТА.............................
Выводы........................
6. ЭКОНОМИКО-ПРАВОВЫЕ ВОПРОСЫ ИСПОЛЬЗОВАНИЯ РАЗРАБОТАННОГО ПРОДУКТА..................
6.1. Правовые вопросы применения разработанной программы
6.2. Экономические аспекты разработки проекта.......
Выводы.........................
ЗАКЛЮЧЕНИЕ.........................
БИБЛИОГРАФИЧЕСКИЙ СПИСОК................
ГЛОССАРИЙ.........................
СПИСОК АБРИВИАТУР.....................
ПРИЛОЖЕНИЯ........................
П.1. Описание презентационного видео-ролика..........
П.2. Инструкция по эксплуатации системы сбора статистической информации о пользователях Интернет-сайтов.............
П.3. Техническое задание на разработку системы сбора статистической информации о пользователях Интернет-сайтов......
П.4. Листинг программных модулей сервера-интерфейсов.......
П.5. Листинг программных модулей сервера-хранилищ.........
П.6. Акт приемки передачи.....................
П.7. Акт внедрения......................ВведениеВ последние годы наметилась устойчивая тенденция интеграции России в мировое информационное сообщество. Технологии, используемые российскими компаниями, не уступают западным. Данное утверждение справедливо не только применительно к информационным технологиям, но и к экономическим принципам функционирования предприятия. Основными нововведениями являются: во-первых, глубокий анализ ситуации на рынке, предшествующий активным действиям управления; во-вторых, проведение рекламных компаний ориентированных на определенный круг покупателей; и в-третьих, постоянный мониторинг рынка после внедрения проекта.
Отдельного разговора заслуживает Интернет-бизнес. Если еще несколько лет назад этот вид бизнеса не воспринимался всерьез, то в последнее время отмечается всплеск интереса к нему. В настоящий момент разгорелась настоящая война за пользователей российского Интернета.
В условиях жесткой конкуренции, компании вынуждены тратить огромные средства на широкомасштабные маркетинговые исследования. Целью данных исследований является изучение потребностей пользователей глобальной сети и оперативное реагирование на изменение этих потребностей.
При изучении Интернет-рынка, не обойтись без специализированных систем. Такие системы должны собирать информацию о Интернет-среде (ее пользователях) и проводить необходимый анализ собранных данных.
Подобная система (система сбора статистической информации о пользователях Интернет сайтов) была разработана для Хакасского Государственного университета им. Н.Ф. Катанова. За полтора года своего существования охвачены практически все Интернет-ресурсы нашего региона и несколько из других регионов. Изначально система была задействована для анализа посещаемости только web-сайта университета. На данный момент в базе данных системы зарегистрировано свыше ста сайтов, и их количество увеличивается с каждым месяцем.
Процесс эксплуатации показал, что предполагаемая во время создания системы интенсивность входного потока данных оказалось значительно ниже реальной. Следствием этого явилось падение производительности при пиковых нагрузках.
Актуальность.
Увеличение нагрузки на систему сбора статистической информации о пользователях Интернет-сайтов предполагает наличие у данной системы определенного запаса производительности. Существующая система работает на пике своей производительности. Потенциальное увеличение нагрузки повлечет за собой возможные сбои и отказы в работе. Выходом из сложившейся ситуации является модернизация системы.
Цели и задачи работы.
Главной целью исследования является определение методов повышения производительности системы и их реализация. Для достижения поставленной цели сформулированы и решены следующие задачи:
1. изучен объект информатизации и существующая система;
2. изучены основные принципы высокопроизводительных систем;
3. изучены методы реализации высокопроизводительных систем;
4. разработана архитектура новой системы;
5. реализована система, опираясь как на теоретические основы, так и на практические наработки других разработчиков.
Объект и предмет исследования.
Объектом информатизации являются маркетинговые и социологические исследования в сети Интернет. Предметом информатизации является процесс сбора статистической информации о web-сайтах и посещающих их пользователях Интернет.
Использованные методы.
Во время разработки системы сбора статистической информации о пользователях Интернет-сайтов были использованы следующие методы:
1. Анализ объекта информатизации.
2. Экспериментальное исследование использованного программного обеспечения.
3. Методы параллельного программирования.
4. Элементы теории массового обслуживания.
Гипотеза исследования.
Результатом модернизации станет увеличение производительности системы сбора статистической информации о пользователя Интернет-сайтов. Коэффициент эффективности материальных вложений в единицу производительности увеличится существенным образом.
Новизна работы.
В процессе модернизации системы сбора статистической информации были использованы новейшие модели программирования и концепции построения масштабируемых систем. С большой степенью уверенности можно говорить об отсутствии аналогов разработанной системы в нашем регионе. Производительность системы, а главное ее масштабируемость, сравнимы с лучшими российскими аналогами, а некоторые из них даже превосходит. Например, систему Rambler Top100.
Практическая значимость.
Проведенные исследования имеют практическую значимость, поскольку на их основе была реализована система сбора статистической информации. Данная система может быть использована как инструмент сбора данных для различных систем анализа. На этапе разработки были использовано стандартное программное обеспечение (Linux, Apache). Тестирование показало, что на базе стандартного программного обеспечения возможно построение высокопроизводительной системы. Вследствие этого можно говорить о практической значимости исследований для других разработок в области высокопроизводительных систем.
Что выносится на обсуждение и защиту.
На обсуждение и защиту выносятся:
1. Архитектура процессорных модулей системы.
2. Способ взаимодействия процессорных модулей.
3. Реализация программных частей системы.
4. Оценка прогнозируемой производительности.
Реализация результатов работы.
Модернизированная система прошла тестирование и апробацию в Хакасском Государственном университете им. Н.Ф. Катанова.
Структура и объем работы.
Дипломная работа выполнена на 61-й странице, содержит 15 рисунков и 7 таблиц. Работа состоит из введения, шести глав и заключения
В первом разделе описана предметная область. В этом разделе исследованы объект информатизации и существующая система. Здесь же описаны теоретические основы, на которых в дальнейшем будет строиться разработка. Исследованы принципы построения высокопроизводительных и параллельных систем, рассмотрены элементы теории массового обслуживания.
Во втором разделе разработана архитектура системы сбора статистической информации. Описаны схема взаимодействия процессорных модулей, инфологическая модель, архитектуры сервера-интерфейсов и сервера-хранилищ.
В третьем разделе описаны аспекты реализации системы. Реализованы: обмен между процессорными модулями; подсистемы серверов; обмен информацией между подсистемами внутри сервера; хранилище данных.
В четвертом разделе описаны результаты внедрения системы. Описаны процесс внедрения системы в Хакасском Государственном университете им. Н.Ф. Катанова, используемая конфигурация. Выявлены недочеты в архитектуре и реализации. Поставлены задачи на будущее. Также в данном разделе описаны процесс и результаты тестирования одиночного процессорного модуля. На заключительном этапе произведен анализ прогнозируемой производительности системы с заданным количеством процессорных модулей и с заданной интенсивностью входного потока информации.
В пятом разделе исследованы аспекты охраны труда при использовании разработанной системы сбора статистической информации. Разработаны принципы размещения, как процессорных модулей системы, так и места администратора системы.
В шестом разделе исследованы экономико-правовые аспекты использования разработанной системы. Исследовано правовое поле Российской Федерации по отношению к авторскому праву на программные продукты. Исследованы аспекты применения в разработке продуктов третьих фирм, и влияние данного факта на дальнейшее использование разработанной системы. Исследованы экономические аспекты разработки системы, обоснована экономическая эффективность модернизации существующей системы.
В заключении сформулированы основные выводы. Описаны результаты, полученные в процессе дипломного проектирования.
Приложения включают в себя документированный листинг исходных кодов сервера-интерфейсов, сервера-хранилищ и сопутствующих программ, техническое задание, руководство пользователя и администратора системы, акт приемки-передачи, акт внедрения, описание презентационного видеоролика.Литература1. Федор Вирин. Возможности Интернет-статистики gs.spylog.ru/articles.phtml?id=19&type=0
2. SpyLOG: статистика декабрьского безумия
http://www.oborot.ru/article/114/24
3. SpyLOG eCommerce - опрос руководителей магазинов http://www.oborot.ru/article/96/24
4. Маркетинговые исследования в Интернет
http://internet.delo.ru/marketing/imr.asp
5. Методы привлечения клиентов в Интернет-магазин
http://www.oborot.ru/level2/5/4
6. SpyLOG - мы тебя успели позабыть
http://www.oborot.ru/article/181/6
7. Postel, J., "Internet Protocol", RFC 768, USC/Information Sciences Institute, September 1981.
http://www.faqs.org/rfcs/rfc791.html
8. Hypertext Transfer Protocol -- HTTP/1.0, T. Berners-Lee MIT/LCS, R. Fielding UC Irvine, H. Frystyk MIT/LCS May 1996
http://www.faqs.org/rfcs/rfc1945.html
9. Hypertext Transfer Protocol -- HTTP/1.1, R. Fielding UC Irvine, J. Gettys, J. Mogul DEC, H. Frystyk, T. Berners-Lee MIT/LCS, January 1997
http://www.faqs.org/rfcs/rfc2068.html
10. Статистические данные о российском Интернет
http://gs.spylog.ru/index.phtml
11. Техническая документация по PostgreSQL
http://techdocs.postgresql.org/
12. Холден Г., Уэлс Н., Кэллер М., Apache Server в коментариях: Издательство "ДиаСофт", 2000. - 480 с.
13. Шевкопляс Б. В. Микропроцессорные структуры. Инженерные решения. Дополнение первое: Справочник. - М.: Радио и связь, 1993. - 256 с.
14. Много процессорные ЭВМ и методы их проектирования/ Б. А. Бабаян, А. В. Бочаров, В. С. Волин и др. - М.: Высш. шк., 1990. - 143 с.
15. Cory Quammen. Introduction to programming shared-memory and distributed-memory parallel computers // Crossroads the ACM student Magazine, Spring 2002. - C.16 - 22
16. Гнеденко Б.В. Курс теории вероятностей - М.: Наука 1965. - 400с.
17. Таха Хемди А. Введение в исследование операций, 6-е издание. :Пер. с англ. - М.: Издательский дом "Вильямс", 2001. - 912с.
18. Ахо А., Хопкрофт Д., Ульман Д. Структуры данных и алгоритмы - М. : Издательский дом "Вильямс", 2000. - 384 с.
19. Ф.А. Новиков. Дискретная математика для программистов - СПб.: Питер, 2001. - 304с.
20. Якубайтис Э. А., Информатика - Электроника - Сети. - М.: Финансы и статистика, 1989. - 200 с. (про транспортный уровень)
21. Вишневский А. В., Сетевые средства Windows 2000 - С-Петербург: Питер, 2000.
22. Postel, J., "User Datagram Protocol", RFC 768,USC/Information Sciences Institute, September 1981.
http://www.faqs.org/rfcs/rfc768.html
23. OSI Connectionless Transport Services on top of UDP Version: 1, C. Shue Open Software Foundation, W. Haggerty Wang Laboratories, Inc. K. Dobbins Cabletron Systems, Inc., June 1991
http://www.faqs.org/rfcs/rfc1240.html
24. Postel, J., "Transmission Control Protocol", RFC 793,USC/Information Sciences Institute, September 1981.
http://www.faqs.org/rfcs/rfc793.html
25. Барфилд Э., Уолтерс Б. Программирование "клиент-сервер" в локальных вычислительных сетях - М.: Информационно-издательский дом "Филинъ", 1997. - 424 с.
26. Аксенкин М. А., Целобенок О.Н., Язык С. - Мн.: Унiверсiтэцкае, 1995. - 302 с.
27. Дерк Л., С и С++. Справочник / Пер. с нем. - М.: Восточная Книжная Компания, 1997. - 592 с.
28. Джамса К., 1001 совет по С/С++ /Пер. с англ. - М., Издательство Март, 1997, 784 с.
29. Подбельский В.В., Язык Си++: Учеб. Пособие.- 2-е изд., перераб. И доп. - М.: Финансы и статистика, 1996.- 560 с.
30. Руководство программиста для Linux
http://www.opennet.ru/docs/RUS/Lpg/lpg.txt.html
31. Бхумип Хаснабиш Серверная комната изнутри
http://www.osp.ru/lan/1997/07/36_print.htm
32. Сергей Шашлов. Эргономика работы за компьютером - субъективные заметки, v. 2.0 beta
http://www.ixbt.com/peripheral/ergonomic.html
33. Романов Ф. И., Шахнов В. А., Конструкционные системы микро- и персональных ЭВМ - М.: Высш. шк., 1991. - 272 с.
34. ГРАЖДАНСКИЙ КОДЕКС РФ Часть первая (с дополнениями на 12 августа 1996 года)
http://www.hro.org/docs/rlex/gk/
35. Конституция Российской Федерации. - М.: К65, Новая школа, 1995. - 64 с.
36. Заседание семинара Сравнительный анализ основных лицензий Open Source: GPL, LGPL, BSD, MIT, Mozilla public license, Apache software license.
www.altlinux.ru/index.php?module=press&action=showfull&newsid=33
37. Free Software Fundation, GNU General Public License, 15 July 2001
http://www.gnu.org/copyleft/gpl.html
38. Bryan Stroube. Desktop Open Source// Crossroads the ACM student Magazine, Summer 2002. - C.18 - 19
39. Шкарина Л.Н., Методические рекомендации по выполнению научно-исследовательских работ для студентов информационных специальностей университета - Вестник Хакасского Государственного университета им. Н.Ф. Катанова. Выпуск 4. Серия 1: Информатика - Абакан: Издательство Хакасского Государственного университета им. Н.Ф. Катанова, 2001. - 251 с.
|
|
