СодержаниеСодержание
Содержание 2
1. Введение 3
1.1. Глоссарий 3
1.2 Описание предметной области 4
1.3 Неформальная постановка задачи 12
1.4. Обзор существующих методов решения 12
1.4.1 Microsoft Excel 12
1.4.2 Statistica 13
1.4.3 Mathematica 13
1.5. План работ 13
2. Требования к окружению 14
2.1 Требования к аппаратному обеспечению 14
2.2 Требования к программному обеспечению 14
2.3 Требования к пользователям 14
3. Архитектура системы 14
4. Спецификация данных 15
4.1 Описание формата 15
5. Функциональные требования 15
6. Требования к интерфейсу 16
7. Проект 17
7.1. Средства реализации 17
7.2. Модули и алгоритмы 18
7.3 Проект интерфейса 19
8. Реализация и тестирование 24
Заключение 31
Список литературы 32Введение1. Введение
1.1. Глоссарий
Закон Ципфа — эмпирическая закономерность распределения частоты слов естествен-ного языка: если все слова языка (или достаточно длинного текста) упорядочить по убыва-нию частоты их использования, то частота n-го слова в таком списке окажется приблизитель-но обратно пропорциональной его рангу.
Знак (категория для частотных словарей) — соглашение о приписывании чему-либо (означающему) какого-либо определенного смысла (означаемого).
Квантовая статистика — раздел статистической физики, исследующий системы мно-жества частиц, подчиняющихся законам квантовой механики.
Криминология — социолого-правовая наука, которая изучает преступность, личность преступника, причины и условия преступности, пути и средства ее предупреждения.
Кумулятивная вероятность Pk — сумма первых k вероятностей в последовательности случайных величин xi.
Метод максимального правдоподобия — в математической статистике это метод оце-нивания неизвестного параметра путем максимизации функции правдоподобия.
Мощность знака — число употреблений знака.
Ранг — порядковый номер знака в частотном словаре.
Ранговое распределение — совокупность наименований элементов, упорядоченная по частоте их появления в порядке убывания.
Статистика Бозе-Эйнштейна — квантовая статистика, применяемая к системам час-тиц с нулевым или целочисленным спином; предложена в 1924 г. индийским физиком Ш.Бозе для квантов света; развита А.Эйштейном для молекул идеальных газов. Характерная особенность — в одном и том же состоянии может находиться любое число одинаковых час-тиц (в противоположность статистике Ферми-Дирака для частиц с полуцелым спином, со-гласно которой каждое состояние может быть занято не более чем одной частицей). Для сильно разрежённых газов (как и статистика Ферми-Дирака) переходит в статистику Мак-свелла-Больцмана.
Частота встречаемости — см. Мощность знака.
Частотный словарь — набор слов данного языка (или подъязыка) вместе с информаци-ей о частоте их встречаемости. Словарь может быть отсортирован по частоте, по алфавиту (тогда для каждого слова будет указана его частота), по группам слов (например, первая ты-сяча наиболее частотных слов, за ней вторая и т. п.), по типичности (слова, частотные для большинства текстов), и т. д.
Эмпирические данные — данные, полученные опытным путем.
Юриспруденция — совокупность правовых знаний; наука ее изучающая. Юриспруден-ция как наука о государстве и праве изучает также результаты правового регулирования и выдвигает правовые идеи о возможности внесения прогрессивных изменений в механизм и способы регулирования.
1.2 Описание предметной области
Во многих областях науки таких, как физика, астрофизика, науки о земле, биология и биохимия, экология, палеонтология, компьютерные науки и информатика, техника, лесово-дство, география, экономика и финансы, социология необходим анализ эмпирических дан-ных. И во всем мире стоит проблема, как качественно провести такой анализ.
В настоящее время применяются стандартные статистические методы такие, как расчет среднего, выборочной дисперсии, критерий Стьюдента, корреляционный и регрессионный анализ. Но не всегда эти методы дают приемлемые для исследователей результаты.
В конце 40-х годов нашего столетия Дж. Ципф, собрав огромный статистический мате-риал, попытался показать, что распределение слов естественного языка подчиняется одному простому закону, который можно сформулировать следующим образом: если к какому-либо достаточно большому тексту составить список всех встретившихся в нем слов, затем распо-ложить эти слова в порядке убывания частоты их встречаемости в данном тексте и пронуме-ровать в порядке от 1 (порядковый номер наиболее часто встречающегося слова) до r, то для любого слова произведение его порядкового номера (ранга) в таком списке и частоты его встречаемости в тексте будет величиной постоянной, имеющей примерно одинаковое значе-ние для любого слова из этого списка. Аналитически закон Ципфа может быть выражен в следующем виде:
,
где f — частота встречаемости слова в тексте, r — ранг (порядковый номер) слова в списке, c — эмпирическая постоянная величина.[5]
Данное распределение чаще всего рассматривается в логарифмических координатах:
где ?r — частота встречаемости слова в тексте, r — ранг слова в списке.
Закон Ципфа был открыт экспериментально. Позднее Б. Мандельброт предложил его теоретическое обоснование. Он полагал, что можно сравнивать письменный язык с кодиро-ванием, причем все знаки должны иметь определенную «стоимость». Исходя из требований минимальной стоимости сообщений, Б. Мандельброт математическим путем пришел к ана-логичной закону Ципфа зависимости:
fr ? = c ,
где ? – величина (близкая к единице), которая может изменяться в зависимости от свойств текста.
Дж. Ципфом и другими исследователями было установлено, что такому распределению подчиняются не только все естественные языки мира, но и другие явления социального и биологического характера: распределения ученых по числу опубликованных ими статей, го-родов США по численности населения, населения по размерам дохода в капиталистических странах, биологических родов по численности видов и др.
В 2007 году группа американских ученых опубликовала статью «Power-law distributions in empirical data» [1], в которой приведены результаты исследований в следующих областях:
1. Частота возникновения уникальных слов в романе «Моби Дик» (Newman, 2005).
2. Количество узлов в сети Интернет на уровне автономных систем на май 2006 (Holme et al., 2007).
3. Количество звонков, полученных клиентами междугородной телефонной связи AT&T‘s в США в течение одного дня (Abello et al., 1998; Aiello et al., 2000).
4. Интенсивность войн от 1816-1980 в зависимости от человеческих потерь на 10 000 населения враждующих наций (Roberts и Turcotte, 1998; Small and Singer, 1982).
5. Серьезность террористических атак во всем мире с февраля 1968 до июня 2006, из-меренная в количестве смертей (Clauset et al., 2007).
6. Количество разновидностей рода млекопитающих, в том числе и вымерших. Список литературы
[1] Clauset A., Shalizi C.R. and Newman M.E.J. Power-law distributions in empirical data. 2007.
[2] Бейли Н. Математика в биологии и медицине, http://www.biometrica.tomsk.ru/beili.htm
[3] Васильев А.Э. Курс общей физики. Квантовая физика.- СПб.: СПбГУ
[4] Гузев М.А., Морозов Н.А., Никитина Е.Ю. Применение метода квантовой статистики в криминологии, 2007г.
[5] Данилевский И.В. Закон Ципфа-Парето, новые квантовые технологии и философия бессознательного, 2007г.
[6] Кленин А.С. Методические указания по подготовке и защите отчетов, 2002г.
[7] Лабор В.В. С#: Создание приложений для Windows. - Мн.: Харвест, 2003. -384 с.
[8] Маслов В.П. Квантовая экономика. Рос. академия наук. -2-е изд., доп. - М. : Наука, 2006. - 92 с.
[9] Шилдт Г. Полный справочник по С# : Пер. с англ. - М. : Издательский дом "Вильяме", 2004. - 752 с.
(Smith et al., 2003).ЛитератураСписок литературы
[1] Clauset A., Shalizi C.R. and Newman M.E.J. Power-law distributions in empirical data. 2007.
[2] Бейли Н. Математика в биологии и медицине, http://www.biometrica.tomsk.ru/beili.htm
[3] Васильев А.Э. Курс общей физики. Квантовая физика.- СПб.: СПбГУ
[4] Гузев М.А., Морозов Н.А., Никитина Е.Ю. Применение метода квантовой статистики в криминологии, 2007г.
[5] Данилевский И.В. Закон Ципфа-Парето, новые квантовые технологии и философия бессознательного, 2007г.
[6] Кленин А.С. Методические указания по подготовке и защите отчетов, 2002г.
[7] Лабор В.В. С#: Создание приложений для Windows. - Мн.: Харвест, 2003. -384 с.
[8] Маслов В.П. Квантовая экономика. Рос. академия наук. -2-е изд., доп. - М. : Наука, 2006. - 92 с.
[9] Шилдт Г. Полный справочник по С# : Пер. с англ. - М. : Издательский дом "Вильяме", 2004. - 752 с.
|
|
