Получение и сохранение данных на большом промежутке времени

← →
Kolan © (2006-04-05 12:49) [0]

Здравствуйте,
Ситуация такая: Я получаю от устройства 1 число каждую секунду. И срою график Это чило - время. Необходимо иметь возможность сохранить этот график, загрузить его или его часть, произвести обработку. Вроде ничего сложного я такое делал, но работа может вестись ГОДАМИ. Незнаю как к этому подойтй.

База данных? Может архиворивание? Как вы считаете?

← →
Думкин © (2006-04-05 12:52) [1]

В сутках всего 86400 секунд. На каждые сутки - файл.
В году - около 30 млн. секунд.
Объемы не такие уж и ужасные.

← →
Kolan © (2006-04-05 13:00) [2]

481,201171875MB в год.... С этим что - то надо делать.
Сжимать так как усторойств штук 50.
И чила наверно Deouble надо хронить...

На каждые сутки - файл. В принципе ничего вариант. Мня устраивает тк с базами я не в ладах.

← →
boriskb © (2006-04-05 13:02) [3]

Kolan © (05.04.06 13:00) [2]
481,201171875MB в год

У меня сейчас база 15 гиг
И ничего. Работаем

← →
KSergey © (2006-04-05 13:04) [4]

В любом случае архивирование - обязательно.
"Ничто не вечно под Луной..."

← →
KSergey © (2006-04-05 13:11) [5]

> Kolan © (05.04.06 13:00) [2]
> 481,201171875MB в год.... С этим что - то надо делать.

Как трактовать сию цифру?
У мня получилось при условии 8 байт на число (double)
8б * 86400сек * 366дней = 252979200байт = ~250Гб

Винчестеры более 200Гб уже широко доступны. Кроме того - стриммеры и прочая мишура для архивации. В любой БД объем будет, понятно, больше - накладные расходы.

← →
calm © (2006-04-05 13:20) [6]

> Мня устраивает тк с базами я не в ладах.

Так может сначала поладить с БД? Тем более студенческие годы располагают к образованию.

← →
Anatoly Podgoretsky © (2006-04-05 13:27) [7]

KSergey © (05.04.06 13:11) [5]
У тебя в байте один килобайт?

← →
KSergey © (2006-04-05 13:27) [8]

Correction for

> KSergey © (05.04.06 13:11) [5]

252979200 байт = ~250 Мб

Как мня правильно поправили боевые товарищи - это всего лишь мегабайты! Так это же ваще смешно :)

← →
Труп Васи Доброго © (2006-04-05 14:05) [9]

KSergey © (05.04.06 13:27) [8]
Так это же ваще смешно :)
Да к тому же надо сначала трезво оценить сколько (по времени) вообще требуется хранить эти данные, а то может статься что они через год мякго говоря потеряют актуальность, а человек будет выпендриваться и создавать системы вечного хранения мусора.

← →
calm © (2006-04-05 14:27) [10]

> сколько (по времени) вообще требуется хранить эти данные

Иногда заказчик желает хранить инфу гораздо дольше, чем они актуальны для технологического процесса или анализа решений. А все для того, чтобы при случае грамотно произвести "разбор полетов" :) , опираясь так сказать на объективные данные.

← →
КаПиБаРа © (2006-04-05 14:30) [11]

На большом промежутке времени мы сохраняем максимальное, минимальное и среднее значение параметра за сутки.

← →
Jeer © (2006-04-05 14:42) [12]

КаПиБаРа © (05.04.06 14:30) [11]

Иногда имеет смысл сохранять максимальную производную.

← →
Kolan © (2006-04-05 14:44) [13]

Как трактовать сию цифру?

А время ты не забыл? У точки 2 координаты. Базу не хочется делать еще и потому, что придется движок за обой таскать. Наверно остановлюсь на ворианте архивирования данных за день или за пол дня...

Труп Васи Доброго © (05.04.06 14:05) [9]
Нужно им... С атомными эл связано...

← →
Jeer © (2006-04-05 14:51) [14]

Опять атомный станции и дилетанты ?
Мало им одного чюрнобыля.

← →
KSergey © (2006-04-05 14:52) [15]

> Kolan © (05.04.06 14:44) [13]
> Как трактовать сию цифру?
> А время ты не забыл? У точки 2 координаты.

А как же это:

> Я получаю от устройства 1 число каждую секунду.

???
По условиям задачи нам необходима максимум одно время - время начала потока. В крайнем случае - время начала каждого куска, если уж принято решение бить по кускам (в обще-то правильное).
Так что не надо выдумывать того, в чем нем необходимости :)

> Базу не хочется делать еще и потому, что придется движок
> за обой таскать.

Систему поставил - и она работает. К стати, сама архивируется, архивируется на резервные носители и все такое.
Так нет, мы будем изобретать свой велосипед...

Впрочем, если условия именно такие - может и правда файл не плох, выборка пойдет из него быстрее.

← →
KSergey © (2006-04-05 14:53) [16]

> Kolan © (05.04.06 14:44) [13]
> Нужно им... С атомными эл связано...

Бл@.....

← →
КаПиБаРа © (2006-04-05 14:56) [17]

Могу предложить такую схему
Хранение даных за час в файлах
Корневой каталог
подкаталог год yyyy
подкаталог месяц mm
подкаталог день dd
файл с данными за час hh размером ~ 28 кБ

Данные в файле можно и заархивировать.

Быстрый и удобный доступ к любому промежутку времени.

мы делали подобную систему, архивы хранили. Вот несколько полезных (по-моему) подходов:
- можно сделать ротируемую ситему на N файлов. Когда файлов накапливается больше N, то самый первый начинают затирается новым и тд
- если заранее не известно сколько данных в файл пишется за опред. промежуток времени, то можно ограничить запись в один файл не временными рамками (сутки, час и тп), а объемом файла, а можно и тем и тем.
- можно наладить разветвленную систему каталогов для облегчения поиска. путь к файлу может выглядеть как Год/месяц/день/час и тп.
- автоматическое резервное копирование/архивирование/очистку от старого несложно сделать, но может оказаться полезным. Самое простое - с помощью bat файла и службы, регулярно запускающий этот файл.
- для облегчения автоматического поиска внутри самого файла можно писать туда инфу в определенном формате, а не просто сыпать числа
- иногда полезно иметь логирование на разных уровнях - например 1- самый неподробный лог, 2 - подробнее и тд.. до 10ти - самый подробный. Опыт показыват, что больше 10ти уровней обычно уже не используется.

> КаПиБаРа © (05.04.06 14:56) [17]
> Могу предложить такую схему
> Хранение даных за час в файлах

Не оптимально слишком, на мой взгляд.
Какой у нас там нынче размер кластера?
Видимо сутки - все же более разумно, раз уж на года замахиваются

KSergey © (05.04.06 14:53) [16]
Чтобы небыло б.. поясняю. Наша фирма поставляет некую аппаратуру для станций. Я пишу софт для демонстрации возможностей аппаратуры.
А к станции ессесно постаронних не пускают. Пишут сами...

> пишу софт для демонстрации возможностей аппаратуры.
> А к станции ессесно постаронних не пускают. Пишут сами...

Так зачем тебе годы тогда?

Рамиль © (05.04.06 15:08) [22]

Они эту прогу будут демострировать годы, в качестве экранной заставки.
Ну и попутно, какие-то полезные операции она же должна выполнять.
Будут писать в логи значение сетевого напряжения, например.
:)

Извените за молчание..

КаПиБаРа © (05.04.06 14:56) [17]
data © (05.04.06 14:58) [18]
Благодарю. За ответы. скорее всего так и поступлю, но буду сохранять за сутки...

Рамиль © (05.04.06 15:08) [22]
Ну разные задачи есть. Где-то просто демонстрация. Где-то проведение исследований, которые потом используем мы, для контроля свойей продукции. Нужно это в ообщем...

Кстати незнаю как у них там обсостоит дело с программами на станции, но видел одну их программу... Явно на Delphi. Там например есть кнопка с именем: "BitBtn", а пункты меню выступают в кач. тул бара. + Что -то не так нажав я начал получать по 3 окна с ошибкой в секунду... Хорошо что на <Alt>+<F4> я нажимаю быстро... :)

Получение и сохранение данных на большом промежутке времени Найти похожие ветки