Как эффективнее обрабатывать большой файл по кускам?

Posted by obzor under Win Api

Есть файл во много раз больший оперативной памяти. Собираюсь реализовать алгоритм, который загружает часть файла, помещающуюся в оперативную память и там обрабатывает. Как сделать это с максимальной эффективностью по времени на C++ под Windows? Mapping файла на оперативную память? Если так. То как определить размер куска, который поместится в оперативную память?

waleri

Читайте файл кусками, кратными 256К и без буферизации (FILE_FLAG_NO_BUFFERING) и в память, которая закреплена в памяти (не подкачивается).

R71MT

В любом случае — грузить частями, и лучше создать для них несколько отдельных потоков Thread. Причём кол-во тредов не должно превышать кол-во ядер у процессора, х2. Иначе, если у проца например 4-ядра, а приложение будет 10-12 поточное, то весь профит уйдёт на переключение этих потоков.

Mapping файла не имеет смысла, если между частями не нужна синхронизация, т.е. они не должны обмениваться данными. В общем случае я бы сделал такой алго:

1. GetProcessAffinityMask() — получили кол-во ядер CPU.
2. Умножить пункт 1 на 2..
3. CreateThread() — создать кол-во потоков по результату пункта 2.
4. GetFileSizeEx() — узнать размер файла.
5. Разделить размер файла на кол-во тредов из пункта 3.
6. В каждом потоке Thread выставить указатель на чтение SetFilePointerEx() кратное пункту 5.
7. Все потоки обрабатывают свою часть данных.

тема на форуме

Случайные статьи

Скидки на курсы GeekBrains 40%, выбирайте программу для себя

пеллетные котлы

Пеллетный котел Emtas

Наши форумы по программированию: