Как эффективнее обрабатывать большой файл по кускам?

Posted by obzor under Win Api

Есть файл во много раз больший оперативной памяти. Собираюсь реализовать алгоритм, который загружает часть файла, помещающуюся в оперативную память и там обрабатывает. Как сделать это с максимальной эффективностью по времени на C++ под Windows? Mapping файла на оперативную память? Если так. То как определить размер куска, который поместится в оперативную память?

waleri

Читайте файл кусками, кратными 256К и без буферизации (FILE_FLAG_NO_BUFFERING) и в память, которая закреплена в памяти (не подкачивается).

R71MT

В любом случае — грузить частями, и лучше создать для них несколько отдельных потоков Thread. Причём кол-во тредов не должно превышать кол-во ядер у процессора, х2. Иначе, если у проца например 4-ядра, а приложение будет 10-12 поточное, то весь профит уйдёт на переключение этих потоков.

Mapping файла не имеет смысла, если между частями не нужна синхронизация, т.е. они не должны обмениваться данными. В общем случае я бы сделал такой алго:

1. GetProcessAffinityMask() — получили кол-во ядер CPU.
2. Умножить пункт 1 на 2..
3. CreateThread() — создать кол-во потоков по результату пункта 2.
4. GetFileSizeEx() — узнать размер файла.
5. Разделить размер файла на кол-во тредов из пункта 3.
6. В каждом потоке Thread выставить указатель на чтение SetFilePointerEx() кратное пункту 5.
7. Все потоки обрабатывают свою часть данных.

тема на форуме

Случайные статьи

пеллетные котлы

Пеллетный котел Emtas

Наши форумы по программированию: