Вхід і реєстрація
Розробка · 24 грудня 2010, 12:59 433
Володимир Яджак, C/C++ developer в SoftServe

Виділення пам’яті в програмі

Зацікавила тема виділення пам’яті в программі різними методaми:

1. new () /delete — с++

2. malloc/free — c

Розмір пам’ятті для виділення був одинаковий. 500 мб.

Тестування проводилось на кількох комп’ютерах з різними типами памяті (ddr2, ddr3) і різною частотою пам’яті.

Виділення пам’яті першим методом з використання new () /delete на компютерах з більш швидкою пам’яттю дало в 2 рази гірші результати ніж на комп’ютерах з менш швидкою пам’яттю. Тип пам’яти був однаковий — ddr3 лише швидкодія інша.

Виділення памяті другим методом з використанням malloc/free дало більш менш очікувані результати. На компютерах з більш швидкодіючою пам’яттю час виділення памяті був менший в 2 рази ніж на компютерах з меншою швидкодією пам’яті.

На компютері з більш швидкою пам’яттю другий метод виділення пам’яті показав результат в 5 раз кращий ніж перший метод. Аналогічно швидкодія збільшилась і на компі з менш швидкою пам’яттю але лише у 2 рази в порівнянні з першим методом.

Назріває питання. Чому?

PS: Компілятор — ms visual studio 2005

При використанні компілятора від intel, і компілюванні программи під конкретний процесор результати відрізнялись в 3 рази.

Підписуйтеся на Telegram-канал «DOU #tech», щоб не пропустити нові технічні статті

Теми: C, C++, malloc, memory, память
👍ПодобаєтьсяСподобалось0
До обраногоВ обраному0
LinkedIn
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Anton P Software Engineer в Roku 28.12.2010 12:48
Alex_CPM2
new [N] выдает выровненную память? не фейл ли? ,
а если я его переопределил?

может строчку из стандарта запостите?

предназначена для контроллирования объектов чтобы вы могли перегружать функции своих созданных классов-объектов.

LOL

С/С++, не рекомендую её использовать под громадные объекты возможность не уследить выделенный блок памяти при этом хранящиеся узлы под выделением других объектов возможность потеря указателя и потом опять дебаггер.

после этих строк системность вашего программирования под большим вопросом...

все ваши указатели указывают на виртуальные адреса, а не на топовое железо

а виртуальная память наверное на самом деле хранится у бога за пазухой...

привилегия выполнения программ в пользовательском режиме память-2^16 в режиме ядра все-2^32 — это для 32 — разрядных систем.

еще один лулз... вы точно программист? познания как у похапешника причитавшего про микрроядра в википедии...

Відповісти
Підтримати
anonymous 28.12.2010 02:39

Змішались в кучу коні, люди...

так это текст на русском.,

а что там в коде...

Відповісти
Підтримати
crypto5 27.12.2010 23:45

Синдром непризнанного гения...

Відповісти
Підтримати
anonymous 27.12.2010 20:08
Я от думав, що написати у відповідь.
Такий потік свідомості.
Така «сбиваюча з ног струя мислі».
Ні крапок, ні ком.
Змішались в кучу коні, люди...
Видно автор писав на одному диханні, мабуть, наболіло.
Короче, приєднують до тріма.

А заодно йду зроблю собі лунапарк з блекдеком і шлюхами мікроядро з диспечером і пріоритетним шедулером.

Відповісти
Підтримати
anonymous 27.12.2010 18:51

Что за бред вообще, new/delete — отличается тем что она в run-time библиотеки при компоновки указанные параметры в функции new [N] — выравнивает размер под тип данных который указан операндом (или объектом) автоматически избавляя от этого программиста и предназначена для контроллирования объектов чтобы вы могли перегружать функции своих созданных классов-объектов. malloc/calloc/realloc/free — использовалась в С для их использования не просто указать типа еденицу элемента в размер операнда если этого массив количество элементов умножьте на размер операнда и так далее, остались для совместимости, я как системный программист — С/С++, не рекомендую её использовать под громадные объекты возможность не уследить выделенный блок памяти при этом хранящиеся узлы под выделением других объектов возможность потеря указателя и потом опять дебаггер. И что Вы тут болтаете про железо, вы вообще физические адреса оперативки тут не используйте, все ваши указатели указывают на виртуальные адреса, а не на топовое железо, почитайте про диспетчер виртуальной памяти и запомните каждый работающий процесс имеет свои копии кучи, стека, блоки, только библиотеки режима ядра такие как kernel, user, gdi32, advapi и так далее. и вы тут не мудрите, про процессы исполняющие знаете защищённый режим, привилегия выполнения программ в пользовательском режиме память-2^16 в режиме ядра все-2^32 — это для 32 — разрядных систем. Кто тут болтает свою операционную систему создать (ответе мне чем микроядерные системы отличаются от монолитных), зачем болтать если близко даже не можете что-то сказать, мой совет если в простом не можете разобраться, вообще тогда вообще зачем изучать C/C++.

Відповісти
Підтримати
anonymous 25.12.2010 23:27

Пасиб всем, особенно юджину и флайману, буду рыть.

Тільки не розумію, навіщо воно тобі, і ембедери готуєшся, чи як?

Я просто хочу знать. Знания лишними не бывают, не? В ембеддеры пока не собираюсь, таки нет того багажа знаний.

Відповісти
Підтримати
Anton P Software Engineer в Roku 25.12.2010 17:59
память читается линиями по 32−512 байт за раз. дорого только первое обращение к линии которой нет в кеше, а также любое обращение к линии, которую делят между собой процессоры... обращение к данным в L1 1−3 такта, L2 — до 10, кеш промах это больше 100 (иногда сильно больше)...
процессор понимает паттерны обращения к памяти, то есть если читать из массива последовательно вперед или назад, то память будет прекешироваться даже без использования специальных команд.
DDR2 от DDR3 отличается пропускной способностью шины, то есть временем за которое загрузится 1 линия в кеш, ни malloc ни new не зависят от типа памяти, так как их задача найти и пометить блок занятым.
если топикастер хочет мерять скорость помяти, то есть очень простой способ это сделать...
берется очень большой массив (не меньше десятка мб), заполняется данными, чтоб за всеми адресами были закреплены страницы.
читаем из массива каждый первый байт, меряем время,
потом каждый второй байт, меряем
каждый 4, 8, 16, 32, 64, 128...
вычисляем средние времена доступа, строим график, потом повторяем с записью

на этом графике будет видет размер линии, так как при его достижении увеличится количество кешпромахов и возрастет среднее время доступа...

Відповісти
Підтримати
anonymous 25.12.2010 09:23

Я теж можу помилятись (так як не С++ гуру) але щось мені говорить, що new / delete викликають конструктор/деструктор об"єкта, а конструкторів може буди цілий зоопарк: від того що по замовчуванні, конструкторів які беруть до уваги всяке наслідування об"єктів і їх віртуальність, і явно описаних розробником.

Відповісти
Підтримати
anonymous 25.12.2010 08:33

поскольку С и С++ есть обертки над Ассемблером,
то их опции
1. new () /delete — с++

2. malloc/free — c

Я конечно могу ошибаться, но new это всего лишь враппер над malloc, а пратические действия все равно выполняються аллокатором, который у них общий.

Відповісти
Підтримати
anonymous 25.12.2010 08:28

мона ссылку на ман? А то у меня такое чувство, что я в терминологии путаюсь.

Нет конкретного мана. Хотя бы потому, что нет общего решения. На разных архитектурах, и даже на разных поколениях одной архитектуры все может сильно отличаться.
Но идеологически: минимальный квант данных для х86 — 1 байт, определяется регистрами процессора. В память данные пишутся по всей ширине шины, при этом каждому байту соответсвует сигнал валидности и он выставляется для каждого модифицируемого байта. Т.е. делается аппаратное маскирование. Если надо изменить меньше чем байт, то делается опреция read-modify-wright, т.е. маскирование уже софтварное.
По старым канонам, для лучшего быстродействия надо было размещать данные по четным адресам для 16-разрядных архитектур и по кратным 4-м для 32-разрядных.
На сегодня для того чтобы оптимизировать работу с памятью, в контроллере памяти накапливается несколько обращений которые выставляются на шине в порядке минимизируещем оверхед. Например для последовательных адресов делается burst-mode выставление — одного адреса и запись/считывание данных с автоинкрементом.
Причем все эти фичи как раз и составляют know-how «нового высокопроизводительного чипсета», поэтому стандартизации не подлежат.
Базовые концепции: en.wikipedia.org/...mory_controller

en.wikipedia.org/...ki/Dual_Channel

Відповісти
Підтримати
anonymous 25.12.2010 08:18

Юджин/флайман, мона ссылку на ман? А то у меня такое чувство, что я в терминологии путаюсь.

навіть не знаю що порадити почитати, бо то збиралось потрохи з мануалів, форумів, васного досвіду
сбробуй погуглити — pragma packed — memory caching, — memory layers implementations: L1, L2, L3 — memory management unit — allocation memory: heap vs stack — bit mask
Тільки не розумію, навіщо воно тобі, і ембедери готуєшся, чи як?
У мене на одній із останніх співбесід на сінйора програміста по телефону просили описати як працює MMU в АRM.
Я навіть розгубився, чи то люди задали адекватне питання, чи по приколу.
Чесно сказав, що не знаю.
На 2к не взяли, співбесіду провалив.

Отаке життя ембедера.

Відповісти
Підтримати
anonymous 25.12.2010 08:00

Думаю что железо тут особо не причем, т.к. оно ничего не знает о свободной или занятой памяти. Занятая память — это абстракция на уровне ОС

думаю аналогично.
выделением памяти рулит ОС.
поскольку С и С++ есть обертки над Ассемблером,
то их опции
1. new () /delete — с++
2. malloc/free — c
реализованы на нем.
и рассуждать что работает быстрее-медленнее подобно спору «что быстрее срабатывает: чекбокс или радиобаттон? »

как только Хеллип с Плохишом еще пинков тут не надавали. работают перед НГ, аврал наверно.

Відповісти
Підтримати
crypto5 25.12.2010 06:53
Думаю что железо тут особо не причем, т.к. оно ничего не знает о свободной или занятой памяти. Занятая память — это абстракция на уровне ОС или user space менеджера памяти программы.
Кмк бит выделить нельзя потому что так написали логику памяти ОС и прочих glibc и языков программирования. При желании можно написать свои ОС и/или язык программирования со своей логикой указателей и менеджером памяти в котором можно будет адрессовать и выделять отдельные биты, но это делать не рационально, так как все таки железо оперирует как минимум байтами (шины, регистры процессора и т.д.), да и мало кому нужно.

Но я больше «формошлеп», поэтому могу и ошибаться.

Відповісти
Підтримати
anonymous 25.12.2010 02:23

По теме сказать нечего? Внезапно, странно, что я, неоднократно указывав на то, что не эмбеддер, не знаю, как оно в железе работает, мой вопрос, однако, намекает, что нзать сие хочу, не? Или базы с некоторых пор по новой специальности приобретаюдца во снах, а не в книгах, манах и форумах?

Відповісти
Підтримати
crypto5 25.12.2010 01:14

И этот человек тут на форуме постоянно поет про формошлеперов и необходимость начинания с основ...

Відповісти
Підтримати
anonymous 25.12.2010 00:55

Сказано же — как и чар — маскированием, потому что шина логически 32-разрядная, а физически м.б. и совсем другой размерности.

Юджин/флайман, мона ссылку на ман? А то у меня такое чувство, что я в терминологии путаюсь.

Відповісти
Підтримати
Anton P Software Engineer в Roku 24.12.2010 16:38
ты лучше меряй скорость доступа к этой самой памяти, и цену кешпромаха...

new и malloc имеют весьма посредственное отношение к скорости доступа, их задача записать в свои структуры что блок такого-то размера занят...

Відповісти
Підтримати
anonymous 24.12.2010 16:07

А именно чисто 1 бит, так, чтобы в памяти был зарезервирован 1 бит? Мона так?

Сказано же — как и чар — маскированием, потому что шина логически 32-разрядная, а физически м.б. и совсем другой размерности.

Вот здесь вот и ответ ТСу — система процессор-память живет настолько своей жизнью, что прогнозировать что-то бесполезно. Тут играет роль и размер кеша, и политика кеширования, и отношение размера кеша к размеру всей памяти (некоторые области могут не кешироваться), и сам код (который может исполняться с в совсем другом порядке, чем написан) итд итп.

Відповісти
Підтримати
anonymous 24.12.2010 15:57

Я так понимаю ты о блочности выделения, нет? А именно чисто 1 бит, так, чтобы в памяти был зарезервирован 1 бит? Мона так?

Відповісти
Підтримати
anonymous 24.12.2010 15:28

Муха, а возможно вотще выделять память в 1 бит?

Майже так само як і чар (байт) на 32 бітній шині даних.

Відповісти
Підтримати
anonymous 24.12.2010 15:18
Оффтоп:

Муха, а возможно вотще выделять память в 1 бит? Разве не блоком память выделяедца, который явно не 1 бит? Мне просто интересно, т.к.я не силен в сиим вопросе.

Відповісти
Підтримати
anonymous 24.12.2010 15:04

Тому що цей тип найменшого розміру.

Спробуй побітно виділяти пам"ять.

Відповісти
Підтримати
anonymous 24.12.2010 14:25

Тому що цей тип найменшого розміру.

Відповісти
Підтримати
anonymous 24.12.2010 14:13

Ще таке зауваження, а чому виділяються блоки чарів, а не інтів.

Відповісти
Підтримати
Володимир Яджак 24.12.2010 13:48

Має бути все однакове.
Тобто має бути один той самий проц, шина і т.д.

Тоді мініяються планки з пам"яттю та і частоти шини/проца/ререша пам"яті

Нажаль таких умов створити не можемо!

Відповісти
Підтримати
anonymous 24.12.2010 13:41

Спасибо что выложили исходники, я их скомпилировал и получил результаты, аналогичные вашим.

Відповісти
Підтримати
Володимир Яджак 24.12.2010 13:40

Ги, а не спадало на думку, що крім виділення пам"яті може відбуватись її кешування, а може ще своп на диск.

Спадало. Але ж не може результат повторятись кілька разів один і той же, щоправда з дельтою в десяті секунд.

Відповісти
Підтримати
Володимир Яджак 24.12.2010 13:38

Та й цікаво взагалі що швидше працює, і чому плюси програють при виділенні пам’яті.

Відповісти
Підтримати
Володимир Яджак 24.12.2010 13:36

Суть тесту була — яка оперативка краща, і чи є ефект від більш швидкодіючої і дорогої оперативки.

Відповісти
Підтримати
anonymous 24.12.2010 13:34
А в чом суть теста:
Хто скоріше, new чи malloc?

Чи хто ліпше виділяє С чи С++?

Відповісти
Підтримати
Володимир Яджак 24.12.2010 13:33 

clock_t startTotal, finishTotal;
	double* statTest = new double[nCount];
	clock_t statTestStart, statTestFinish;
	double** statIter = new double*[nCount];
	clock_t statIterStart, statIterFinish;

m_Progress.SetRange32( 0, nCount );

startTotal = clock();

for( int test = 0; test != nCount; ++test ){

statIter[test] = new double[nIter];

statTestStart = clock();
		char** pBlockArray = new char*[nIter];
		for( int i = 0; i != nIter; ++i ){
			statIterStart =  clock();

pBlockArray[i] = new char[nBlock];

statIterFinish = clock();

statIter[test][i] = statIterFinish - statIterStart;
		}

for( int i = 0; i != nIter; ++i ){
			for( int j = 0; j != nBlock; ++j){
				pBlockArray[i][j] = _T('1');
			}
		}

for( int i = 0; i != nIter; ++i ){
			delete[] pBlockArray[i];
		}

delete[] pBlockArray;
		statTestFinish = clock();
		statTest[test] = statTestFinish - statTestStart;

m_Progress.StepIt();
		m_Progress.Invalidate(TRUE);
	}

finishTotal = clock();

......//вывод данных

for( int i = 0; i != nCount; ++i )
		delete[]statIter[i];

delete[]statTest;
	delete[]statIter;
Відповісти
Підтримати
anonymous 24.12.2010 13:32
Ги, а не спадало на думку, що крім виділення пам"яті може відбуватись її кешування, а може ще своп на диск.

Тест поганий тим, що:

проводилось на кількох комп’ютерах з різними типами памяті (ddr2, ddr3) і різною частотою пам’яті.

Має бути все однакове.
Тобто має бути один той самий проц, шина і т.д.

Тоді мініяються планки з пам"яттю та і частоти шини/проца/ререша пам"яті

Відповісти
Підтримати
anonymous 24.12.2010 13:27
а что ты хотел протестировать?
>> При виділенні пам’яті також відбувалось її заповнення.
сам заполнял? или компилил дебаг в которо автоматом память заполняется?
1. вообщем тест бесмысленый. у этой памяти очень большая вероятность уйти в своп.

2. для обработки больших обьемов данных, память не так выделяют — эфективный способ это использовать мемори мапед файлы.

Відповісти
Підтримати
anonymous 24.12.2010 13:24

Покажите исходники теста

Відповісти
Підтримати
anonymous 24.12.2010 13:13

Подивися асм файли (створені після компіляції).

Відповісти
Підтримати
Володимир Яджак 24.12.2010 13:08

При виділенні пам’яті також відбувалось її заповнення.

Відповісти
Підтримати

Підписатись на коментарі

Не підписуватись
Скористайтесь акаунтом
×
з умовами використання сайту і політикою конфіденційності.