Bug 5735 - DownloadDataTaskAsync + Cancel leaks heavily
Summary: DownloadDataTaskAsync + Cancel leaks heavily
Status: RESOLVED FIXED
Alias: None
Product: Class Libraries
Classification: Mono
Component: System ()
Version: master
Hardware: PC Linux
: Low normal
Target Milestone: Untriaged
Assignee: Martin Baulig
URL:
Depends on:
Blocks:
 
Reported: 2012-06-19 06:32 UTC by Marek Safar
Modified: 2015-03-17 02:44 UTC (History)
2 users (show)

Tags:
Is this bug a regression?: ---
Last known good build:

Notice (2018-05-24): bugzilla.xamarin.com is now in read-only mode.

Please join us on Visual Studio Developer Community and in the Xamarin and Mono organizations on GitHub to continue tracking issues. Bugzilla will remain available for reference in read-only mode. We will continue to work on open Bugzilla bugs, copy them to the new locations as needed for follow-up, and add the new items under Related Links.

Our sincere thanks to everyone who has contributed on this bug tracker over the years. Thanks also for your understanding as we make these adjustments and improvements for the future.


Please create a new report on GitHub or Developer Community with your current version information, steps to reproduce, and relevant error messages or log files if you are hitting an issue that looks similar to this resolved bug and you do not yet see a matching new report.

Related Links:
Status:
RESOLVED FIXED

Description Marek Safar 2012-06-19 06:32:20 UTC
With this sample I get 4GB of allocated memory in about 10 seconds

using System.IO;
using System;
using System.Net;
using System.Net.Sockets;
using System.Threading;
using System.Text;
using System.Globalization;

class C
{
	public static void Main ()
	{
		while (true) {
			WebClient wc = new WebClient ();
			var progress = new ManualResetEvent (false);
			wc.DownloadProgressChanged += delegate {
				progress.Set ();
			};

			// Try downloading some large file, so we don't finish early.
			var url = "http://download.mono-project.com/archive/2.10.9/macos-10-x86/11/MonoFramework-MDK-2.10.9_11.macos10.xamarin.x86.dmg";
			var task = wc.DownloadDataTaskAsync (url);
			if (!progress.WaitOne (15000))
				Console.Write ('X');
			wc.CancelAsync ();

			Console.Write (".");
		}
	}
}
Comment 1 Martin Baulig 2012-06-19 09:08:49 UTC
I tested this with a slightly modified example:
Instead of using that web file, I used Assembly.GetExecutingAssembly ().Location, but artificially bloated the assembly a lot:

====
martin@seneca:~/work> dd if=/dev/zero of=test.data bs=1k count=1M
1048576+0 records in
1048576+0 records out
1073741824 bytes (1.1 GB) copied, 22.5055 s, 47.7 MB/s
martin@seneca:~/work> mcs -resource:test.data Bug5735.cs 
Bug5735.cs(9,1): warning CS0105: The using directive for `System.Threading' appeared previously in this namespace
Bug5735.cs(32,17): warning CS0219: The variable `task' is assigned but its value is never used
Compilation succeeded - 2 warning(s)
martin@seneca:~/work> ls -l Bug5735.exe 
-rwxr-xr-x 1 martin users 1073746432 Jun 19 15:01 Bug5735.exe
====

I can easily reproduce it with that.

However, this is not a bug, but an expected behavior: your test case is basically a clone() bomb.

WebClient.CancelAsync() is not supposed to wait for cancellation, it tells the web request to abort, but does not wait for its completion.

Each iteration of the while() loop starts a new worker thread on the thread pool without waiting for the previous one to complete.
Comment 2 Marek Safar 2012-06-19 09:15:29 UTC
That's true but something is probably using way too big buffer. Running same code on .NET never allocates more than 20MB on my machine.

Secondly, thread pool is not unlimited, so the memory should not grow endlessly.
Comment 3 Martin Baulig 2012-06-19 09:17:21 UTC
I also added

====
  int workers, ports;
  ThreadPool.GetAvailableThreads (out workers, out ports);
  Console.WriteLine ("THREADS: {0} {1} - {2}", workers, ports,
    Process.GetCurrentProcess ().Threads.Count);
====

Process.Threads.Count only works on Windows, I had to reboot once it reached about 400.

To illustrate, look at this:

====
        while (true) {
            WebClient wc = new WebClient ();
            var progress = new ManualResetEvent (false);
            wc.DownloadProgressChanged += delegate {
                progress.Set ();
            };
            bool completed = false;
            wc.DownloadDataCompleted += delegate (object sender, DownloadDataCompletedEventArgs e) {
                    completed = true;
            };

            // Try downloading some large file, so we don't finish early.
            // var url = "http://download.mono-project.com/archive/2.10.9/macos-10-x86/11/MonoFramework-MDK-2.10.9_11.macos10.xamarin.x86.dmg";
            var url = Assembly.GetExecutingAssembly ().Location;
            var task = wc.DownloadDataTaskAsync (url);
            if (!progress.WaitOne (15000))
                Console.Write ('X');
            wc.CancelAsync ();

            if (completed)
              Console.Write (".");
            else
                Console.Write ("+");
        }
=====

On Windows, that prints:

======
$ ./A.exe 
....++..++++++..+....++++++++++++++++.....................+++++++++.++++++++++++++++++++++++++++++++++++++++++++++++++.++++++++++++++++++++++++++++++++++++++++++.+++++++++++++++++.+++++++++.++++++++++++.+++++++++++++++++++++++.++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++.++++++++++++++++++++++++++++++.++++++++++++++++++++++++.+++++.++++++++++++++++++++++++++++++++++++++++++.+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++....++++++++++++++++++++++++++++++++..+++++++++++++++++++++++++++++++++++++.++++.+++++++++++++++++++++++++++++++++..++.++++++.......+++++++++++++++++++++++++++++++++++.+++++++++++..++.++++++++++++++++++++++++++++++++++++++++++++++.+..+++++++++++++++++++++++++++++...........+++++++++++++++++++++++++++.+++++++.++++++++++++++++++++.++++++++++++++.+.++++++++++..+++++++++++++++++++++++++++++++++++++++++.++++++++.....+.....+.+++++++++++++++++++++++++++++++++++++++++++++++++++++++...+.+.+++++++++++++++++++..+++++++++++.++++++++++.+.++++++++++++.+++++.++..+++++.++++++++++++++++++++....++...............++++.+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++.+++++++++++.+++++++++++++++++++++++.+++++++++++++++.+++++.+.++++.++.+++++.+++++++++++++++++.++.++++.++++++++.+++++.+++++++.++++++++++++++++.+.+.+++++++.+++++++++++++++..++.+++.++.+++..+++++++++++.++++.++++++++++++++.+.+.+++++++.++++++++++++.+++++++++++++.+.++++++++++++++.++++++++++.+++++++++++.++++++.++++++++++++++++++++.++++++.+++++++++.+++++++++++++++..++.+++++++++++++++++++++.+++++.+++..+.+++++++++++++++++.++++++..+++.++++++++++++.+++++++++++++++++++++++++.+.++...+.+++.++.++++.++++.++++.+++++++++++++.+++.++++++.++++.+.+++++.+++++++++.++.++++.+++++.+++++++++..++++++++.+.++++++++++.++.+++.+.+.+.+++++++++++++.++++++++++++++++++.++++.+++++++++.++++++.+++++.++.+++.++.++.+++.++++++++++++.+++.++++++++++++++.++++++++++.+...+++++++.++++++++++.+++..+..++++++++.+++++...+++++.++++++++++++++++++++++++++++.+++.++.++++++.++.++++++++++++++++++++++.++++++.+++++++++++++.++++.+++++++++++.++++..+.++++.++.+++++++.+++++++++++.+++++++++++.++++.+++.+++++++++++++++++.++++++..+++.++++.++.++++++++++++++++++++++.++++++++++++++.++++.++++++++++++.+++++++++++++++.++++++.++++++.+++.++.++.++++.++.+.+++.+.++++..++++++.++.++.++++++.++.+.++++++++..++++++.+++++++++.++++.+++++++++.+.+.+++++++.+.+++++++++++++.++..++..+++++++.++..++.+..+++.+.++.+..++++.+++++++...++++.++...+++..+.+++++++++++++++++++.++++++.+++++++++++++..+++++++++..++.++++++.....++++++.+++++++++++++++++++++++.+++..++++++.++++++++++.+++..+++++++++........+++++++++++.+++.+++++++++++++++.++++++.++++++++++++++.+++..+..+++++++.++++++++.++++...+.++++.+++.++.++++++++++++++++++++++++++++++.+++++++.+...+++.+....+.+.+.+++++++++++.++..++++.+++.+++++++..+.++++++.++.++++++++.++.++.++.+++++++++.++.++++++.++.++.+++.++.+++++++.+++.++++++.+++++++.+++++++++++.++..++++.+..+++++++++++++++++++.++..+++++++++.+..++++++++++.++++++.++++..+++++++++.++++...++.+++..++.+++++..+.++++.+....+++.+++++.+++++.++....++.++.+++++.+++.++++++++++.++++++++++.+++.++++.+.++++.+++++++..++++++...++++.+..++++++++.++.++.++.++..++++..++.+.++.+.+..+++.++++++++++.++.+.+++++++.+++..+..++++.++++++++++++++++.+++++++++.++++++...+++++++++++.+++++++++++++++++++++++++++.+++++++++++++++++++++++++.++++.+++++++++++++++..++.+.+++.+++.++++++++.+++++++++++++++++++.++..++++.+++++...+++++++++.+.+.++++.++.++.++++++++.+++++.++.+++++.....+..++........+..+++.+++++++..+.++++.+..++++++++..+++...+.++++++++++++++++++.++.++++++++++++++.++++++++++++++.+++++++++++++.+++++++++++++++++..+++.++++++++++..++++++++..++.+++.++++...++..+...+......+.++...+.....+.++++++++++++++++++++++++.++++++.+++++.+++.++.+++.+++++++++++.++++...++.+++++++.++++.+++++++++++++++.++++++++++++++++++++++.+++++++.++++++++.++..++++++++++++.+++++++++.++++.+.+++++++.++...++++++++++.++.+.++.++.+.+++++++.+++.+++.+.+++.+++++.+..+...++++.+..+...++..++.+.++++.+++.+++++++..+++++++.+++.++.++..+++.++++++.+++++++.++++.+++++++++++.+++++++++++++++++++.+.+++++++....++++++++++++.+++..++++.+++.+++++.++.+++++++++++++++++++++++++++++++++++++.+.+.+..+.+++++++++++++++++++++++++++.++++++++++++++++++++++++++++++++++++.+++++.+++.+++++++++..+++++++++++++.+++++...+.+++.++.++++++.++.++++++++++++++++..+++++++++++++++++++++..+++++.+++++++++++++++++.+++++++.++.++++++++++....+.++++.++++++.+++..+++++++++.+++++++++++++++++++++++.++.+++.++.+++.++.+++++++++..++.++.++.++.++.++++++++++++++++++.++.++.++.+++++++++++++++..+++++++++++.+++++++++++++++++++++++...+...+.++++++++++++++.++.+++++.++++++++++++++++++.+++++++++++.+++++.++.+++++++++.+++++++++++.++.+++.+++.+++++++++++.++.++++.++++.++.++.+++++++.+++++++.+++++....++..++.+.+...+++++++++++++++++++++++++.+++++++.+++++++++++++++++++..+++.+++.+++++++++++++++++++++++++++++.++.++++.++++.++++.+++.++++.++++..++++++++++..+++.++++++++++++++++++++++++++++++++.+++++++...+.+++++++++++...+.++++++++++++++++.+++.+++++++++++++++++++.+++++++++.++.+++++++++++.++.+++++.++++++++++++++++++.+++++++.++++++++++++++++++++++.+.+.++.+++.++.+++.++.+++.++++..+.+++.+.+++++.++..++++.++++..++++++.+++++++++++++++++++++.++.++++++++.++.+.+.+..+++.+.+++++.++++++.++.+++.++++.+.+++++++++++++.+.++.+.+.+.++.+++.+.++++++.+++++++++.+++..++.+.++++.+.++.+..+++++++++++++.++++++++++++.+.++++++..++.+++++++++.+++++++.+++.++.++.+.+++++.+++.++++++++++.++++++..+.++++++++++++++.+++.++++.+++.+.+++++++++++.+.+++.++++++.++++++++.+.+++.+++++.++++.+++++.++..++++.+.++++.+++.++.+++++++++.++++.++++.+.+.++.+++++++++.++++++++.++++.+.+.++++.+.++..+.+.+.++.+++++.++++..........+++.+++.+.+++..+.++++..+.++++++.++.++.+++.++++.+++++.+.+++++++.++++++++.+++++++++++++..+.+..+..++.++++.+++++++++.+.+.+++++.++++.+.+.++.++.+..+.++.+.+.+++..+..+.++.++++.+.++++.+.+++++++++.++++.++..+.+.+.++++.+..++.+++++++.++.+.+++++..++++.++++.++.+++.+++..+.+++..+..+..+.++.++++++.+++++++.+.++++++++..+++++.++.++++++++.++++.++.+++++++.+++.+++++.++.++.++++.++.+++++.+++++++.+++.++.++.++++++++.+++.++.++++++.++++++++++++.+++++.++.+++++.++.+++++++++++++.+++++++++++.+.+++++++++++++++++++++++.++++++.+++.+++++++++.+++++++++.++..+.+++++.+++.++.++.+++++.++..++.++++++++++++++++++.+.+++.++++.+.++++++.++.++.+++++.++++++.++++++++++.++.++.+.+++++++++++++.+++++.+++++.++++++++++++.+++++++++++++.++++++++.++.++.+++.++++++++++++++++++++.+++.+++.++.++++++++++.++.++++.+.+++++++++.++.++.+++.++.++.+++++++++++.+.+++.+.++++++++++++++++++++.++++++++.++.++++.++.++.+++++.++.++.+++++.++++++++.++++++.++++++++++++++++++++++++++++++++++++++++++++.++.++.++.++.+++++++++++++++.+++++++.++.+++.++.++.++.++.+.++.+++.+++++++++.++.++.++++.++++.++++++++++.+++++++.++.++.++++++++++++++++.++++.+.++++.++.++.+++++++++.++.++.+++++++++++++++++++++.++++++++++++++++++++++++++++++++++++.++++++++.+++++++.++.+++++++.+++++++..++++.+++++++++++++.++++++++++.++++++++++++.+++.+.++.+++.+++++++++++.++++++.+++++.+.+.+.++.+++++++.++++++++++++++++++++++++++++++++++++++.+++.+.++.++.++++++++.++++.++.++++++.++++++++++++++++.++++...+++++++.+++++.++.+++++++++.++++++++++++++.++++++++++.++.++++++++++++.++.++++++++.++.++++.+++++++++++++++.++++++..++++++++++++++.+++++++.++++++.+.+++++++++++++.+++.++++++.+.+++++.+++.+++++++++++++++.+++.++.++++.++++++++++++++++++++.++++++++++++++++++++++++++++++++.+++++++++++++++..+++++.+++++++++++++.++++++.++.++.+++.+++++++++.++++++.++.++..+++++++++++++.+.++++++++++++.++++++++++++.++.+++++++.++++++++++++++.+++++.+..++++++++++++++++++.++++++++++.+++++++.+++.++++++++++++++++++++++.+.++.++.+.+++.++.+++++++.+++++++.+++++++++.+++++++.++++.+++.+++++++++++.++++++++++++++++++++++++++++++++++++++++++++++++++++++++.+++++++++++++++++++.+++++++++++++++++++++++++++++++++++++++++++.+++++.++++++++++++++.+++++++++++++++++++++++++.+++++++++++.++.+++++++.++.++.++.++++++++++.+++++.++.++.++++++.+++++++++++.++.+++.++++.++.++.++++++.++.+.++.++.+.++++++++++.++++.++.+++++.+++.+++++++.++.++.+++.++.++.++.++.+.+.+++++.+++++++++++.++++.+.++.+++.++++.++++++++++.+++++++.++.++++++..+.+.+.+.++++++++..+.++..++++++++++.++++.++.+++.++++++.+++++++++++++.++++++++.++++++++++++.+++++++++++++++++++++.+++++++++.++.++++.+++.+.++++.+++++++++++++.+++.+.+.++++++++.++++.++++++++++++++++++++++.++.++++++++++.++.++.++++++++++++.+++++++++++++++.+++++++++++.++.++..++++.++.+++++++++++.++..++.+++++.++..++.+++.++++++++++.+++++++++++.++.++++.+++.+.+++++++++++++++++.+++++++.+++++.+.+++++++++++.+.+++++++++++++.++.++.++.+++.++++++++++++++++++++++++++.+.+++.++.++.+++.+.++++++.+++++.++.++.++++++.++.+++++.++.++.+++++.++++++++++++++.++.++++.+++++.+++.++++.++++.++++++.++++++++.+++.+++.+++++++.++.++.+...++.+++++.+++++++++++++++.+++...+.+.+++.++++++++++++++++++.+++++++++++++++++++++++.+++.++.++.++...+++++++++++++++.++.++.++.+++++++++++++.++++++++++++++++++.++++.+++.+++++.+++++++++++++++++++.+.++++++.++++++++++++.+++++.+++.+++++++++++++++++++.++++.++++++++++++++.+++++...+.+++.++++.+++++++++++++.+++++++++.++++++++++.+++++++++++++++++++++++++++.+++++++++++++..++++++++++++++++++++++++++++++++++++++++++++.+.++++++.++.+++.++++++++++++++++++++++.+++++++++++.+++++++++++++++++++++..++.+++++.+++++++++++++++++++.+++.++++++++.+++++++++++++.++++++++++++++++++.++++++++++.++.++++++++++++++++++++.++++++++++.+++++++++.+++++++++++++++++.++++++++++.++++++++++++++++++.++.++++++++++++++++++++++++++.++++++.+++++.+.+.++.++++++.++++++++.++.++++++++++++++++++++++++++++++.++++.+++++++..+.++.+.+.+.++.++++++++++++++.++++++.++++++++++.+.+++.+++.++.+.+++++++++.++.+++++++++++.+++.+++++.+++++++.++++++++.++++++++++++.+.++++.+.+.+++.++.+.+.++.++.++.+++.+..+.++++..++.+.+++.++.++++++++.+++.+.+++++.++++.++.++++.++++++++++++++++++++++++.+.++.++++.++++++.++..++.+++++.+++++.++++.+++++++++.+.++++++++++++++++++++++.++.+++.+++++++.++++++++.+.+.+.+.+++++.++++++++++.++++++++++++++.+++++.+++++.++.+.+++++.+++++++++.++.+++++++++++++++++++++++.++.++++.+++++.+.++++.+++++++++.++.+++++++++.++++++++..+.+++++++++++.+++.+.+++++++++.+.+++++.++++++++.++.++++.+++..+.+++++.++.+.++.++.+.++++++.++++++++++.+.++.++.++++++++++.++..+++.++.++.++.+.++.++..++.+++++++++.++.++.+++++.+..+.++.++.+++.++.+.+++.+.+++++.+.+.+++++++.++.+++.++.+++++.++++++.++.++++++.+++.++..+.++++.++.++.++.+.+++++.+.++.+++.+.++++.++.++.+.+.++++.+.++.++.++++.+.+++++++..+++.++.++..++.++.++.++.++..++++++++.++.++.+.+++.+++.++.++.+++.++++.+++++.+++++.+.++.++.+.++++++++.+++++.++.++.++.++++.++++++.+++++.+.++++++.+.+++++++++++++++++.++++.+++++.+++..+++++++++.+++.++++.++.+++++.++++++..+.+++.+++.++.++.+++++.+.++.++.++.+++.+++.++++.++++++++.+.+++++.+.++++.+.++.++.+++++.+.++.+++++.+.++.++.++.++.++.+.++.+++++.+.+.+.+..+.+++.+.++.+++.++.++.+.++..++++.+.+++.++.+++.+++.+.+++..+.++.+.++.++.++.++.++++.+++.+.+..++.+++++.++.++.++.++.+++...++.+++.++++++.++++++.+.+.+.+.++++++..+++++.+++.+++.+.++..+++.++.+.++++.++++++++++++++++.+++++++++++.+++++++++++.++++++++.+++++++++.+++.+++++++++++..++++..++++.+++++.+++++.+++++.+.++++++++.+++++++++++++++++.++++++++++++.+++.++++..++.++++++.++.+++.+.+.+++++.++.+.++.+++.+.++.++++++++.+++.+.++.+++++.++.+.+.++..+.+++++.++..++...++.++.++.++.++.++.++++...+.+.++.++.++.+.++.+.++.++.+++++.+..++.++.++.++.++++.+.+++++.+++.++.++.++...+++....+.++....++...........+.+++.+.+.+.+++.++...................++++++++++....................................+.+++.+..+.+++++++++++.++++++++++++.++++++.+++.+.+.+.++++++.+++++++++++.+.+..++++.+++++.++++++++++++++++.+++++.+.++++.++.+..++++++..++.+++++++.+.+.++.++++++.+.++++++++++++++++++++++++++++++++++++++++++++++++.++.+.+.+++++++++++++.++.+++++++++++..+++++++++++++.++++.++++++.++++.++++.+.+.+++++++++.+++.++++++++++++++++++++++..+........++++.++.++++++++++++.++.+.+++.+.+.++.++++.+.+.+.++++++++++++++.++++++++++++++++++++.++++++++.+.++++++.++.+.+++++.+.++.+++++++++++++++.+..++++.+.+++.+++.++.+.+.++.++++++.++++++++++++++++++++.++.++.++.++++.++.++++.++++.++++++++++++++++++++++.+++++.+++++++++++.+.++.+.+.+.+..+..++++++++.++.++.+++++++.++..+++.++++++++++++.+++++.++.+++.++.+++++++++++..+.++++.++.+++++++++++.++..+.+.+.++++++.+++++..++.+++.+.+++..+++++.++++++++++++++++++++++++++++++++++++++.++.+++.++++++++++++++++++++++.++++++.++++++++++++++....+++++++++++++++++++++.++..++++++++++.+++++++.+++++++++++++++.++++++++++++++++++++++++.++...++++++++++++++++++++++++++++++++++++++.+.++++.++++++++++.++....+++++++++++.++++++++++++++++++++++++++++.++.+++++++++.++.+++++++++++++++++++++++++++++++.++...++..+++++++++++.++.+.++++.++.+++..+++.+..+.++++++++++++++++++.+++++++++.++++++++.++++.++++++++++++++++++++++.+.++++.++++++++++++++++++.++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++..+.++..+++++++++++++++++++++++++++++.+++++++++++++++++++++++...+..++++++.+...++.+++++++++++++++++++++++++++++++++++++++++++++.++++...+++++++++++++++++++++++++++.+++++++++++++++++++++++++++++++++++++++.+++++++++++++++++++++++++++++++++++++++++.++.++.++.+++++++++++++++++++.++++++++++++.++++++.++++++++++++++++++++++++++++++++++++++++++++++++++++.+++..++.++++++++++++++++++++++++++++++++++++++.+++.+++++++++++++++++++++++++++++++++++++++++.+++.++++.+++++++.+++++++++++++++++..+.+++++++++++++++++++++.++++.++++++++++++++++++++++++++++++++++.+.++...++++++++++++++.++..++++++++++++++++++++.++++.++++++++++++++++++.+.++++++++++++++++++++++++++++++++++++++++++++++++++++++++++.++++++++++++++.++++++++++++++++++++++++.+++++++++++++++++++++++++++++++++
=====
Comment 4 Martin Baulig 2012-06-19 09:20:16 UTC
It's possible that we're allocating a too large buffer.

There is one big difference between the two machines:

My Windows box is an old Toshiba which isn't that powerful - and it can create about 400 threads before bad things happen.

The Linux box is my new very powerful Lenovo - and it's already getting in trouble after just a few iterations.

We also need to make sure we don't leak when calling Wait() on the task, I'll do that after lunch.
Comment 5 Marek Safar 2012-06-19 09:21:42 UTC
Yes, we should not allocate GBs when downloading data from web
Comment 6 Martin Baulig 2012-06-19 09:37:39 UTC
Agreed - but the speed of the connection also makes a difference here.

I'll try to write a simple HttpListener, so we can control how much data has actually been sent.
Comment 7 Martin Baulig 2012-06-19 12:19:43 UTC
How many iterations of this loop did it take before reaching these 4GB ?

I experimented a bit with both DownloadDataTaskAsync() and DownloadFileTaskAsync() using HttpListener to control the amount of data that's been send from the server:
https://github.com/baulig/async-tests/tree/master/WebClientTests

In this test, I use a large HttpWebResponse.ContentLength64, but only send 64k bytes, then block the server thread.  This means that we're creating a new thread for each iteration.

When using DownloadFileTaskAsync(), we gain about 67MB per iteration.

When using DownloadDataTaskAsync(), we gain about N + 72MB per iteration, where N is the size of the file that we're downloading.

In your example, the file that you're attempting to download is ~120mb, so that loop should run at least 35 times before consuming more than 4GB.
Comment 8 Marek Safar 2012-06-19 12:27:46 UTC
As I wrote .NET version allocates max of 20MB (on 4 cores 4GB machine).

"When using DownloadDataTaskAsync(), we gain about N + 72MB per iteration, where
N is the size of the file that we're downloading."

Seriously?

That means downloading 10GB file I need 10GB + 72MB of memory?
Comment 9 Martin Baulig 2012-06-19 12:36:09 UTC
Well, we may be able to do something about these 72MB and optimize them down, but yeah - and how would you implement it otherwise ?

The method is supposed to return the entire contents of the downloaded file as a byte[].

If you don't like that, you need to use either OpenReadTaskAsync() to get a Stream or DownloadFileTaskAsync() to save the result in a file.

I did some tests with DownloadFileTaskAsync() and only allocates a small buffer.
Comment 10 Marek Safar 2012-06-19 12:42:49 UTC
Oh, missed that return type. Still wondering what .net does to limit the memory usage (could do more testing)