Does taichi not support large tensors on cuda?

I tried to initialize a large tensor field on cuda using the below code.

import taichi as ti

ti.init(arch=ti.cuda)

a = ti.field(dtype=ti.f32, shape=(8, 128, 128, 1024))


@ti.kernel
def init():
    for I in ti.grouped(a):
        a[I] = 1.0


if __name__ == "__main__":
    init()

But got the following error message.

[Taichi] Starting on arch=cuda
[Taichi] materializing...
Taichi JIT:0: allocate_from_buffer: block: [0,0,0], thread: [0,0,0] Assertion `Out of CUDA pre-allocated memory` failed.
[E 01/05/21 21:33:54.512] [taichi/backends/cuda/cuda_driver.h:taichi::lang::CUDADriverFunction<void *>::operator ()@80] CUDA Error CUDA_ERROR_ASSERT: device-side assert triggered while calling stream_synchronize (cuStreamSynchronize)


?[38;2;255;000;255m***********************************
?[0m?[38;2;255;000;255m* Taichi Compiler Stack Traceback *
?[0m?[38;2;255;000;255m***********************************
?[0m?[38;2;255;000;255m0x7ffeb3891aa7: ?[0m?[38;2;255;000;000mtaichi::create_instance_placement<taichi::Benchmark>?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb3943233: ?[0m?[38;2;255;000;000mtaichi::create_instance_placement<taichi::Benchmark>?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb37b44e8: ?[0m?[38;2;255;000;000mtaichi::create_instance_placement<taichi::Benchmark>?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb37b79cf: ?[0m?[38;2;255;000;000mtaichi::create_instance_placement<taichi::Benchmark>?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb37bb01c: ?[0m?[38;2;255;000;000mtaichi::create_instance_placement<taichi::Benchmark>?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb37bc518: ?[0m?[38;2;255;000;000mtaichi::create_instance_placement<taichi::Benchmark>?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb3728b69: ?[0m?[38;2;255;000;000mtaichi::create_instance_placement<taichi::Benchmark>?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb382a720: ?[0m?[38;2;255;000;000mtaichi::create_instance_placement<taichi::Benchmark>?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb37de4d6: ?[0m?[38;2;255;000;000mtaichi::create_instance_placement<taichi::Benchmark>?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb36eb0f2: ?[0m?[38;2;255;000;000mtaichi::create_instance_placement<taichi::Benchmark>?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7fff2168ecf5: ?[0m?[38;2;255;000;000mPyMethodDef_RawFastCallKeywords?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff2168f5b7: ?[0m?[38;2;255;000;000mPyMethodDef_RawFastCallKeywords?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21690082: ?[0m?[38;2;255;000;000mPyEval_EvalFrameDefault?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21676f36: ?[0m?[38;2;255;000;000mPyEval_EvalCodeWithName?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff2168f66c: ?[0m?[38;2;255;000;000mPyMethodDef_RawFastCallKeywords?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff2168fbd3: ?[0m?[38;2;255;000;000mPyEval_EvalFrameDefault?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21676f36: ?[0m?[38;2;255;000;000mPyEval_EvalCodeWithName?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff2168f66c: ?[0m?[38;2;255;000;000mPyMethodDef_RawFastCallKeywords?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff216907ca: ?[0m?[38;2;255;000;000mPyEval_EvalFrameDefault?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21676f36: ?[0m?[38;2;255;000;000mPyEval_EvalCodeWithName?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21676bba: ?[0m?[38;2;255;000;000mPyFunction_FastCallDict?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21672fb5: ?[0m?[38;2;255;000;000mPyObject_SetAttr?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21690945: ?[0m?[38;2;255;000;000mPyEval_EvalFrameDefault?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21676f36: ?[0m?[38;2;255;000;000mPyEval_EvalCodeWithName?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21676bba: ?[0m?[38;2;255;000;000mPyFunction_FastCallDict?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff216b20f4: ?[0m?[38;2;255;000;000mPyObject_Call_Prepend?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff216b2061: ?[0m?[38;2;255;000;000mPyObject_IsAbstract?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21672f2c: ?[0m?[38;2;255;000;000mPyObject_SetAttr?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21690945: ?[0m?[38;2;255;000;000mPyEval_EvalFrameDefault?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21676f36: ?[0m?[38;2;255;000;000mPyEval_EvalCodeWithName?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff2168f66c: ?[0m?[38;2;255;000;000mPyMethodDef_RawFastCallKeywords?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff2168fc7f: ?[0m?[38;2;255;000;000mPyEval_EvalFrameDefault?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21676f36: ?[0m?[38;2;255;000;000mPyEval_EvalCodeWithName?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff2169b6f7: ?[0m?[38;2;255;000;000mPyEval_EvalCodeEx?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff2169b655: ?[0m?[38;2;255;000;000mPyEval_EvalCode?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff2169b5ff: ?[0m?[38;2;255;000;000mPyArena_Free?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21804829: ?[0m?[38;2;255;000;000mPyRun_FileExFlags?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21805050: ?[0m?[38;2;255;000;000mPyRun_SimpleFileExFlags?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff218046f7: ?[0m?[38;2;255;000;000mPyRun_AnyFileExFlags?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21750c43: ?[0m?[38;2;255;000;000mPy_UnixMain?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21750ceb: ?[0m?[38;2;255;000;000mPy_UnixMain?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff216e93aa: ?[0m?[38;2;255;000;000mPyErr_NoMemory?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff216a337f: ?[0m?[38;2;255;000;000mPy_Main?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff216a3346: ?[0m?[38;2;255;000;000mPy_Main?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7ff7a6481258: ?[0m?[38;2;255;000;000mUnknown Function?[0m?[38;2;255;000;255m in python.exe
?[0m?[38;2;255;000;255m0x7fff5a414034: ?[0m?[38;2;255;000;000mBaseThreadInitThunk?[0m?[38;2;255;000;255m in KERNEL32.DLL
?[0m?[38;2;255;000;255m0x7fff5aec3691: ?[0m?[38;2;255;000;000mRtlUserThreadStart?[0m?[38;2;255;000;255m in ntdll.dll
?[0m?[38;2;255;165;000m
Internal error occurred. Check out this page for possible solutions:
https://taichi.readthedocs.io/en/stable/install.html#troubleshooting
?[0mTraceback (most recent call last):
  File "explore_python.py", line 16, in <module>
    init()
  File "C:\Users\jitang\AppData\Local\Programs\Python\Python37\lib\site-packages\taichi\lang\kernel.py", line 571, in wrapped
    return primal(*args, **kwargs)
  File "C:\Users\jitang\AppData\Local\Programs\Python\Python37\lib\site-packages\taichi\lang\shell.py", line 36, in new_call
    ret = old_call(*args, **kwargs)
  File "C:\Users\jitang\AppData\Local\Programs\Python\Python37\lib\site-packages\taichi\lang\kernel.py", line 499, in __call__
    self.materialize(key=key, args=args, arg_features=arg_features)
  File "C:\Users\jitang\AppData\Local\Programs\Python\Python37\lib\site-packages\taichi\lang\kernel.py", line 299, in materialize
    self.runtime.materialize()
  File "C:\Users\jitang\AppData\Local\Programs\Python\Python37\lib\site-packages\taichi\lang\impl.py", line 228, in materialize
    taichi_lang_core.layout(layout)
RuntimeError: [taichi/backends/cuda/cuda_driver.h:taichi::lang::CUDADriverFunction<void *>::operator ()@80] CUDA Error CUDA_ERROR_ASSERT: device-side assert triggered while calling stream_synchronize (cuStreamSynchronize)
[E 01/05/21 21:33:54.891] [taichi/backends/cuda/cuda_driver.h:taichi::lang::CUDADriverFunction<void *>::operator ()@80] CUDA Error CUDA_ERROR_ASSERT: device-side assert triggered while calling mem_free (cuMemFree_v2)


?[38;2;255;000;255m***********************************
?[0m?[38;2;255;000;255m* Taichi Compiler Stack Traceback *
?[0m?[38;2;255;000;255m***********************************
?[0m?[38;2;255;000;255m0x7ffeb3891aa7: ?[0m?[38;2;255;000;000m??$create_instance_placement@VBenchmark@taichi@@@taichi@@YAPEAVBenchmark@0@AEBV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@PEAX@Z?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb3943233: ?[0m?[38;2;255;000;000m??$create_instance_placement@VBenchmark@taichi@@@taichi@@YAPEAVBenchmark@0@AEBV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@PEAX@Z?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb37b44e8: ?[0m?[38;2;255;000;000m??$create_instance_placement@VBenchmark@taichi@@@taichi@@YAPEAVBenchmark@0@AEBV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@PEAX@Z?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb37b8aa1: ?[0m?[38;2;255;000;000m??$create_instance_placement@VBenchmark@taichi@@@taichi@@YAPEAVBenchmark@0@AEBV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@PEAX@Z?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb37b23e0: ?[0m?[38;2;255;000;000m??$create_instance_placement@VBenchmark@taichi@@@taichi@@YAPEAVBenchmark@0@AEBV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@PEAX@Z?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb383d248: ?[0m?[38;2;255;000;000m??$create_instance_placement@VBenchmark@taichi@@@taichi@@YAPEAVBenchmark@0@AEBV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@PEAX@Z?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb36e7bd2: ?[0m?[38;2;255;000;000m??$create_instance_placement@VBenchmark@taichi@@@taichi@@YAPEAVBenchmark@0@AEBV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@PEAX@Z?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb36f2c12: ?[0m?[38;2;255;000;000m??$create_instance_placement@VBenchmark@taichi@@@taichi@@YAPEAVBenchmark@0@AEBV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@PEAX@Z?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7fff21686cdd: ?[0m?[38;2;255;000;000mPyObject_Hash?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff216dfe2d: ?[0m?[38;2;255;000;000mPyErr_NoMemory?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21692cab: ?[0m?[38;2;255;000;000mPyObject_GC_UnTrack?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21693148: ?[0m?[38;2;255;000;000mPyDict_Clear?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21691fb7: ?[0m?[38;2;255;000;000m_PyGC_CollectNoFail?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21665f72: ?[0m?[38;2;255;000;000mPyImport_Cleanup?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff2169a2aa: ?[0m?[38;2;255;000;000mPy_FinalizeEx?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff216a3384: ?[0m?[38;2;255;000;000mPy_Main?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff216a3346: ?[0m?[38;2;255;000;000mPy_Main?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7ff7a6481258: ?[0m?[38;2;255;000;000mUnknown Function?[0m?[38;2;255;000;255m in python.exe
?[0m?[38;2;255;000;255m0x7fff5a414034: ?[0m?[38;2;255;000;000mBaseThreadInitThunk?[0m?[38;2;255;000;255m in KERNEL32.DLL
?[0m?[38;2;255;000;255m0x7fff5aec3691: ?[0m?[38;2;255;000;000mRtlUserThreadStart?[0m?[38;2;255;000;255m in ntdll.dll
?[0m?[38;2;255;165;000m
Internal error occurred. Check out this page for possible solutions:
https://taichi.readthedocs.io/en/stable/install.html#troubleshooting
?[0m[E 01/05/21 21:33:55.006] Received signal 22 (SIGABRT)


?[38;2;255;000;255m***********************************
?[0m?[38;2;255;000;255m* Taichi Compiler Stack Traceback *
?[0m?[38;2;255;000;255m***********************************
?[0m?[38;2;255;000;255m0x7ffeb3891aa7: ?[0m?[38;2;255;000;000m??$create_instance_placement@VBenchmark@taichi@@@taichi@@YAPEAVBenchmark@0@AEBV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@PEAX@Z?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb3943233: ?[0m?[38;2;255;000;000m??$create_instance_placement@VBenchmark@taichi@@@taichi@@YAPEAVBenchmark@0@AEBV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@PEAX@Z?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb3949fa2: ?[0m?[38;2;255;000;000m??$create_instance_placement@VBenchmark@taichi@@@taichi@@YAPEAVBenchmark@0@AEBV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@PEAX@Z?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7fff57bfd09b: ?[0m?[38;2;255;000;000mraise?[0m?[38;2;255;000;255m in ucrtbase.dll
?[0m?[38;2;255;000;255m0x7fff57bfe131: ?[0m?[38;2;255;000;000mabort?[0m?[38;2;255;000;255m in ucrtbase.dll
?[0m?[38;2;255;000;255m0x7fff57bfd7ff: ?[0m?[38;2;255;000;000mterminate?[0m?[38;2;255;000;255m in ucrtbase.dll
?[0m?[38;2;255;000;255m0x7fff30c71abf: ?[0m?[38;2;255;000;000m__NLG_Return2?[0m?[38;2;255;000;255m in VCRUNTIME140_1.dll
?[0m?[38;2;255;000;255m0x7fff30c7232b: ?[0m?[38;2;255;000;000m__NLG_Return2?[0m?[38;2;255;000;255m in VCRUNTIME140_1.dll
?[0m?[38;2;255;000;255m0x7fff30c740e9: ?[0m?[38;2;255;000;000m__CxxFrameHandler4?[0m?[38;2;255;000;255m in VCRUNTIME140_1.dll
?[0m?[38;2;255;000;255m0x7fff5aeef7fd: ?[0m?[38;2;255;000;000m__chkstk?[0m?[38;2;255;000;255m in ntdll.dll
?[0m?[38;2;255;000;255m0x7fff5ae5d856: ?[0m?[38;2;255;000;000mRtlWalkFrameChain?[0m?[38;2;255;000;255m in ntdll.dll
?[0m?[38;2;255;000;255m0x7fff5ae5be9a: ?[0m?[38;2;255;000;000mRtlRaiseException?[0m?[38;2;255;000;255m in ntdll.dll
?[0m?[38;2;255;000;255m0x7fff5794a308: ?[0m?[38;2;255;000;000mRaiseException?[0m?[38;2;255;000;255m in KERNELBASE.dll
?[0m?[38;2;255;000;255m0x7fff513546e2: ?[0m?[38;2;255;000;000m_CxxThrowException?[0m?[38;2;255;000;255m in VCRUNTIME140.dll
?[0m?[38;2;255;000;255m0x7ffeb394327e: ?[0m?[38;2;255;000;000m??$create_instance_placement@VBenchmark@taichi@@@taichi@@YAPEAVBenchmark@0@AEBV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@PEAX@Z?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb37b44e8: ?[0m?[38;2;255;000;000m??$create_instance_placement@VBenchmark@taichi@@@taichi@@YAPEAVBenchmark@0@AEBV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@PEAX@Z?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb37b8aa1: ?[0m?[38;2;255;000;000m??$create_instance_placement@VBenchmark@taichi@@@taichi@@YAPEAVBenchmark@0@AEBV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@PEAX@Z?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb37b23e0: ?[0m?[38;2;255;000;000m??$create_instance_placement@VBenchmark@taichi@@@taichi@@YAPEAVBenchmark@0@AEBV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@PEAX@Z?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb383d248: ?[0m?[38;2;255;000;000m??$create_instance_placement@VBenchmark@taichi@@@taichi@@YAPEAVBenchmark@0@AEBV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@PEAX@Z?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb36e7bd2: ?[0m?[38;2;255;000;000m??$create_instance_placement@VBenchmark@taichi@@@taichi@@YAPEAVBenchmark@0@AEBV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@PEAX@Z?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb36f2c12: ?[0m?[38;2;255;000;000m??$create_instance_placement@VBenchmark@taichi@@@taichi@@YAPEAVBenchmark@0@AEBV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@PEAX@Z?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7fff21686cdd: ?[0m?[38;2;255;000;000mPyObject_Hash?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff216dfe2d: ?[0m?[38;2;255;000;000mPyErr_NoMemory?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21692cab: ?[0m?[38;2;255;000;000mPyObject_GC_UnTrack?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21693148: ?[0m?[38;2;255;000;000mPyDict_Clear?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21691fb7: ?[0m?[38;2;255;000;000m_PyGC_CollectNoFail?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21665f72: ?[0m?[38;2;255;000;000mPyImport_Cleanup?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff2169a2aa: ?[0m?[38;2;255;000;000mPy_FinalizeEx?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff216a3384: ?[0m?[38;2;255;000;000mPy_Main?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff216a3346: ?[0m?[38;2;255;000;000mPy_Main?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7ff7a6481258: ?[0m?[38;2;255;000;000mUnknown Function?[0m?[38;2;255;000;255m in python.exe
?[0m?[38;2;255;000;255m0x7fff5a414034: ?[0m?[38;2;255;000;000mBaseThreadInitThunk?[0m?[38;2;255;000;255m in KERNEL32.DLL
?[0m?[38;2;255;000;255m0x7fff5aec3691: ?[0m?[38;2;255;000;000mRtlUserThreadStart?[0m?[38;2;255;000;255m in ntdll.dll
?[0m?[38;2;255;165;000m
Internal error occurred. Check out this page for possible solutions:
https://taichi.readthedocs.io/en/stable/install.html#troubleshooting

It seems to be related to cuda memory allocation. But the tensor should only take 0.5GB of of memory. Iā€™m wondering what is the maximum size of supported by taichi with cuda backend?

Taichi version: 0.7.10
Python version: 3.7.4
GPU: NVIDIA Geforce RTX 2080Ti

Hi, IIRC by default Taichi will only allocate 1 GB memory on the device. You can override this behavior by initializing with ti.init(arch=ti.cuda, device_memory_GB=3.4) to allocate 3.4 GB GPU memory, or ti.init(arch=ti.cuda, device_memory_fraction=0.3) to allocate 30% of the total GPU memory. Not sure if this helps.

2 Likes

Thx alot, this behavior not mentioned in course and wiki confused me a long time.

Hi, thanks! With specifying a larger memory, the code runs fine. Does this mean taichi can only statically allocate specific amount GPU memory? In pytorch, e.g., the amount of memory is not pre-defined before running the code.