Does taichi not support large tensors on cuda?

XiaoGene · 2021 年1 月 5 日 20:39

I tried to initialize a large tensor field on cuda using the below code.

import taichi as ti

ti.init(arch=ti.cuda)

a = ti.field(dtype=ti.f32, shape=(8, 128, 128, 1024))


@ti.kernel
def init():
    for I in ti.grouped(a):
        a[I] = 1.0


if __name__ == "__main__":
    init()

But got the following error message.

[Taichi] Starting on arch=cuda
[Taichi] materializing...
Taichi JIT:0: allocate_from_buffer: block: [0,0,0], thread: [0,0,0] Assertion `Out of CUDA pre-allocated memory` failed.
[E 01/05/21 21:33:54.512] [taichi/backends/cuda/cuda_driver.h:taichi::lang::CUDADriverFunction<void *>::operator ()@80] CUDA Error CUDA_ERROR_ASSERT: device-side assert triggered while calling stream_synchronize (cuStreamSynchronize)


?[38;2;255;000;255m***********************************
?[0m?[38;2;255;000;255m* Taichi Compiler Stack Traceback *
?[0m?[38;2;255;000;255m***********************************
?[0m?[38;2;255;000;255m0x7ffeb3891aa7: ?[0m?[38;2;255;000;000mtaichi::create_instance_placement<taichi::Benchmark>?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb3943233: ?[0m?[38;2;255;000;000mtaichi::create_instance_placement<taichi::Benchmark>?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb37b44e8: ?[0m?[38;2;255;000;000mtaichi::create_instance_placement<taichi::Benchmark>?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb37b79cf: ?[0m?[38;2;255;000;000mtaichi::create_instance_placement<taichi::Benchmark>?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb37bb01c: ?[0m?[38;2;255;000;000mtaichi::create_instance_placement<taichi::Benchmark>?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb37bc518: ?[0m?[38;2;255;000;000mtaichi::create_instance_placement<taichi::Benchmark>?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb3728b69: ?[0m?[38;2;255;000;000mtaichi::create_instance_placement<taichi::Benchmark>?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb382a720: ?[0m?[38;2;255;000;000mtaichi::create_instance_placement<taichi::Benchmark>?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb37de4d6: ?[0m?[38;2;255;000;000mtaichi::create_instance_placement<taichi::Benchmark>?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb36eb0f2: ?[0m?[38;2;255;000;000mtaichi::create_instance_placement<taichi::Benchmark>?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7fff2168ecf5: ?[0m?[38;2;255;000;000mPyMethodDef_RawFastCallKeywords?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff2168f5b7: ?[0m?[38;2;255;000;000mPyMethodDef_RawFastCallKeywords?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21690082: ?[0m?[38;2;255;000;000mPyEval_EvalFrameDefault?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21676f36: ?[0m?[38;2;255;000;000mPyEval_EvalCodeWithName?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff2168f66c: ?[0m?[38;2;255;000;000mPyMethodDef_RawFastCallKeywords?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff2168fbd3: ?[0m?[38;2;255;000;000mPyEval_EvalFrameDefault?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21676f36: ?[0m?[38;2;255;000;000mPyEval_EvalCodeWithName?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff2168f66c: ?[0m?[38;2;255;000;000mPyMethodDef_RawFastCallKeywords?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff216907ca: ?[0m?[38;2;255;000;000mPyEval_EvalFrameDefault?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21676f36: ?[0m?[38;2;255;000;000mPyEval_EvalCodeWithName?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21676bba: ?[0m?[38;2;255;000;000mPyFunction_FastCallDict?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21672fb5: ?[0m?[38;2;255;000;000mPyObject_SetAttr?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21690945: ?[0m?[38;2;255;000;000mPyEval_EvalFrameDefault?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21676f36: ?[0m?[38;2;255;000;000mPyEval_EvalCodeWithName?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21676bba: ?[0m?[38;2;255;000;000mPyFunction_FastCallDict?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff216b20f4: ?[0m?[38;2;255;000;000mPyObject_Call_Prepend?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff216b2061: ?[0m?[38;2;255;000;000mPyObject_IsAbstract?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21672f2c: ?[0m?[38;2;255;000;000mPyObject_SetAttr?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21690945: ?[0m?[38;2;255;000;000mPyEval_EvalFrameDefault?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21676f36: ?[0m?[38;2;255;000;000mPyEval_EvalCodeWithName?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff2168f66c: ?[0m?[38;2;255;000;000mPyMethodDef_RawFastCallKeywords?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff2168fc7f: ?[0m?[38;2;255;000;000mPyEval_EvalFrameDefault?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21676f36: ?[0m?[38;2;255;000;000mPyEval_EvalCodeWithName?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff2169b6f7: ?[0m?[38;2;255;000;000mPyEval_EvalCodeEx?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff2169b655: ?[0m?[38;2;255;000;000mPyEval_EvalCode?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff2169b5ff: ?[0m?[38;2;255;000;000mPyArena_Free?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21804829: ?[0m?[38;2;255;000;000mPyRun_FileExFlags?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21805050: ?[0m?[38;2;255;000;000mPyRun_SimpleFileExFlags?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff218046f7: ?[0m?[38;2;255;000;000mPyRun_AnyFileExFlags?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21750c43: ?[0m?[38;2;255;000;000mPy_UnixMain?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21750ceb: ?[0m?[38;2;255;000;000mPy_UnixMain?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff216e93aa: ?[0m?[38;2;255;000;000mPyErr_NoMemory?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff216a337f: ?[0m?[38;2;255;000;000mPy_Main?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff216a3346: ?[0m?[38;2;255;000;000mPy_Main?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7ff7a6481258: ?[0m?[38;2;255;000;000mUnknown Function?[0m?[38;2;255;000;255m in python.exe
?[0m?[38;2;255;000;255m0x7fff5a414034: ?[0m?[38;2;255;000;000mBaseThreadInitThunk?[0m?[38;2;255;000;255m in KERNEL32.DLL
?[0m?[38;2;255;000;255m0x7fff5aec3691: ?[0m?[38;2;255;000;000mRtlUserThreadStart?[0m?[38;2;255;000;255m in ntdll.dll
?[0m?[38;2;255;165;000m
Internal error occurred. Check out this page for possible solutions:
https://taichi.readthedocs.io/en/stable/install.html#troubleshooting
?[0mTraceback (most recent call last):
  File "explore_python.py", line 16, in <module>
    init()
  File "C:\Users\jitang\AppData\Local\Programs\Python\Python37\lib\site-packages\taichi\lang\kernel.py", line 571, in wrapped
    return primal(*args, **kwargs)
  File "C:\Users\jitang\AppData\Local\Programs\Python\Python37\lib\site-packages\taichi\lang\shell.py", line 36, in new_call
    ret = old_call(*args, **kwargs)
  File "C:\Users\jitang\AppData\Local\Programs\Python\Python37\lib\site-packages\taichi\lang\kernel.py", line 499, in __call__
    self.materialize(key=key, args=args, arg_features=arg_features)
  File "C:\Users\jitang\AppData\Local\Programs\Python\Python37\lib\site-packages\taichi\lang\kernel.py", line 299, in materialize
    self.runtime.materialize()
  File "C:\Users\jitang\AppData\Local\Programs\Python\Python37\lib\site-packages\taichi\lang\impl.py", line 228, in materialize
    taichi_lang_core.layout(layout)
RuntimeError: [taichi/backends/cuda/cuda_driver.h:taichi::lang::CUDADriverFunction<void *>::operator ()@80] CUDA Error CUDA_ERROR_ASSERT: device-side assert triggered while calling stream_synchronize (cuStreamSynchronize)
[E 01/05/21 21:33:54.891] [taichi/backends/cuda/cuda_driver.h:taichi::lang::CUDADriverFunction<void *>::operator ()@80] CUDA Error CUDA_ERROR_ASSERT: device-side assert triggered while calling mem_free (cuMemFree_v2)


?[38;2;255;000;255m***********************************
?[0m?[38;2;255;000;255m* Taichi Compiler Stack Traceback *
?[0m?[38;2;255;000;255m***********************************
?[0m?[38;2;255;000;255m0x7ffeb3891aa7: ?[0m?[38;2;255;000;000m??$create_instance_placement@VBenchmark@taichi@@@taichi@@YAPEAVBenchmark@0@AEBV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@PEAX@Z?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb3943233: ?[0m?[38;2;255;000;000m??$create_instance_placement@VBenchmark@taichi@@@taichi@@YAPEAVBenchmark@0@AEBV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@PEAX@Z?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb37b44e8: ?[0m?[38;2;255;000;000m??$create_instance_placement@VBenchmark@taichi@@@taichi@@YAPEAVBenchmark@0@AEBV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@PEAX@Z?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb37b8aa1: ?[0m?[38;2;255;000;000m??$create_instance_placement@VBenchmark@taichi@@@taichi@@YAPEAVBenchmark@0@AEBV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@PEAX@Z?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb37b23e0: ?[0m?[38;2;255;000;000m??$create_instance_placement@VBenchmark@taichi@@@taichi@@YAPEAVBenchmark@0@AEBV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@PEAX@Z?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb383d248: ?[0m?[38;2;255;000;000m??$create_instance_placement@VBenchmark@taichi@@@taichi@@YAPEAVBenchmark@0@AEBV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@PEAX@Z?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb36e7bd2: ?[0m?[38;2;255;000;000m??$create_instance_placement@VBenchmark@taichi@@@taichi@@YAPEAVBenchmark@0@AEBV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@PEAX@Z?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb36f2c12: ?[0m?[38;2;255;000;000m??$create_instance_placement@VBenchmark@taichi@@@taichi@@YAPEAVBenchmark@0@AEBV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@PEAX@Z?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7fff21686cdd: ?[0m?[38;2;255;000;000mPyObject_Hash?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff216dfe2d: ?[0m?[38;2;255;000;000mPyErr_NoMemory?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21692cab: ?[0m?[38;2;255;000;000mPyObject_GC_UnTrack?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21693148: ?[0m?[38;2;255;000;000mPyDict_Clear?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21691fb7: ?[0m?[38;2;255;000;000m_PyGC_CollectNoFail?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21665f72: ?[0m?[38;2;255;000;000mPyImport_Cleanup?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff2169a2aa: ?[0m?[38;2;255;000;000mPy_FinalizeEx?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff216a3384: ?[0m?[38;2;255;000;000mPy_Main?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff216a3346: ?[0m?[38;2;255;000;000mPy_Main?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7ff7a6481258: ?[0m?[38;2;255;000;000mUnknown Function?[0m?[38;2;255;000;255m in python.exe
?[0m?[38;2;255;000;255m0x7fff5a414034: ?[0m?[38;2;255;000;000mBaseThreadInitThunk?[0m?[38;2;255;000;255m in KERNEL32.DLL
?[0m?[38;2;255;000;255m0x7fff5aec3691: ?[0m?[38;2;255;000;000mRtlUserThreadStart?[0m?[38;2;255;000;255m in ntdll.dll
?[0m?[38;2;255;165;000m
Internal error occurred. Check out this page for possible solutions:
https://taichi.readthedocs.io/en/stable/install.html#troubleshooting
?[0m[E 01/05/21 21:33:55.006] Received signal 22 (SIGABRT)


?[38;2;255;000;255m***********************************
?[0m?[38;2;255;000;255m* Taichi Compiler Stack Traceback *
?[0m?[38;2;255;000;255m***********************************
?[0m?[38;2;255;000;255m0x7ffeb3891aa7: ?[0m?[38;2;255;000;000m??$create_instance_placement@VBenchmark@taichi@@@taichi@@YAPEAVBenchmark@0@AEBV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@PEAX@Z?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb3943233: ?[0m?[38;2;255;000;000m??$create_instance_placement@VBenchmark@taichi@@@taichi@@YAPEAVBenchmark@0@AEBV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@PEAX@Z?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb3949fa2: ?[0m?[38;2;255;000;000m??$create_instance_placement@VBenchmark@taichi@@@taichi@@YAPEAVBenchmark@0@AEBV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@PEAX@Z?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7fff57bfd09b: ?[0m?[38;2;255;000;000mraise?[0m?[38;2;255;000;255m in ucrtbase.dll
?[0m?[38;2;255;000;255m0x7fff57bfe131: ?[0m?[38;2;255;000;000mabort?[0m?[38;2;255;000;255m in ucrtbase.dll
?[0m?[38;2;255;000;255m0x7fff57bfd7ff: ?[0m?[38;2;255;000;000mterminate?[0m?[38;2;255;000;255m in ucrtbase.dll
?[0m?[38;2;255;000;255m0x7fff30c71abf: ?[0m?[38;2;255;000;000m__NLG_Return2?[0m?[38;2;255;000;255m in VCRUNTIME140_1.dll
?[0m?[38;2;255;000;255m0x7fff30c7232b: ?[0m?[38;2;255;000;000m__NLG_Return2?[0m?[38;2;255;000;255m in VCRUNTIME140_1.dll
?[0m?[38;2;255;000;255m0x7fff30c740e9: ?[0m?[38;2;255;000;000m__CxxFrameHandler4?[0m?[38;2;255;000;255m in VCRUNTIME140_1.dll
?[0m?[38;2;255;000;255m0x7fff5aeef7fd: ?[0m?[38;2;255;000;000m__chkstk?[0m?[38;2;255;000;255m in ntdll.dll
?[0m?[38;2;255;000;255m0x7fff5ae5d856: ?[0m?[38;2;255;000;000mRtlWalkFrameChain?[0m?[38;2;255;000;255m in ntdll.dll
?[0m?[38;2;255;000;255m0x7fff5ae5be9a: ?[0m?[38;2;255;000;000mRtlRaiseException?[0m?[38;2;255;000;255m in ntdll.dll
?[0m?[38;2;255;000;255m0x7fff5794a308: ?[0m?[38;2;255;000;000mRaiseException?[0m?[38;2;255;000;255m in KERNELBASE.dll
?[0m?[38;2;255;000;255m0x7fff513546e2: ?[0m?[38;2;255;000;000m_CxxThrowException?[0m?[38;2;255;000;255m in VCRUNTIME140.dll
?[0m?[38;2;255;000;255m0x7ffeb394327e: ?[0m?[38;2;255;000;000m??$create_instance_placement@VBenchmark@taichi@@@taichi@@YAPEAVBenchmark@0@AEBV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@PEAX@Z?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb37b44e8: ?[0m?[38;2;255;000;000m??$create_instance_placement@VBenchmark@taichi@@@taichi@@YAPEAVBenchmark@0@AEBV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@PEAX@Z?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb37b8aa1: ?[0m?[38;2;255;000;000m??$create_instance_placement@VBenchmark@taichi@@@taichi@@YAPEAVBenchmark@0@AEBV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@PEAX@Z?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb37b23e0: ?[0m?[38;2;255;000;000m??$create_instance_placement@VBenchmark@taichi@@@taichi@@YAPEAVBenchmark@0@AEBV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@PEAX@Z?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb383d248: ?[0m?[38;2;255;000;000m??$create_instance_placement@VBenchmark@taichi@@@taichi@@YAPEAVBenchmark@0@AEBV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@PEAX@Z?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb36e7bd2: ?[0m?[38;2;255;000;000m??$create_instance_placement@VBenchmark@taichi@@@taichi@@YAPEAVBenchmark@0@AEBV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@PEAX@Z?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7ffeb36f2c12: ?[0m?[38;2;255;000;000m??$create_instance_placement@VBenchmark@taichi@@@taichi@@YAPEAVBenchmark@0@AEBV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@PEAX@Z?[0m?[38;2;255;000;255m in taichi_core.pyd
?[0m?[38;2;255;000;255m0x7fff21686cdd: ?[0m?[38;2;255;000;000mPyObject_Hash?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff216dfe2d: ?[0m?[38;2;255;000;000mPyErr_NoMemory?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21692cab: ?[0m?[38;2;255;000;000mPyObject_GC_UnTrack?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21693148: ?[0m?[38;2;255;000;000mPyDict_Clear?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21691fb7: ?[0m?[38;2;255;000;000m_PyGC_CollectNoFail?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff21665f72: ?[0m?[38;2;255;000;000mPyImport_Cleanup?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff2169a2aa: ?[0m?[38;2;255;000;000mPy_FinalizeEx?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff216a3384: ?[0m?[38;2;255;000;000mPy_Main?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7fff216a3346: ?[0m?[38;2;255;000;000mPy_Main?[0m?[38;2;255;000;255m in python37.dll
?[0m?[38;2;255;000;255m0x7ff7a6481258: ?[0m?[38;2;255;000;000mUnknown Function?[0m?[38;2;255;000;255m in python.exe
?[0m?[38;2;255;000;255m0x7fff5a414034: ?[0m?[38;2;255;000;000mBaseThreadInitThunk?[0m?[38;2;255;000;255m in KERNEL32.DLL
?[0m?[38;2;255;000;255m0x7fff5aec3691: ?[0m?[38;2;255;000;000mRtlUserThreadStart?[0m?[38;2;255;000;255m in ntdll.dll
?[0m?[38;2;255;165;000m
Internal error occurred. Check out this page for possible solutions:
https://taichi.readthedocs.io/en/stable/install.html#troubleshooting

It seems to be related to cuda memory allocation. But the tensor should only take 0.5GB of of memory. I’m wondering what is the maximum size of supported by taichi with cuda backend?

Taichi version: 0.7.10
Python version: 3.7.4
GPU: NVIDIA Geforce RTX 2080Ti

archibate · 2021 年1 月 6 日 01:04

Hi, IIRC by default Taichi will only allocate 1 GB memory on the device. You can override this behavior by initializing with ti.init(arch=ti.cuda, device_memory_GB=3.4) to allocate 3.4 GB GPU memory, or ti.init(arch=ti.cuda, device_memory_fraction=0.3) to allocate 30% of the total GPU memory. Not sure if this helps.

g1n0st · 2021 年1 月 7 日 12:36

Thx alot, this behavior not mentioned in course and wiki confused me a long time.

XiaoGene · 2021 年1 月 7 日 15:47

Hi, thanks! With specifying a larger memory, the code runs fine. Does this mean taichi can only statically allocate specific amount GPU memory? In pytorch, e.g., the amount of memory is not pre-defined before running the code.