Как пользоваться датасетами во втором тензорфлоу'е? Я крч хочу создать что-то

Question

Как пользоваться датасетами во втором тензорфлоу'е? Я крч хочу создать что-то

типа генератора, чтоб не всю выборку загружать в память с жесткого диска, а кусками, чтоб потом можно было написать model.fit(dataset, ...)
Смотрю вот здесь https://sknadig.me/TensorFlow2.0-dataset/
Пишут, мол надо написать вот так
def our_generator():
for i in range(1000):
x = np.random.rand(28,28)
y = np.random.randint(1,10, size=1)
yield x,y
и я так понимаю, x и y можно заменить загрузкой изображения с жесткого диска и, например, ббоксов
А потом вот так
dataset = tf.data.Dataset.from_generator(our_generator, (tf.float32, tf.int16))

Хотелось бы говорить, где конец обучающей выборки, то есть в функцию def our_generator() передать параметр, который заменял бы вот эту 1000 в range.
Только вот... если попытаться сделать и передать в tf.data.Dataset.from_generator(our_generator(1000),...)
выйдет ошибка, мол генератор должен быть вызываемым (callable)

Смотрел старый код yolo на керасе, там таких проблем не было... Но там и нет вот этого tf.data.Dataset.from_generator