.Model small .stack 100h .data x db ?

y db ?
equation db 10, 5, -20
result db ?

.code
main proc
mov ax, @data
mov ds, ax

; Ввод координат x и y
mov ah, 01h
int 21h
sub al, 30h
mov x, al

mov ah, 01h
int 21h
sub al, 30h
mov y, al

; Проверка принадлежности к графику уравнения
mov al, x
mul al ; умножение x на x (x^2)
mov bl, al ; сохраняем результат в bl

mov al, equation[0]
mul bl ; умножение на коэффициент a (10)
mov bx, ax ; результат в bx

mov al, equation[1]
mul x ; умножение на x (5x)
add bx, ax ; добавление к результату

mov al, equation[2]
add bx, ax ; добавление константы (-20)

cmp y, bl ; сравнение с y
je belongs_to_graph

not_belongs_to_graph:
mov result, 0 ; не принадлежит
jmp end_main

belongs_to_graph:
mov result, 1 ; принадлежит

end_main:
; Вывод результата
mov dl, result
add dl, 30h ; конвертация в символ
mov ah, 02h
int 21h

mov ah, 4ch ; выход из программы
int 21h

main endp
end main

Если у тебя график функции, то тут по-хорошему работа с fpu должна быть