@rogenit get запрос - тут просто, из ссылки получаешь нужные параметры
с пост чуть сложнее, нужно в исходном коде смотреть на формы, из них уже парсить параметры и значения
можно большой файл разбить на небольшие файлы и в бас подключать уже эти маленькие файлы получая список.
для разбития файла можно использовать BAT команды.