PHP.SU

Программирование на PHP, MySQL и другие веб-технологии

PHP.SU Портал

Главная

Помощь

Поиск

Поиск Яндекс Вакансии

Пользователи

Здравствуйте, Гость

( Вход · Регистрация · Правила форума )

Забыли пароль?

Парсинг с https с авторизацией

Форумы портала PHP.SU » PHP » Напишите за меня, пожалуйста (Модератор: SAD)

Страниц (1): [1]

Без описания

Поиск в теме | Версия для печати

Oboronitel	Отправлено: 08 Августа, 2012 - 13:36:24
Новичок Покинул форум Сообщений всего: 3 Дата рег-ции: Авг. 2012 Помог: 0 раз(а)	Задача: создать скрипт, который будет: 1) подсоединяться к сайту https://www[dot]olark[dot]com 2) авторизовываться и скачивать со страницы https://www[dot]olark[dot]com/reports/download файлик Тесты произвожу на Денвере (php 5.3) Пробовал использовать PHP: скопировать код в буфер обмена $data = file_get_contents('https://www.olark.com/reports/download'); При парсинге адресов с http:// все ок, при парсинге с адресов https:// выдает ошибки: "Warning: file_get_contents() [function.file-get-contents]: Unable to find the wrapper "https" - did you forget to enable it when you configured PHP? in X:\home\localhost\www\scripts\test1.php on line 5 Warning: file_get_contents(https://www.olark.com/reports/download) [function.file-get-contents]: failed to open stream: Invalid argument in X:\home\localhost\www\scripts\test1.php on line 5" В php знания слабые, подскажите, пожалуйста как можно проделать подобное. Слышал, что возможно с помощью сURL, но пока не нашел примеров.

Oboronitel	Отправлено: 08 Августа, 2012 - 19:05:20
Новичок Покинул форум Сообщений всего: 3 Дата рег-ции: Авг. 2012 Помог: 0 раз(а)	При создании кода использовал источники: Пример авторизации на sape[dot]ru PHP Simple HTML DOM Parser – библиотека для парсинга сайтов Пример авторизации на sape[dot]ru PHP: скопировать код в буфер обмена <?PHP $curl = curl_init(); // инициализируем cURL /Дальше устанавливаем опции запроса в любом порядке/ //Здесь устанавливаем URL к которому нужно обращаться curl_setopt($curl, CURLOPT_URL, 'https://www.olark.com/login/'); //Настойка опций cookie curl_setopt($curl, CURLOPT_COOKIEJAR, 'cook.txt');//сохранить куки в файл curl_setopt($curl, CURLOPT_COOKIEFILE, 'cook.txt');//считать куки из файла //устанавливаем наш вариат клиента (браузера) и вид ОС curl_setopt($curl, CURLOPT_USERAGENT, "Opera/10.00 (Windows NT 5.1; U; ru) Presto/2.2.0"); //Установите эту опцию в ненулевое значение, если вы хотите, чтобы PHP завершал работу скрыто, если возвращаемый HTTP-код имеет значение выше 300. По умолчанию страница возвращается нормально с игнорированием кода. curl_setopt($curl, CURLOPT_FAILONERROR, 1); //Устанавливаем значение referer - адрес последней активной страницы curl_setopt($curl, CURLOPT_REFERER, 'http://www.olark.com/'); //Максимальное время в секундах, которое вы отводите для работы CURL-функций. curl_setopt($curl, CURLOPT_TIMEOUT, 3); curl_setopt($curl, CURLOPT_POST, 1); // устанавливаем метод POST //ответственный момент здесь мы передаем наши переменные curl_setopt($curl, CURLOPT_POSTFIELDS, 'http://www.olark.com/login/'); //Установите эту опцию в ненулевое значение, если вы хотите, чтобы шапка/header ответа включалась в вывод. curl_setopt($curl, CURLOPT_HEADER, 1); //Внимание, важный момент, сертификатов, естественно, у нас нет, так что все отключаем curl_setopt ($curl, CURLOPT_SSL_VERIFYPEER, 0);// не проверять SSL сертификат curl_setopt ($curl, CURLOPT_SSL_VERIFYHOST, 0);// не проверять Host SSL сертификата curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);// разрешаем редиректы curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); $html = curl_exec($curl); // выполняем запрос и записываем в переменную curl_close($curl); // заканчиваем работу curl //подключаем PHP Simple HTML DOM Parser с сайта http://simplehtmldom.sourceforge.net include_once('simple_html_dom.php'); $html = str_get_html($html); //ищем в странице некий authenticity_token и записываем его в переменную $token $inputs = $html->find("input[name=authenticity_token]"); $input = $inputs[0]; $token = $input->value; echo $token; // ниже авторизуемся на сайте со значением authenticity_token в переменной $token $curl = curl_init(); // инициализируем cURL /Дальше устанавливаем опции запроса в любом порядке/ //Здесь устанавливаем URL к которому нужно обращаться curl_setopt($curl, CURLOPT_URL, 'https://www.olark.com/login/'); //Настойка опций cookie curl_setopt($curl, CURLOPT_COOKIEJAR, 'cook.txt');//сохранить куки в файл curl_setopt($curl, CURLOPT_COOKIEFILE, 'cook.txt');//считать куки из файла //устанавливаем наш вариат клиента (браузера) и вид ОС curl_setopt($curl, CURLOPT_USERAGENT, "Opera/10.00 (Windows NT 5.1; U; ru) Presto/2.2.0"); //Установите эту опцию в ненулевое значение, если вы хотите, чтобы PHP завершал работу скрыто, если возвращаемый HTTP-код имеет значение выше 300. По умолчанию страница возвращается нормально с игнорированием кода. curl_setopt($curl, CURLOPT_FAILONERROR, 1); //Устанавливаем значение referer - адрес последней активной страницы curl_setopt($curl, CURLOPT_REFERER, 'http://www.olark.com/'); //Максимальное время в секундах, которое вы отводите для работы CURL-функций. curl_setopt($curl, CURLOPT_TIMEOUT, 3); curl_setopt($curl, CURLOPT_POST, 1); // устанавливаем метод POST //ответственный момент здесь мы передаем наши переменные //замените значения your_name и your_pass на соответственные значения Вашей учетной записи curl_setopt($curl, CURLOPT_POSTFIELDS, 'http://www.olark.com/login/&authenticity_token='.$token.'&username=Oboronitel&password=Vladislavrkfc'); //Установите эту опцию в ненулевое значение, если вы хотите, чтобы шапка/header ответа включалась в вывод. curl_setopt($curl, CURLOPT_HEADER, 1); //Внимание, важный момент, сертификатов, естественно, у нас нет, так что все отключаем curl_setopt ($curl, CURLOPT_SSL_VERIFYPEER, 0);// не проверять SSL сертификат curl_setopt ($curl, CURLOPT_SSL_VERIFYHOST, 0);// не проверять Host SSL сертификата curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);// разрешаем редиректы $result = curl_exec($curl); // выполняем запрос и записываем в переменную curl_close($curl); // заканчиваем работу curl echo $result; // Выводим на экран результат выполнения ?> файлик simple_html_dom.php для include_once('simple_html_dom.php'); можно скачать здесь. Надеюсь будет полезно)

Oboronitel	Отправлено: 10 Августа, 2012 - 15:51:40
Новичок Покинул форум Сообщений всего: 3 Дата рег-ции: Авг. 2012 Помог: 0 раз(а)	Ниже продолжение кода со скачиванием файлика и записью его в 2-х мерный массив PHP: скопировать код в буфер обмена // ниже пытаемся скачать файл $curl = curl_init(); // инициализируем cURL /Дальше устанавливаем опции запроса в любом порядке/ //Здесь устанавливаем URL с запросом Get для получения файлика curl_setopt($curl, CURLOPT_URL, 'https://www.olark.com/reports/download/conversation_report/1344459600/1344459600/olark-conversation-report-8-9-2012-to-8-9-2012.csv'); //Настойка опций cookie curl_setopt($curl, CURLOPT_COOKIEJAR, 'cook.txt');//сохранить куки в файл curl_setopt($curl, CURLOPT_COOKIEFILE, 'cook.txt');//считать куки из файла //устанавливаем наш вариат клиента (браузера) и вид ОС curl_setopt($curl, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 6.1; rv:14.0) Gecko/20100101 Firefox/14.0.1"); //Установи эту опцию в ненулевое значение, если хочешь, чтобы PHP завершал работу скрыто, если возвращаемый HTTP-код имеет значение выше 300. По умолчанию страница возвращается нормально с игнорированием кода. curl_setopt($curl, CURLOPT_FAILONERROR, 1); //Устанавливаем значение referer - адрес последней активной страницы curl_setopt($curl, CURLOPT_REFERER, 'http://www.olark.com/'); //Максимальное время в секундах, которое мы отводим для работы CURL-функций. curl_setopt($curl, CURLOPT_TIMEOUT, 3); curl_setopt($curl, CURLOPT_POST, 0); // устанавливаем метод неPOST (т.е. Get) //ответственный момент здесь мы передаем наши переменные //Установливаем это зеначение в 0, что бы в файлике небыло лишних значений шапки/header curl_setopt($curl, CURLOPT_HEADER, 0); //Внимание! Важный момент, сертификатов, естественно, у нас нет, так что все отключаем curl_setopt ($curl, CURLOPT_SSL_VERIFYPEER, 0);// не проверять SSL сертификат curl_setopt ($curl, CURLOPT_SSL_VERIFYHOST, 0);// не проверять Host SSL сертификата curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);// разрешаем редиректы curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); $result = curl_exec($curl); // выполняем запрос и записываем в переменную $result весь CSV файл curl_close($curl); // заканчиваем работу curl //теперь в $result находиться весь CSV файл //разбираем $result на строки с помошью переноса строки (Enter'ом) и результаты заносим в массив $string $string = explode(" ",$result); //разбираем $string на строки, результаты заносим в массив $string $i=0; foreach ($string as $value) { $dbarray[$i] = explode(',',$value); $i++; }

Поиск в теме | Версия для печати

Страниц (1): [1]

Сейчас эту тему просматривают: 0 (гостей: 0, зарегистрированных: 0)

« Напишите за меня, пожалуйста »

Все гости форума могут просматривать этот раздел.
Только зарегистрированные пользователи могут создавать новые темы в этом разделе.
Только зарегистрированные пользователи могут отвечать на сообщения в этом разделе.