Сегодня рассмотрим пример, как можно создавать файлы в hadoop, а также делать записи в эти файлы и после забирать данные.
Визуально схема взаимодействия SAS и Hadoop выглядит следующим образом:
Итак самое главное, что Вам нужно сделать, это написать следующий конфигурационный xml файлик:
Где сервер hadoop_main_node, нужно заменить на Ваш сервер, а точнее на гловной Node hadoop.
После этого пишем обычный filename с указанием access method - HADOOP, обязательно в опциях нужно указать путь к конфигурационному xml файлу.
В приведенном примере мы созадли файл test.txt и записали туда одну записть "TEST test Test1"
Теперь убедимся в том, что данный файл появился в файловой структуре Hadoop:
Первая команда была выполнена до запуска sas кода, вторая уже после. Сравнив, мы видим, что появился наш файлик test.txt.
Теперь давайте попробуем забрать эти данные. Делается это также просто:
Мы видим, что в work появился файлик Test, в котором есть как раз одна наша запись.
В дальнейших уроках мы рассмотрим другой метод соединения с Hadoop, а именно через SAS/Access.
Вкратце обо всех трех способах взаимодействия SAS и Hadoop писал в прошлой статье.
До скорых встеч.
С уважением,
Тимаков Николай.